神经网络迭代次数与Lambert定律

    科技2022-07-11  105

    由Lambert定律

    Iv出射光强度,I0入射光强度,dl薄层厚度。强度为Iv的入射光,透过薄层样品后,光强的减弱(-dl)与Iv及薄层的厚度dl成正比。*

    由此构造一个迭代次数的表达式

    其中n为迭代次数,表明初始迭代次数n,经过厚度为dl的神经网络后,迭代次数的变化(-dn)与n及网络的等效厚度dl成正比。

    积分

    在《以5‰的概率计算一个网络准确率达到99.9%的时间和迭代次数---实例三分类mnist 3,4,5》中得到一个估算神经网络迭代次数的经验公式

    其中δ是网络的收敛标准,n0是收敛迭代次数,nv是初始迭代次数,取决与系统属性,k是常数。这个表达式很容易的化简成

    比较1式和2式,可以得出只要将-lnδ理解成是薄层厚度,迭代次数就可以理解成是光线强度,则神经网络收敛过程就是对光线透过厚度为-lnδ的薄层的模拟。

    比如上文中的网络,用一个3*3的卷积核分类mnist的3,4,5

     

    这个网络的迭代次数的经验公式

    其中nv=3879.73943,k=0.31488

    化简

     

    出射光强度nv和厚度-lnδ已知,计算入射光强度n0

    得到数据

    δ

    n0实测

    n0计算值

    实测值/计算值

    -lnδ

    0.1

    9887.53

    8010.92693

    1.234255422

    2.302587

    0.01

    16477.395

    16541.04649

    0.996151907

    4.605173

    0.001

    33735.23

    34154.1274

    0.987735087

    6.90776

    9.00E-04

    33855.875

    35306.22807

    0.958920758

    7.013121

    8.00E-04

    37486.515

    36640.23407

    1.023097039

    7.130904

    7.00E-04

    37743.51

    38213.67063

    0.987696533

    7.264435

    6.00E-04

    38853.775

    40114.27757

    0.968577209

    7.418586

    5.00E-04

    42011.69

    42484.60481

    0.98886856

    7.600908

    4.00E-04

    46537.22

    45577.0937

    1.021065983

    7.824051

    3.00E-04

    50546.635

    49898.48548

    1.012989363

    8.111734

    2.00E-04

    59306.3

    56693.72817

    1.046082202

    8.517199

    1.00E-04

    72432.405

    70521.80278

    1.027092362

    9.210347

    9.00E-05

    74827.21

    72900.67242

    1.026426884

    9.315707

    8.00E-05

    76215

    75655.14209

    1.00740013

    9.43349

    7.00E-05

    82560.155

    78903.99049

    1.046336877

    9.567022

    6.00E-05

    81525.21

    82828.38378

    0.98426658

    9.721173

    5.00E-05

    85679.71

    87722.66048

    0.976711257

    9.903494

    4.00E-05

    94710.29

    94108.06419

    1.006399301

    10.12664

    3.00E-05

    102116.6

    103030.9195

    0.991125775

    10.41432

    2.00E-05

    111092.705

    117061.8084

    0.94900896

    10.81979

    1.00E-05

    145284.115

    145614.1628

    0.997733409

    11.51293

    1.00E-06

    290645.97

    300665.6605

    0.966674976

    13.81552

    1.00E-07

    572369.51

    620817.6296

    0.921960786

    16.11811

    要使出射光强度nv在3879.73943保持不变,薄层的厚度-lnδ越大,与之对应的入射光强度n0需要越强。

     

    *量子化学(徐光宪,上中下三册)p-344

    Processed: 0.550, SQL: 8