由Lambert定律
Iv出射光强度,I0入射光强度,dl薄层厚度。强度为Iv的入射光,透过薄层样品后,光强的减弱(-dl)与Iv及薄层的厚度dl成正比。*
由此构造一个迭代次数的表达式
其中n为迭代次数,表明初始迭代次数n,经过厚度为dl的神经网络后,迭代次数的变化(-dn)与n及网络的等效厚度dl成正比。
积分
在《以5‰的概率计算一个网络准确率达到99.9%的时间和迭代次数---实例三分类mnist 3,4,5》中得到一个估算神经网络迭代次数的经验公式
其中δ是网络的收敛标准,n0是收敛迭代次数,nv是初始迭代次数,取决与系统属性,k是常数。这个表达式很容易的化简成
比较1式和2式,可以得出只要将-lnδ理解成是薄层厚度,迭代次数就可以理解成是光线强度,则神经网络收敛过程就是对光线透过厚度为-lnδ的薄层的模拟。
比如上文中的网络,用一个3*3的卷积核分类mnist的3,4,5
这个网络的迭代次数的经验公式
其中nv=3879.73943,k=0.31488
化简
出射光强度nv和厚度-lnδ已知,计算入射光强度n0
得到数据
δ
n0实测
n0计算值
实测值/计算值
-lnδ
0.1
9887.53
8010.92693
1.234255422
2.302587
0.01
16477.395
16541.04649
0.996151907
4.605173
0.001
33735.23
34154.1274
0.987735087
6.90776
9.00E-04
33855.875
35306.22807
0.958920758
7.013121
8.00E-04
37486.515
36640.23407
1.023097039
7.130904
7.00E-04
37743.51
38213.67063
0.987696533
7.264435
6.00E-04
38853.775
40114.27757
0.968577209
7.418586
5.00E-04
42011.69
42484.60481
0.98886856
7.600908
4.00E-04
46537.22
45577.0937
1.021065983
7.824051
3.00E-04
50546.635
49898.48548
1.012989363
8.111734
2.00E-04
59306.3
56693.72817
1.046082202
8.517199
1.00E-04
72432.405
70521.80278
1.027092362
9.210347
9.00E-05
74827.21
72900.67242
1.026426884
9.315707
8.00E-05
76215
75655.14209
1.00740013
9.43349
7.00E-05
82560.155
78903.99049
1.046336877
9.567022
6.00E-05
81525.21
82828.38378
0.98426658
9.721173
5.00E-05
85679.71
87722.66048
0.976711257
9.903494
4.00E-05
94710.29
94108.06419
1.006399301
10.12664
3.00E-05
102116.6
103030.9195
0.991125775
10.41432
2.00E-05
111092.705
117061.8084
0.94900896
10.81979
1.00E-05
145284.115
145614.1628
0.997733409
11.51293
1.00E-06
290645.97
300665.6605
0.966674976
13.81552
1.00E-07
572369.51
620817.6296
0.921960786
16.11811
要使出射光强度nv在3879.73943保持不变,薄层的厚度-lnδ越大,与之对应的入射光强度n0需要越强。
*量子化学(徐光宪,上中下三册)p-344