引言

一批事实/现象

先前谈论的是一个机器/系统，现在谈论的是一批机器/系统科学研究给出的命题总是针对一批事实/现象的：可重复性是科学研究的重要特征但对一批事实/现象的断言，对于构成这一批事实/现象的单个个体不见得适用 统计学断言回归到个体，有可能毫无意义部分关于“构成比”的断言回归到个体，可以联系到“概率”的概念

所有可能的消息：囚犯探视问题

要求：探望囚犯时不允许带给他任何信息；但探望者可以给囚犯送一杯咖啡但狱吏怀疑囚犯与探望者在先前就达成过关于传递暗号的约定问题：狱吏怎么做才能避免探望者传递信息给囚犯？可能的思路 通过加糖多少来传递暗号——控制统一不许加糖，并且说这是“监狱的规定”通过是否在咖啡里放咖啡勺来传递暗号——控制统一放入“监狱统一的”咖啡勺通过左手还是右手拿杯子传递暗号——控制由狱吏送咖啡…其他“减少可能发生的情形数量到1”的方式 所有方面的可能性都只有1的时候，通信就被阻塞了 e.g. 必须且只能送一杯“监狱定制的统一的”咖啡，并且由狱吏本人代为送达给囚犯存在一个由所有可能事件构成的集合，对于信息的传输是至关重要的一个消息本身蕴含的信息量，不仅仅由这个消息本身所决定，还取决于这个消息从何种所有可能的消息集合中提取出来

变异度

一般表示

考察一可能的消息集合，对特定观察者而言，其中含有的观察者能分辨出的相异元素个数称为该消息集合在该观察者条件下的变异度一集合的变异度与观察者对相异元素的区分能力有关 以各种颜色的旗帜传递信息，一色觉正常者观察到的变异度就大于一红绿色盲者观察到的变异度（比如其无法区分红色、绿色）以房屋中4扇窗户中夜晚亮灯的情况传递信息；居于近处的观察者能接收到24=16种变异度，居于远处的观察者由于无法分辨单独亮1个窗户时究竟是哪一个窗户亮了，因此只能接收到24−(4−1)=13种变异度

对数表示

将变异度取以2为底的对数，单位为比特(bit)，称为变异度的对数表示对于分步发送消息的系统，对数表示的变异度允许各步变异度直接相加得到总变异度

约束

使集合变异度减小的条件，称为集合的约束。

矢量中的约束

考虑矢量$a=(a_1,a_2,...,a_n)$若$a$的变异度（对数表示）等于其各分量的变异度（对数表示）之和，则称$a$各分量彼此独立

自由度

考虑一存在约束的矢量该矢量的变异度等同于k个独立分量的变异度则称k为该矢量的自由度

示例

交通信号灯由红黄绿三种颜色的灯各1个构成，每个灯都可有亮(1)灭(0)两种状态

实际使用的状态仅有4种：(1)-(4)，故变异度为4

相当于2个信号灯彼此独立所拥有的自由度：$lo{g}_{2}4=2$

故该系统自由度为2

可见，对于无法表示为2的整数次方的变异度，自由度可以不是整数

约束用于控制

每当约束存在，就可以利用其达到某种控制目的自然规律即约束：即“并非‘一切’情况都会出现，仅满足‘规律’的情况才会出现” e.g. 状态方程实体概念即各元件之间的约束 任一实体在三维空间内自由度为6（中心坐标及朝向）杯子含有杯身、杯盖2个元件一个杯子有6个自由度，但杯身、杯盖“可能具有的总”自由度为12减少的6个自由度，即源于杯身-杯盖组装关系造成的约束 预测意味着约束：即“下一时刻所在的状态”是可以根据“特定规律”确定/给出一个大致范围的，而非可能“为任意状态”学习即给予约束：通过给予“并非所有（等）可能性”，藉以强化某些可能性，削弱某些可能性（巴甫洛夫） 要求训练“字母-数字”联系；字母可选a,b,c，数字可选1,2,3必须使得“字母-数字对”出现并非完全等可能的，才可能实现对某些字母-数字对的偏好

机器中的变异度

单值变换

考察一批确定性机器，具有一批状态

经单值变换，这一批机器状态构成集合的变异度不会增加

举例

随着时间的推移，这个集合的变异度可能越来越小，对其状态的确定程度也越来越高

经验一致律

考察信息通过机器后其变异度有何变化 经单值变换，信息变异度不会增加经一一变换，信息变异度不会改变：与该变换是否封闭没有关系 考虑一批有输入的机器 在充分长的时间内，变换机器的参数这一批机器的变异度将会随着参数改变而不变/减小最终，这一批机器初始状态的信息越来越少，而关于参数改变的信息越来越多 经验一致律：使用改变参数的方法来输入信息，将会抹掉或换掉关于系统初始状态的信息