一. 从人工智能开始

    通过复制一个人脑来实现人工智能在目前阶段是不切实际的，人工智能是计算机科学的一个分支，主要研究、开发用于模拟、延伸和扩展人类智能的理论、方法、技术及应用系统

    主要领域：

感知：模拟人的感知能力，对外部刺激信息进行感知和加工。主要研究领域包括语音信息处理、计算机视觉等学习：模拟人的学习能力，主要研究如何从样例或与环境交互中进行学习。主要研究领域有监督学习、无监督学习和强化学习认知：模拟人的认知能力，主要研究领域包括知识表示、自然语言理解、推理规划、决策等

    流派：

符号主义（可解释性）：分析人类智能的功能，通过计算机实现。符号主义认为信息可以用符号来表示，符号可以通过显示规则来操作连接主义：人类的认知过程是由大量简单神经元构成的神经网络中的信息处理过程，大量的简单的信息单元组成互联网络

    深度学习的主要模型神经网络就是一种连接主义模型，随着深度学习的发展，越来越多的研究者开始关注如何融和符号主义和连接主义，建立一种高效并且具有可解释性的模型

 

二. 神经网络

    1. 人工神经网络（一种模拟人脑神经网络而设计的数据模型或计算模型，它从结构、实现机理和功能上模拟人脑神经网络）

        人工神经网络与生物神经元类似，由多个节点相互连接而成，可以用来对数据之间的复杂关系进行建模。不同节点之间的连接被赋予了不同的权重，每个权重代表了一个节点对另一个节点的影响大小。每个节点代表了一种特定的函数，来自其他节点的信息经过其相应的权重综合计算，输入到一个激励函数中并得到一个新的活性值。

        从系统观点看，人工神经元网络是由大量神经元通过极其丰富和完善的连接而构成的自适应非线性动态系统

    2. 

        净输入：

        输入层：特征维度；输出层：目标维度；隐藏层：设计者设定维度

        需要注意的是：常常提到的权重中，x是后一层神经元序号，y是前一层神经元序号

        激活函数需满足三个条件：连续可导的非线性函数；尽可能简单，提高网络计算效率；值域在合适区间

    3. 多层神经网络——深度学习

        特点：参数多层次深，主题仍是优化和泛化

        在多层神经网络中，泛化比以往更重要，主要是因为随着神经网络的层数增加，参数增加以及表示能力大幅增加，容易出现过拟合现象。这时，正则化技术就显得十分重要

        正则化：修改学习算法，来降低泛化误差而非训练误差

正则化：模型参数中非零参数的个数正则化：各参数绝对值之和正则化：各参数平方和的开方值

        交叉验证：在某种意义下将原始数据分组，一部分作为训练集，一部分作为验证集。首先用训练集对分类器训练，再利用验证集来测试训练得到的模型，以此来作为评价分类器的性能指标

 

三. 卷积神经网络

    卷积神经网络是主要由卷积层、汇聚层和全连接层交叉堆叠而成的前馈神经网络，有局部链接、权重共享、汇聚的特点

    1. 卷积层

        卷积层的作用是提取一个局部区域特征。不同卷积核相当于不同特征提取器，为了更充分的利用图像的局部信息，通常将神经元组织为M×N×D三维结构的神经层

        特征映射是一幅图像经过卷积后提取到的特征，每个特征映射可以作为一类抽取的图像特征。为了提高卷积网络的能力，可以在每一层使用多个不同的特征映射，以更好地表示图像的特征

    2. 汇聚层

        汇聚层主要是进行特征选择，减低特征数量，从而减少参数数量。汇聚是指对每个区域进行下采样，得到一个值作为这个区域的概括

        卷积层虽然可以显著减少网络中连接数量，但特征映射组中的神经元个数并没有显著减少。如果后面接一个分类器，分类器的输入维数依然很高，很容易出现过拟合。为了解决这个问题，可以在卷积层后加上一个汇聚层

    3. 全连接层

        全连接层类似分类器的作用，将学习到的特征表示映射到样本的标记空间