1.3.1 局部连接
1.3.1 局部连接
人们尝试直接把原始图像作为输入，通过深度学习算法直接进行图像分类，从而绕过复杂的特征工程。常见的深度学习算法都是全连接形式，所谓全连接，就是第n–1层的任意一个节点，都和第n层所有节点有连接，如图1-10所示。
同时，临近输入层的隐藏层的任意节点与输入层的全部节点都有连接，如图1-11所示。
图1-10 全连接示意图
图1-11 输入层与隐藏层全连接示意图
以一个大小为1000x1000的灰度图像为例，输入层节点数量为1000x1000=1000000，隐藏层节点数量也为1000x1000=1000000，仅输入层与隐藏层的连接就需要1000000x1000000=1012，这几乎是个天文数字，如此巨大的计算量阻碍了深度学习在图像分类方向的应用。
事情的转机来源于生物学的一个发现。人们在研究猫的视觉神经细胞时发现，一个视觉神经元只负责处理视觉图像的一小块，这一小块称为感受野（receptive field），类比在图像分类领域，识别一个图像是何种物体时，一个点与距离近的点之间的关联非常紧密，但是和距离远的点之间关系就不大了，甚至足够远的时候就可以忽略不计。
全连接与局部连接示意图，如图1-12所示。
图1-12 全连接与局部连接示意图
具体到深度学习算法上，在隐藏层与输入层之间，隐藏层的一个节点只处理一部分输入层节点的数据，形成局部连接。继续上面的例子，假设每个隐藏层的节点只处理10x10大小的数据，也就是说每个隐藏层的节点只与输入层的100个节点连接，这样在隐藏层节点数量和输入层节点数量不变的情况下，输入层与隐藏层的连接需要1000000x100=108，是全连接的万分之一，虽然计算量下降不少，但是依然十分巨大。局部连接不会减少隐藏层的节点数量，减少的是隐藏层和输入层之间的连接数。
人们尝试直接把原始图像作为输入，通过深度学习算法直接进行图像分类，从而绕过复杂的特征工程。常见的深度学习算法都是全连接形式，所谓全连接，就是第n–1层的任意一个节点，都和第n层所有节点有连接，如图1-10所示。
同时，临近输入层的隐藏层的任意节点与输入层的全部节点都有连接，如图1-11所示。
图1-10 全连接示意图
图1-11 输入层与隐藏层全连接示意图
以一个大小为1000x1000的灰度图像为例，输入层节点数量为1000x1000=1000000，隐藏层节点数量也为1000x1000=1000000，仅输入层与隐藏层的连接就需要1000000x1000000=1012，这几乎是个天文数字，如此巨大的计算量阻碍了深度学习在图像分类方向的应用。
事情的转机来源于生物学的一个发现。人们在研究猫的视觉神经细胞时发现，一个视觉神经元只负责处理视觉图像的一小块，这一小块称为感受野（receptive field），类比在图像分类领域，识别一个图像是何种物体时，一个点与距离近的点之间的关联非常紧密，但是和距离远的点之间关系就不大了，甚至足够远的时候就可以忽略不计。
全连接与局部连接示意图，如图1-12所示。
图1-12 全连接与局部连接示意图
具体到深度学习算法上，在隐藏层与输入层之间，隐藏层的一个节点只处理一部分输入层节点的数据，形成局部连接。继续上面的例子，假设每个隐藏层的节点只处理10x10大小的数据，也就是说每个隐藏层的节点只与输入层的100个节点连接，这样在隐藏层节点数量和输入层节点数量不变的情况下，输入层与隐藏层的连接需要1000000x100=108，是全连接的万分之一，虽然计算量下降不少，但是依然十分巨大。局部连接不会减少隐藏层的节点数量，减少的是隐藏层和输入层之间的连接数。