1.3.2 参数共享
1.3.2 参数共享
本质上隐藏层的一个节点与输入层一个节点的连接，对应的就是一个连接参数，大量的连接也就意味着大量的参数需要计算，仅依靠局部连接技术是无法进一步减少计算量的，于是人们又提出了参数共享。所谓的参数共享是基于这样一个假设，一部分图像的统计特性与完整图像的相同。回到上面的例子，每个隐藏层的节点只与输入层的100个节点连接，这样每个隐藏层节点就具有100个参数，全部隐藏层就具有1000000x100=108个参数，使用参数共享后，每个隐藏层的节点都具有完全相同的参数，全部隐藏层就只有100个参数需要计算了，这大大减少了计算量，而且即使处理更大的图像，只要单一隐藏层节点与输入层连接的个数不变，全部隐藏层的参数个数也不会变。这种共享参数的机制，可以理解为针对图像的卷积操作。假设如图1-13所示，具有一个4x4大小的图像和一个大小为2x2的卷积核。
大小为2x2的卷积核对原始图像第1块大小为2x2的图像进行卷积操作，得到卷积结果为2，如图1-14所示。
图1-13 原始图像与卷积核
图1-14 卷积核对原始图像第1个2x2的块进行处理
大小为2x2的卷积核对原始图像第2块大小为2x2的图像进行卷积操作，得到卷积结果为1，如图1-15所示。
图1-15 卷积核对原始图像第2个2x2的块进行处理
如果大小为2x2的卷积核依次对原始图像进行卷积操作，移动的步长为2，那么最终将获得一个2x2的新图像，如图1-16所示。
图1-16 卷积核对原始图像处理后的结果
可见卷积处理后图像的大小与卷积核的大小无关，仅与步长有关，对应的隐藏层的节点个数也仅与步长有关。另外需要说明的是，卷积核处理图像边际时会出现数据缺失，这个时候需要将图像补全，常见的补全方式有两种，分别是same模式和valid模式，same模式会使用0数据补全，而且保持生成图像与原始图像大小一致。
same模式会使用大小为2x2的卷积核依次对原始图像进行卷积操作，移动的步长为1，最终获得一个4x4的新图像如图1-17所示。这里需要再次强调的是，当步长为1时，无论卷积核大小如何，处理前后图像大小不变；只有当步长大于1时，处理后的图像才会变小。
图1-17 卷积核对原始图像处理后的结果
本质上隐藏层的一个节点与输入层一个节点的连接，对应的就是一个连接参数，大量的连接也就意味着大量的参数需要计算，仅依靠局部连接技术是无法进一步减少计算量的，于是人们又提出了参数共享。所谓的参数共享是基于这样一个假设，一部分图像的统计特性与完整图像的相同。回到上面的例子，每个隐藏层的节点只与输入层的100个节点连接，这样每个隐藏层节点就具有100个参数，全部隐藏层就具有1000000x100=108个参数，使用参数共享后，每个隐藏层的节点都具有完全相同的参数，全部隐藏层就只有100个参数需要计算了，这大大减少了计算量，而且即使处理更大的图像，只要单一隐藏层节点与输入层连接的个数不变，全部隐藏层的参数个数也不会变。这种共享参数的机制，可以理解为针对图像的卷积操作。假设如图1-13所示，具有一个4x4大小的图像和一个大小为2x2的卷积核。
大小为2x2的卷积核对原始图像第1块大小为2x2的图像进行卷积操作，得到卷积结果为2，如图1-14所示。
图1-13 原始图像与卷积核
图1-14 卷积核对原始图像第1个2x2的块进行处理
大小为2x2的卷积核对原始图像第2块大小为2x2的图像进行卷积操作，得到卷积结果为1，如图1-15所示。
图1-15 卷积核对原始图像第2个2x2的块进行处理
如果大小为2x2的卷积核依次对原始图像进行卷积操作，移动的步长为2，那么最终将获得一个2x2的新图像，如图1-16所示。
图1-16 卷积核对原始图像处理后的结果
可见卷积处理后图像的大小与卷积核的大小无关，仅与步长有关，对应的隐藏层的节点个数也仅与步长有关。另外需要说明的是，卷积核处理图像边际时会出现数据缺失，这个时候需要将图像补全，常见的补全方式有两种，分别是same模式和valid模式，same模式会使用0数据补全，而且保持生成图像与原始图像大小一致。
same模式会使用大小为2x2的卷积核依次对原始图像进行卷积操作，移动的步长为1，最终获得一个4x4的新图像如图1-17所示。这里需要再次强调的是，当步长为1时，无论卷积核大小如何，处理前后图像大小不变；只有当步长大于1时，处理后的图像才会变小。
图1-17 卷积核对原始图像处理后的结果