扁平卷积在论文“用于前馈加速度的扁平卷积神经网络”中进行了介绍。直观地,该想法是应用过滤器分离。我们没有应用一个标准的卷积filter将输入层映射到输出层,而是将该标准filter分为3个1Dfilter。这种想法与上述空间可分卷积中的想法相似,其中空间filter由两个秩wei1的filter近似。
应当注意的是,如果标准卷积filter是rank-1 filter,则此类filter始终可以分为三个一维filter的叉积。但这是一个很强的条件,并且标准filter的固有等级实际上高于一个等级。正如论文中指出的那样:“随着分类问题的难度增加,解决该问题需要更多的前导组件……在深度网络中,学习到的filter具有特征值的分布,而将分离直接应用于滤波器会导致大量信息丢失。”
为了减轻这种问题,本文限制了在感受野的联系,以便模型可以在训练后学习一维分离的滤波器。该论文声称,通过使用由3D空间中所有方向上的1D滤镜的连续序列组成的扁平化网络进行训练,可以提供与标准卷积网络相当的性能,并且由于学习参数的显着减少,计算成本要低得多。