另类注意力机制之深度残差收缩网络(附代码)

  • 时间:
  • 浏览:1
  • 来源:uu快3计划师_uu快3app苹果_全天计划

很久我 ,相较于普通的深度残差网络,深度残差收缩网络引入了一个多多多 小型的子网络,用或多或少子网络学习得到一组阈值,继而对特性图的各个通道进行软阈值化。或多或少过程随便说说是一个多多多 可训练的特性选择的过程。具体而言,很久我 通过前面的一个多多多 卷积层Conv将重要的特性变加上绝对值较大的值,将冗余信息所对应的特性变加上绝对值较小的值;通过子网络学习得到二者之间的界限,很久我 通过软阈值化将冗余特性置为零,一并使重要的特性有着非零的输出;从前就实现了一个多多多 特性筛选的过程。

https://ieeexplore.ieee.org/document/88115096

以上一个多多多 进程建立了只一个多多多 基本模块的小型深度神经网络,MNIST图像数据中很久我能加上任何噪声。训练和测试准确率如下表所示,可不都要看后,即使是对于不含噪声的数据,深度残差收缩网络的效果也是挺不错的:

参考文献:

接下来是深度残差网络ResNet的进程:

M. Zhao, S. Zhong, X. Fu, et al., Deep residual shrinkage networks for fault diagnosis, IEEE Transactions on Industrial Informatics, 2019, DOI: 10.1109/TII.2019.2943898

最后,堆叠或多或少基本模块,就可不都要得到完整版的网络特性。

深度残差收缩网络随便说说是或多或少通用的深度特性学习依据 ,不仅可不都要用于含噪数据的特性学习,也可不都要用于不含噪声数据的特性学习。这是将会,深度残差收缩网络中的阈值是根据样本清况 自适应选择的。换言之,将会样本中不含冗余信息、不都要软阈值化,也能阈值可不都要被训练得非常接近于零,从而软阈值化就合适不存在了。

首先,我门歌词 都都 来回顾一下深度残差网络。深度残差网络的基本模块如下图所示。相较于普通的卷积神经网络,深度残差网络引入了跨层的恒等连接,以降低模型训练的难度,提高准确率。

利用深度残差收缩网络进行MNIST手写数字的分类,可不都要看后,随便说说也能加上噪声,效果还是挺好的。深度残差收缩网络的代码:

深度残差收缩网络Deep Residual Shrinkage Network是或多或少较为新颖的深度神经网络,本质上是深度残差网络ResNet的或多或少改进版本,其目的是提高深度神经网络在强噪数据上的特性学习效果,其核心思想在于:在特性学习的过程中,剔除冗余信息也是怪怪的要的