The Uncertainty Principle is first proposed by Heisenberg to describe that you can’t precisely measure the position and momentum of a particle at the same time. This principle is well known in quantum physics. It then became a very “general” idea, and can also be used in the field of signal processing. In this article, I will describe the time-frequency uncertainty principle theorem and then show the proof.
在之前的博客中介绍了 CBAM 中的通道注意力，为了保持完整性，这次介绍剩余的空间注意力（Spatial Attention）部分。
刚开始接触小波变换的时候完全搞不清楚其基本原理，对“多分辨率分析”、“时频分辨率”这些术语更是云里雾里。网络上好的教程极度稀缺。这时候就必须强烈推荐 The Wavelet Tutorial：http://users.rowan.edu/~polikar/WTtutorial.html ，真正做到了深入浅出，通读下来让人感觉受益匪浅。
我们经常在论文中见到下面这种 CNN 的可视化图，它能告诉我们神经网络在做预测时，更加关注哪部分的内容，从一定程度上解释了判定依据。比如下图中，神经网络预测的分类是 ‘cat’，猫所在的区域温度就显著更高；而狗的位置就没有反应。
注意力机制通过关注相对重要的特征、抑制不必要的特征来对数据进行加权，从而更有利于神经网络总结出数据的规律。通道注意力就是在通道的维度计算出一个权重，也就是给每个通道的重要性打分。比较常用的网络是 SE-Net。
Update your browser to view this website correctly. Update my browser now