原文传送门

CRYPTO TAXES CALCULATOR

• 设计了一个基于注意力机制的即插即用的脉冲编码模块

• 主要对比对象为直接编码方案

• 相比之前的网络，在CIFAR100提升了正确率，并降低了时延与能耗

TRADERJOE CRYPTO

CRYPTO FRAUD CASES

将静态数据编码为具有时序特征的脉冲集合，目前常见的编码方案包括：

• 时间编码（temporal coding） 将具体的数据编码为脉冲发放的具体时刻

• 相位编码（Phase coding） ^[1] 有权脉冲

• 频率编码（rating coding） 将数值编码为脉冲发放率，但其需要较长的模拟时间以确保高的分辨率

• 直接编码（direct coding） 具体数值直接输入网络，其编码由第一层[Conv-BN-LIF]完成。其需要在每个时间步重复这个操作，因此回产生周期性的相同输出，从而未充分利用后续SNN架构的时空提取能力，增加了神经形态硬件的能耗

ADS CRYPTO

注意力机制最初是为了提升sequence-to-sequence任务的性能，通过有效地过滤掉分散注意力的噪声，该机制有助于更高效的进行数据处理，从而提高性能。然而，由于神经形态硬件的核心特征之一为使用稀疏加法降低计算功耗，这给注意力块集成到SNN架构中带来了挑战，因为它需要在后续层中创建大量乘法块来动态计算注意力得分。 本文将注意力机制限制在编码层，后续的SNN结构仍然可以保持spike-driven特性。这种方法有望在神经形态硬件上实现更可行的SNN，因为它缓解了整个体系结构中动态注意力机制引起的不兼容性。

CRYPTO TRADING FUND

MICA CRYPTO

本文采用的为经典的迭代LIF模型：

HEX CRYPTO PRICE PREDICTION

输入数据维度为 $[T,C,H,W]$$[T,C,H,W]$，模块主要分为三个部分：

• Temporal Attention 建立SNN输入之间的时间关系，在后三维进行最大以及平均池化，并使用共享的$W_n\in {\mathbb{R}}^{\frac{T}{r}\times T}$$W_n \in \R^{\frac{T}{r} \times T}$和$W_m\in {\mathbb{R}}^{T\times \frac{T}{r}}$$W_m \in \R^{T \times \frac{T}{r}}$提取特征，得到一个$T$$T$维的向量 $M$$M$. 其中 $r$$r$ 是管理其计算开销的缩减因子

  

• Spatial Channel Attention

  在 每个时间步使用共享的卷积核获取空间通道矩阵 $NN=[N{N}^1,N{N}^2,...,N{N}^t]\in {\mathbb{R}}^{T\times C\times H\times W}$$\pmb{N}= [\pmb{N}^1, \pmb{N}^2, ..., \pmb{N}^t] \in \R^{T \times C \times H \times W}$

  

• Gating

  为了提取SNN的输入的时空信道动态特征，首先将时间向量$MM$$\pmb{M}$广播到${\mathbb{R}}^{T\times 1\times 1\times 1}$$\R^{T \times 1 \times 1 \times 1}$，并对上述结果进行门控：

  $$F_G(XX)=\sigma (MM\odot NN)$$

  其中 $\sigma$$\sigma$ 为Sigmoid function，$\odot$$\odot$ 为Hadamard积

SIA CRYPTO

编码过程：

$f$$f$ 是一个共享权重的卷积操作，GAU可以融合时空信道信息，以获得更好的编码特征表达能力；值得注意的是，这里的描述与图片不对应

CRYPTO.COM SAFE

训练采用STBP，最后一层充当解码层（对于每一个时间步求和取平均）

CRYPTO ARENA LOS ANGELES

文章使用了大量的篇幅争对$GAC$$GAC$和直接编码进行了理论证明，简单来说，作者的核心观点为：$GAC$$GAC$拥有更长的动态时间。这里的动态时间是指一段时间内，编码得到值互不相同，如下图，对于直接编码，在第3个时间步已经出现相同的编码图像，因此其动态时间为2。

CRYPTO VIDEO

COINBASE SITE IS DOWN

• Spiking-ResNet：膜电位和脉冲之间的shortcut ^[2]

• Spike-Element-Wise (SEW) ReNet：不同层输出spike之间的shortcut ^[3]

• Membrane Shortcut (MS) ResNet：不同层神经元膜电位之间的shortcut ^[4]

[1] J. Kim, H. Kim, S. Huh, J. Lee, and K. Choi, “Deep neural networks with weighted spikes,” Neurocomputing, vol. 311, pp. 373–386, 2018.

[1] J. Kim, H. Kim, S. Huh, J. Lee, and K. Choi, “Deep neural networks with weighted spikes,” Neurocomputing, vol. 311, pp. 373–386, 2018.

[2] Y. Hu, H. Tang and G. Pan, “Spiking Deep Residual Networks,” in IEEE Transactions on Neural Networks and Learning Systems, vol. 34, no. 8, pp. 5200-5205, Aug. 2023, doi: 10.1109/TNNLS.2021.3119238.

[3] W. Fang, Z. Yu, Y. Chen, T. Huang, T. Masquelier, and Y. Tian, “Deep residual learning in Spiking Neural Networks,” arXiv [cs.NE], 2021.

[4] Y. Hu, L. Deng, Y. Wu, M. Yao, and G. Li, “Advancing spiking neural networks towards deep residual learning,” arXiv [cs.NE], 2021.