Attention 待更新

2020-03-18 17:06:56 浏览数 (1)

Attention

注意力机制可以描述为一个函数,这个函数将query和一组key-value对映射成一个输出。

Scaled Dot-Porduct Attention

代码可以参考大神的这两个repo:

(1)https://github.com/CyberZHG/keras-self-attention

(2)https://github.com/CyberZHG/keras-multi-head

0 人点赞