如何在Python中实现简化且上下文相关的注意力？

Question

我是注意力机制的新手。我正在读一篇名为“基于 Gru 的人类活动识别注意机制”的论文。在这里他们使用了两种类型的注意力机制。

简化注意力

1. 上下文相关的注意力
2. 
   
但是我找不到足够的资源来理解这两种类型的注意力以及如何使用python实现并使用它们。提前致谢。

我尝试学习这两种类型的注意力机制，但我感觉缺乏指导。

Answer 1

简化注意力 - 这种形式仅关注序列的局部部分来计算注意力权重。它通常使用更简单的过程，例如对隐藏状态进行平均或分配直接权重，忽略更广泛的上下文。

1. 上下文相关注意力 - 该方法考虑输入序列的整个上下文来计算注意力权重。它在序列到序列任务中特别有用，其中输出严重依赖于整个输入序列。