我设计了一种新的注意力机制。让我们用一句话来说“打篮球太酷了！”我有一对玩篮球的代币。这两个标记有一些嵌入向量，例如 1000 个数字长。这两个向量处于某种恒定关系，由 1000 个数字长的二进制向量定义，我已经从之前的训练中知道了这一点。
我的问题是，每当我在句子中发现打篮球对时，如何快速访问这个二进制向量。显然，我还需要访问其他二进制向量，例如 play-ultra、play-cool、ultra-cool 等。我需要访问这句话的 6^2 个二进制向量。
我不知道机器学习中使用的任何快速查找机制，尽管我考虑过为此使用稀疏网络连接。
为了有效地访问句子中标记对的二进制向量，您可以使用学习注意力和稀疏表示的智能组合。首先，定义标记对及其相应的二进制向量。然后，将这些对设置为稀疏格式以节省内存并加快速度。接下来，您训练一个神经网络，根据句子中的上下文确定每个标记对的重要性。在实际使用过程中，您可以让这个经过训练的网络指导您计算二进制向量的加权和，从而为您提供句子的完整图像。最重要的是，您可以使用一些巧妙的查找方法根据您识别的标记对快速找到所需的二进制向量。这样，您就可以两全其美：准确性和效率！