huggingFace bert模型中的embedding元素代表什么？

Question

在通过 BERT 模型中的编码器传递我的令牌之前，我想对它们的嵌入执行一些处理。我使用以下方法提取了嵌入权重：

from transformers import TFBertModel

# Load a pre-trained BERT model
model = TFBertModel.from_pretrained('bert-base-uncased')

# Get the embedding layer of the model
embedding_layer = model.get_layer('bert').get_input_embeddings()

# Extract the embedding weights
embedding_weights = embedding_layer.get_weights()

我发现它包含5个元素，如图所示。

在我的理解中，前三个元素是word embedding weights，token type embedding weights，positional embedding weights。我的问题是最后两个元素代表什么？

我深入研究了bert模型的源代码。但是我无法弄清楚最后两个元素的含义。