Bert Tokenizer在导入所有包后仍无法工作。是否有新的语法变化？

Question

我试图运行 Bert 的 tokenizer，但我一直收到错误。谁能帮帮我，我到底哪里出错了。

FullTokenizer = bert.bert_tokenization.FullTokenizer
bert_layer = hub.KerasLayer("https://tfhub.dev/tensorflow/bert_en_uncased_L-12_H-768_A-12/1", trainable=False)
vocab_file = bert_layer.resolved_object.vocab_file.asset_path.numpy()
do_lower_case = bert_layer.resolved_object.do_lower_case.numpy()
tokenizer = FullTokenizer(vocab_file, do_lower_case)

错误。AttributeError Traceback (最近一次调用最后一次) in () ----> 1 FullTokenizer = bert.bert_tokenization.FullTokenizer 2 bert_layer = hub.KerasLayer(" "。https:/tfhub.devtensorflowbert_en_uncased_L-12_H-768_A-121。", 3 trainable=False) 4 vocab_file = bert_layer.resolved_object.vocab_file.asset_path.numpy() 5 do_lower_case = bert_layer.resolved_object.do_lower_case.numpy()

属性错误：模块'bert'没有属性'bert_tokenization'。

以下所有内容均已导入，供参考。

!pip install bert-for-tf2
!pip install sentencepiece
!pip install bert-tensorflow
!pip install tensorflow==2.0

try:
    %tensorflow_version 2.x
except Exception:
    pass
import tensorflow as to
import tensorflow_hub as hub
from tensorflow.keras import layers
import bert
from bert import tokenization

Answer 1

我之前也遇到过类似的情况。

试着在运行 scriptnotebook 的目录中寻找一个名为 "bert "的文件夹。删除该文件夹或将其重命名为 "bert "以外的文件夹。很有可能当你导入 bert 时，它试图访问那个文件夹，而不是你安装在 Python 站点包中的 bert-for-tf2。

如果还是不行，请尝试

从Bert导入tokenization