我已经成功地培养了DNNClassifier到文本分类(从网上讨论区的帖子)。我保存的模型,我现在要分类使用TensorFlow CLI文本。
当我运行saved_model_cli show
为我保存的模型,我得到这样的输出:
saved_model_cli show --dir /my/model --tag_set serve --signature_def predict
The given SavedModel SignatureDef contains the following input(s):
inputs['examples'] tensor_info:
dtype: DT_STRING
shape: (-1)
name: input_example_tensor:0
The given SavedModel SignatureDef contains the following output(s):
outputs['class_ids'] tensor_info:
dtype: DT_INT64
shape: (-1, 1)
name: dnn/head/predictions/ExpandDims:0
outputs['classes'] tensor_info:
dtype: DT_STRING
shape: (-1, 1)
name: dnn/head/predictions/str_classes:0
outputs['logistic'] tensor_info:
dtype: DT_FLOAT
shape: (-1, 1)
name: dnn/head/predictions/logistic:0
outputs['logits'] tensor_info:
dtype: DT_FLOAT
shape: (-1, 1)
name: dnn/logits/BiasAdd:0
outputs['probabilities'] tensor_info:
dtype: DT_FLOAT
shape: (-1, 2)
name: dnn/head/predictions/probabilities:0
Method name is: tensorflow/serving/predict
我想不出正确的参数saved_model_cli run
得到一个预测。
我曾尝试多种方法,例如:
saved_model_cli run --dir /my/model --tag_set serve --signature_def predict --input_exprs='examples=["klassifiziere mich bitte"]'
这给了我这个错误信息:
InvalidArgumentError (see above for traceback): Could not parse example input, value: 'klassifiziere mich bitte'
[[Node: ParseExample/ParseExample = ParseExample[Ndense=1, Nsparse=0, Tdense=[DT_STRING], dense_shapes=[[1]], sparse_types=[], _device="/job:localhost/replica:0/task:0/device:CPU:0"](_arg_input_example_tensor_0_0, ParseExample/ParseExample/names, ParseExample/ParseExample/dense_keys_0, ParseExample/ParseExample/names)]]
什么是通过我的输入字符串的CLI来获得一个分类的正确方法是什么?
你可以找到我的项目的代码,包括训练数据,在GitHub上:https://github.com/pahund/beitragstuev
我建立并保存我的模型像这样(简化,see GitHub for original code):
embedded_text_feature_column = hub.text_embedding_column(
key="sentence",
module_spec="https://tfhub.dev/google/nnlm-de-dim128/1")
feature_columns = [embedded_text_feature_column]
estimator = tf.estimator.DNNClassifier(
hidden_units=[500, 100],
feature_columns=feature_columns,
n_classes=2,
optimizer=tf.train.AdagradOptimizer(learning_rate=0.003))
feature_spec = tf.feature_column.make_parse_example_spec(feature_columns)
serving_input_receiver_fn = tf.estimator.export.build_parsing_serving_input_receiver_fn(feature_spec)
estimator.export_savedmodel(export_dir_base="/my/dir/base", serving_input_receiver_fn=serving_input_receiver_fn)
你创建的模型导出的ServingInputReceiver
是告诉保存的模型期待系列化tf.Example
PROTOS,而不是要分类的原始字符串。
从the Save and Restore documentation:
一个典型的模式是推论请求在系列化tf.Examples的形式到达,所以serving_input_receiver_fn()创建一个字符串的占位符接收它们。所述serving_input_receiver_fn()随后还负责通过添加tf.parse_example op将图形解析tf.Examples。
....
所述tf.estimator.export.build_parsing_serving_input_receiver_fn效用函数提供对常见的情况该输入接收器。
所以,你的出口模型包含tf.parse_example
OP是希望接收满足你的情况下,预计序列的例子是有tf.Example
功能,你传递给build_parsing_serving_input_receiver_fn
的功能规格,即系列化sentence
PROTOS。为了与模型预测,你必须提供这些系列化PROTOS。
幸运的是,Tensorflow使得它非常容易构建这些。这里是一个可能函数返回一个表达式映射examples
输入键来了一批字符串,然后你就可以传递给CLI的:
import tensorflow as tf
def serialize_example_string(strings):
serialized_examples = []
for s in strings:
try:
value = [bytes(s, "utf-8")]
except TypeError: # python 2
value = [bytes(s)]
example = tf.train.Example(
features=tf.train.Features(
feature={
"sentence": tf.train.Feature(bytes_list=tf.train.BytesList(value=value))
}
)
)
serialized_examples.append(example.SerializeToString())
return "examples=" + repr(serialized_examples).replace("'", "\"")
因此,使用从你的例子拉到一些字符串:
strings = ["klassifiziere mich bitte",
"Das Paket „S Line Competition“ umfasst unter anderem optische Details, eine neue Farbe (Turboblau), 19-Zöller und LED-Lampen.",
"(pro Stimme geht 1 Euro Spende von Pfuscher ans Forum) ah du sack, also so gehts ja net :D:D:D"]
print (serialize_example_string(strings))
该CLI命令是:
saved_model_cli run --dir /path/to/model --tag_set serve --signature_def predict --input_exprs='examples=[b"\n*\n(\n\x08sentence\x12\x1c\n\x1a\n\x18klassifiziere mich bitte", b"\n\x98\x01\n\x95\x01\n\x08sentence\x12\x88\x01\n\x85\x01\n\x82\x01Das Paket \xe2\x80\x9eS Line Competition\xe2\x80\x9c umfasst unter anderem optische Details, eine neue Farbe (Turboblau), 19-Z\xc3\xb6ller und LED-Lampen.", b"\np\nn\n\x08sentence\x12b\n`\n^(pro Stimme geht 1 Euro Spende von Pfuscher ans Forum) ah du sack, also so gehts ja net :D:D:D"]'
这应该给你想要的结果:
Result for output key class_ids:
[[0]
[1]
[0]]
Result for output key classes:
[[b'0']
[b'1']
[b'0']]
Result for output key logistic:
[[0.05852016]
[0.88453305]
[0.04373989]]
Result for output key logits:
[[-2.7780817]
[ 2.0360758]
[-3.0847695]]
Result for output key probabilities:
[[0.94147986 0.05852016]
[0.11546692 0.88453305]
[0.9562601 0.04373989]]
可替换地,提供了saved_model_cli另一种选择--input_examples
,代替--input_exprs
,这样就可以在CMD线直接传递tf.Examples数据,而不手动序列化。
例如:
--input_examples 'examples=[{"sentence":["this is a sentence"]}]'
见https://www.tensorflow.org/guide/saved_model#--input_examples了解详情。