tensorflow-serving 相关问题

TensorFlow Serving是一种灵活的高性能服务系统,适用于机器学习模型,专为生产环境而设计。 TensorFlow服务可以轻松部署新算法和实验,同时保持相同的服务器架构和API。 TensorFlow Serving提供与TensorFlow模型的开箱即用集成,但可以轻松扩展以提供其他类型的模型和数据。

TensorFlow服务错误-找不到与提供的标签匹配的元图def:{服务}

我正在尝试还原TensorFlow的Saver对象(.ckpt。*),并将其转换为SavedModel对象(.pb),以便可以通过TensorFlow Serving进行部署。这就是我的转换方式:使用tf.Session()...

回答 2 投票 0

来自CMake的用于自定义op tensorflow服务的构建文件

我是C ++的新手,我遵循此脚本为句子构建了custom_ops。从他们解释的描述中,运行cmake -DSPM_USE_BUILTIN_PROTOBUF = OFF -...

回答 1 投票 0

没有docker的centos rhel 7的tensorflow-model-server

有没有办法在没有docker的情况下为centos rhel 7用户使用tensorflow-model-server。我找不到它的文档

回答 1 投票 0

Tensorflow预测变量:指定serving_input_receiver_fn

我想从tf.estimator.Estimator模型构建预测变量。因此,我需要指定一个input_receiver_fn,以指定从接收器张量到特征的预处理图...

回答 1 投票 0

通过docker在tensorflow中进行详细登录

是否可以通过docker在tf服务中设置日志级别?我看到了这些参数,但没有看到有关在此处登录的任何信息--port = 8500 int32用于侦听gRPC的端口...

回答 1 投票 0

为什么我的使用bazel build copt avx2的TensorFlow服务无助于加快推理速度?

我正在使用tensorflow-v1.12.0构建我的tf服务服务。我已经尝试过各种可用于我的CPU的copt。但是结果没有达到我的预期。下图显示了每个副本的性能...

回答 1 投票 0

Tensorflow中的自定义资源

出于某些原因,我需要为Tensorflow实施自定义资源。我试图从查找表实现中获得启发。如果我很了解,我需要实现3个TF操作:...

回答 1 投票 2

将预训练的张量流模型转换为张量流服务

我正在尝试使用张量流服务。但是,任何可下载的经过预训练的模型(例如从此处:TF检测动物园)在save_models / variables中都没有任何文件...

回答 1 投票 0

向tensorflow服务模型进行卷曲查询以预测API中断

我正在使用本教程TensorFlow和Docker一起查询curl -d'{“ instances”:[1.0,2.0,5.0]}'\ -X POST http:// localhost:8501 / v1 / models / half_plus_two:预测它返回`C:\ WINDOWS \ ...

回答 1 投票 0

如何保存使用Tensorflow 1.xx中的.meta检查点模型作为部分的Tensorflow 2.0模型?

我已经使用tensorflow 1.15训练模型并保存为检查点(带有.meta,.index和.data文件)。我需要在此图的开头和结尾添加一些其他操作。 ...

回答 1 投票 0

如何保存使用Tensorflow 1.xx中带有.meta检查点的模型作为部分的Tensorflow 2.0模型?

我已经使用tensorflow 1.15训练模型并保存为检查点(带有.meta,.index和.data文件)。我需要在此图的开头和结尾添加一些其他操作。 ...

回答 1 投票 0

使用tensorflow服务和docker服务通用句子编码器模型

我在本地驱动器上保存了通用句子编码器模型。我正在尝试使用tensorflow服务在docker容器上提供模型。命令:sudo docker run -p 8502:8502 --name tf-serve -v ...

回答 1 投票 -1

Tensorflow服务无法找到GPU

我正在尝试将训练有素的keras模型服务于张量流服务。导出部分还不错,我在加载模型之前与tf.device('/ gpu:0'):一起使用。但是当我尝试为其提供服务时,GPU设备...

回答 1 投票 0

向Tensorflow服务发布Postman请求以预测REST API

Windows 10和Docker tensorflow / serving。在构造JSON以请求预测时遇到问题,希望有人可以帮助我。我尝试了不同格式的json,没有一个...

回答 1 投票 1

Tensorflow服务对象检测客户端

我有一个运行对象检测器模型的tensorflow服务docker容器。为了生成此模型,我使用了以下代码input_img = sess.graph.get_tensor_by_name('Placeholder:0')...

回答 1 投票 0

variable_ops_scope和variable_scope有什么区别?

在TensorFlow中,有两个作用域函数:variable_ops_scope和variable_scope。第一个签名如下:variable_op_scope(values,name_or_scope,default_name,initializer,...

回答 1 投票 1

运行docker容器错误:找不到可服务模型的基本路径/ models / model

我尝试使用docker映像运行docker容器时遇到问题:tensorflow / serving。我运行cmd:docker run --name = tf_serving -it tensorflow / serving结果是:2019-10-28 04:...

回答 1 投票 0

curl不适用于Windows,但适用于Mac OSX

我是tensorflow和window的新手,我将curl发送到Linux上的tensorflow服务器,并且在OSX上可以使用。 curl -d'{“ instances”:[{“ image”:{“ b64”:“'” $(base64 ./test_input.png)“'”}}}}''-X POST http:// ...

回答 1 投票 0

tensorflow-serving给我一个从命令行运行的相同模型的“ ffeed and fetched”错误

当我使用save_model_cli运行预测时,它会正确执行,但是当我尝试通过tensorflow-serving运行它时,相同的输入给我一个错误。它告诉我一个项目正在被喂食,并且...

回答 1 投票 0

如何从提供的TensorFlow模型中获取元数据?

我有一些使用TensorFlow服务运行的模型,我希望这些模型可以自我描述,这样我们调用它们的服务不需要直接嵌入输入大小之类的东西。 (例如,...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.