使用张量流服务时的数据处理(Docker / Kubernetes)

问题描述 投票:1回答:2

我正在寻找5个需要数据预处理/后处理的深度学习模型。

[使用TF服务托管每个模型似乎很直接(使用Kubernetes来管理容器),但是如果是这种情况,数据的预处理和后处理应该在哪里进行?

docker kubernetes tensorflow-serving
2个回答
0
投票

我不确定这个问题是否只有一个明确的答案,但是我很幸运能大规模部署模型,将数据预处理和后处理代码捆绑到相当普通的Go或Python(例如Flask)应用程序中,连接到我的永久性存储以进行其他操作。

例如,以电影推荐示例为例,在预测路线上,将用户观看的100部电影从数据库中拉出,将它们转储到具有适当大小和编码的NumPy数组中,然后分发到TensorFlow服务中,效果相当好容器,然后在返回之前进行最少的后处理(例如拉电影名称,说明,从持久性存储层的不同部分进行投射)。


0
投票

约瑟夫斯基的答案的其他选项,您可以:

  1. 在模型本身中实现处理(请参见SavedModel guide中的keras模型的签名和估计器的输入接收器)。

  2. 安装Seldon-core。它是处理建筑物图像和联网的整个服务框架。它将服务构建为具有不同API的Pod的图形,其中之一是对数据进行预处理/后处理的转换器。

© www.soinside.com 2019 - 2024. All rights reserved.