您如何配置TensorFlow Serving使用存储在DigitalOcean Spaces中的文件?
解决方案很重要:
我已经在DigitalOcean Spaces中以以下结构配置了一个名为your_bucket_name
的存储桶:
- your_bucket_name
- config
- batching_parameters.txt
- monitoring_config.txt
- models.config
- models
- model_1
- version_1.1
- variables
- variables.data-00000-of-00001
- variables.index
- saved_model.pb
- model_2
- ...
- model_3
- ...
TensorFlow Serving支持与Amazon S3存储桶集成。由于DigitalOcean Spaces提供了类似的界面,因此可以通过Docker轻松运行TensorFlow服务。只要您正确设置了所有内容。
为了使其他人更容易,我在下面详细介绍了有关运行服务器所需的所有知识:
在您的环境中定义以下变量:
AWS_ACCESS_KEY_ID=...
AWS_SECRET_ACCESS_KEY=...
(这不是绝对必要的,但是定义这些变量使您的部署比将值硬编码到docker-compose文件中更安全。)>>
作为配置云存储桶的一部分,您从DigitalOcean Spaces接收了这些变量的值。
您可以使用Docker或docker-compose启动服务器:
这是用于从命令提示符启动服务器的最小docker命令:
docker run \ -p 8500:8500 \ -p 8501:8501 \ -e AWS_ACCESS_KEY_ID=${AWS_ACCESS_KEY_ID} \ -e AWS_REGION=nyc3 \ -e AWS_SECRET_ACCESS_KEY=${AWS_SECRET_ACCESS_KEY} \ -e S3_ENDPOINT=nyc3.digitaloceanspaces.com \ tensorflow/serving \ --model_config_file=s3://your_bucket_name/config/models.config
2.2。使用docker-compose
此docker-compose配置在配置服务器的方式上更加详细,但是您也可以通过简单的
docker
命令使用这些选项。
version: "3" services: tensorflow-servings: image: tensorflow/serving:latest ports: - 8500:8500 - 8501:8501 command: - --batching_parameters_file=s3://your_bucket_name/config/batching_parameters.txt - --enable_batching=true - --model_config_file=s3://your_bucket_name/config/only_toxic.config - --model_config_file_poll_wait_seconds=300 - --monitoring_config_file=s3://your_bucket_name/config/monitoring_config.txt - --rest_api_timeout_in_ms=30000 environment: - AWS_ACCESS_KEY_ID=${AWS_ACCESS_KEY_ID} - AWS_LOG_LEVEL=3 - AWS_REGION=nyc3 - AWS_SECRET_ACCESS_KEY=${AWS_SECRET_ACCESS_KEY} - S3_ENDPOINT=nyc3.digitaloceanspaces.com
这里减少了日志级别,因为有许多不是实际错误的“连接已释放”和“无响应正文”消息。 (有关更多详细信息,请参见GitHub Issue: AWS lib is verbose when using S3。)3。配置文件:
配置文件如下所示:
3.1。 models.config
model_config_list { config { name: 'model_1' base_path: 's3://your_bucket_name/models/model_1/' model_platform: "tensorflow" }, config { ... }, config { ... } }
3.2。 batching_parameters.txt(可选)此文件定义了TensorFlow Serving的准则;扩展其在服务器中处理批处理的方式。
max_batch_size { value: 1024 } batch_timeout_micros { value: 100 } num_batch_threads { value: 4 } pad_variable_length_inputs: true
3.3。 monitoring_config.txt(可选)此文件可通过下面定义的端点提供各种统计信息。
prometheus_config { enable: true, path: "/monitoring/metrics" }```