使用Scio部署DataFlow作业

问题描述 投票:0回答:1

我已经开始使用Scala SDK Scio开发我的第一个DataFlow作业。数据流作业将以流模式运行。

任何人都可以建议最好的部署方法吗?我已经阅读了Scio文档,他们使用sbt-pack,然后将其部署在Docker容器中。我还阅读了有关使用DataFlow模板的信息(但不是很详细)。

什么是最好的?

scala google-cloud-platform dataflow beam
1个回答
0
投票

[与Java和Python版本一样,您可以使用数据流运行器并从计算机(或VM /功能)启动代码,从而直接在数据流上运行代码。

如果要打包以进行重新利用,则可以创建模板。

您不能run custom container on Dataflow

© www.soinside.com 2019 - 2024. All rights reserved.