我已经开始使用Scala SDK Scio开发我的第一个DataFlow作业。数据流作业将以流模式运行。
任何人都可以建议最好的部署方法吗?我已经阅读了Scio文档,他们使用sbt-pack,然后将其部署在Docker容器中。我还阅读了有关使用DataFlow模板的信息(但不是很详细)。
sbt-pack
什么是最好的?
[与Java和Python版本一样,您可以使用数据流运行器并从计算机(或VM /功能)启动代码,从而直接在数据流上运行代码。
如果要打包以进行重新利用,则可以创建模板。
您不能run custom container on Dataflow。