服务帐户执行批处理数据流作业

Question

我需要使用服务帐户执行数据流作业，我正在遵循同一平台本身提供的非常简单和基本的单词计数示例。

哪个怪异是我得到的错误：

据此，GCP要求服务帐户具有Dataflow Worker的权限才能执行我的工作。即使我已经设置了所需的权限，但错误仍然出现时，堰部分就会过去：

有人可以解释这种奇怪的行为吗？非常感谢

Answer 1

要运行数据流作业，项目必须启用计费和以下Google Cloud Platform API：

• Google Cloud Dataflow API
• Compute Engine API（Google Compute Engine）
• Google Cloud Logging API
• Google Cloud Storage
• Google Cloud Storage JSON API
• BigQuery API
• Google Cloud Pub / Sub
• Google Cloud Datastore API

您还应该在项目中为在Dataflow作业中使用的任何一种API提供足够的配额。

我建议您创建一个以前从未使用过其名称的新服务帐户，然后将roles/dataflow.worker授予该新的新服务帐户。请记住，Cloud IAM传播花费的时间少于60秒，最多需要7分钟，因此，在IAM更改和创建数据流作业之间，请花几分钟。

另一种可能的解决方法是删除Dataflow worker权限，然后再次添加它。删除帐户后，该权限仍然保留，指向其旧ID。在明确删除角色之前，不得刷新此ID。

[我鼓励您访问带有角色描述和权限文档的Dataflow IAM角色。