如何使用服务帐户通过Cloud Composer dag执行API调用

Question

我有一个数据流应用程序代码，它从 Bigquery 读取数据并写入 GCS 存储桶和一些其他处理。我成功地能够使用 Dataflow Worker 服务帐户从 Dataflow UI 运行此代码，该帐户已被授予必要的 IAM 角色以便能够访问 BigQuery 和 GCS。现在我想通过 api 调用运行此代码，并且此 api 调用应使用 PythonOperator 从云编写器 dag 完成，以便我可以安排此作业以某种频率运行。

当我执行 dag 时，出现错误，表明用户没有分配数据流开发人员角色以创建数据流作业。我想了解从 Composer 运行应用程序的正确方法是什么。

下面的方法正确吗

###我应该创建一个新的服务帐户，该帐户能够运行composer dag，并且还能够创建并运行数据流作业。此服务帐户还应具有必要的 IAM 角色才能访问 Bigquery 和 GCS### ###另外我想知道，我不想在代码中传递 Json 密钥文件进行身份验证。验证服务帐户的最佳方法是什么###

我尝试运行composer dag，但失败并出现身份验证错误

Answer 1

以下是 Cloud Composer 所需的服务列表： https://cloud.google.com/composer/docs/how-to/managing/enabling-service#required-services

Answer 2

对此的任何更新我都陷入了同样的情况。