工作人员启动后数据流作业没有运行?

问题描述 投票:0回答:1

有时,即使在工作人员成功启动后,GCP数据流作业也无法在提交后启动。

google-cloud-dataflow dataflow
1个回答
0
投票

以下是不启动数据流作业的可能原因:

1)没有足够的许可service accountIAM user

  • dataflow admin权限添加到服务帐户。
  • 对于IAM用户,添加广泛的访问权限,如EDITOROWNER,然后在命令下运行 gcloud config set project <your_project_id> gcloud auth login gcloud auth login application-default

2)有时包依赖会导致这种情况。要解决此问题,请执行以下步骤:从您当地的setup.py生成requirements.txt

- pip freeze > requirements.txt
- then add packages from `requirements.txt` into `setup.py`
- Add proper path of `setup.py` in JOB CONFIG.
© www.soinside.com 2019 - 2024. All rights reserved.