有时,即使在工作人员成功启动后,GCP数据流作业也无法在提交后启动。
以下是不启动数据流作业的可能原因:
1)没有足够的许可service account
或IAM user
dataflow admin
权限添加到服务帐户。EDITOR
或OWNER
,然后在命令下运行
gcloud config set project <your_project_id>
gcloud auth login
gcloud auth login application-default
2)有时包依赖会导致这种情况。要解决此问题,请执行以下步骤:从您当地的setup.py
生成requirements.txt
- pip freeze > requirements.txt
- then add packages from `requirements.txt` into `setup.py`
- Add proper path of `setup.py` in JOB CONFIG.