Alterantize FileTogoClearCloudTopOperator

问题描述 投票:1回答:1

所以我发现FileToGoogleCloudStorageOperator有助于将文件从我的本地系统移动到Google Cloud。但是是否有类似的气流运营商将整个目录移至Google Cloud。

python google-cloud-platform google-cloud-datastore airflow
1个回答
2
投票

不是官方的,但创建一个很容易,你可以使用https://github.com/apache/incubator-airflow/blob/master/airflow/contrib/operators/file_to_gcs.py的大多数逻辑重用

你可以使用它用来上传单个文件的相同GoogleCloudStorageHook,只需遍历目录,上传所有文件。无论如何,这就是GCS的任何目录上传功能。

根据您经常需要上传的文件数量,最好将上传内容分解为多个任务。这样,如果一个上传任务失败,您不必重新启动所有文件的上传。这取决于你的用例。

© www.soinside.com 2019 - 2024. All rights reserved.