所以我发现FileToGoogleCloudStorageOperator
有助于将文件从我的本地系统移动到Google Cloud。但是是否有类似的气流运营商将整个目录移至Google Cloud。
不是官方的,但创建一个很容易,你可以使用https://github.com/apache/incubator-airflow/blob/master/airflow/contrib/operators/file_to_gcs.py的大多数逻辑重用
你可以使用它用来上传单个文件的相同GoogleCloudStorageHook
,只需遍历目录,上传所有文件。无论如何,这就是GCS的任何目录上传功能。
根据您经常需要上传的文件数量,最好将上传内容分解为多个任务。这样,如果一个上传任务失败,您不必重新启动所有文件的上传。这取决于你的用例。