将目录文件同步到Google Cloud Composer dags文件夹。

Question

我想把我仓库中的一个文件夹的内容同步到GCP Composer中。dags/ 文件夹中的一个简单命令。

gcloud composer cli似乎有一个这样的命令，但是它留下了一个警告，即对通配符的支持正在被删除。

>> gcloud composer environments storage dags import \
      --source="dir/*" \
      --environment={env_name} \
      --location={loc}
WARNING: Use of gsutil wildcards is no longer supported in --source. Set the storage/use_gsutil property to get the old behavior back temporarily. However, this property will eventually be removed.

是否有一种方法可以使用这个命令，使其具有同样的效果来扩展 dir 入作曲家 dags/ 文件夹没有被废弃？我研究过 gsutil rsync 但这个命令让你很难忽略某些文件和目录。GCloud有一个很好的 .gcloudignore 文件来处理这个问题。

Answer 1

命令 gcloud composer environments storage dags import 从本地存储导入到云作曲家桶中。似乎它并没有同步源和目标。在 例子的现有文件。dags/ 文件夹中的内容不会被删除，只会添加新的文件。

鉴于 gcloud 命令只将源内容复制到了 dags/ 文件夹，gsutil可以帮助你。

gsutil cp -r dir/* gs://composer-bucket/dags

Answer 2

你可以用 gsutil rsync

gsutil rsync -r -c -x  -d local_directory gs://GCS-BUCKET-NAME/dags

这将确保每次运行这个命令时，本地目录和天目录之间的同步。另外，它只更新源目录和目标目录之间修改过的文件。