使用 CSEK 将大数据从一个云存储桶复制到另一个

Question

我想将数据从一个 GCP 云存储桶复制到另一个 GCP 云存储桶。

源桶有数百万个小文件，并使用 AES256 密钥（即客户提供的加密密钥）加密。

customerEncryption:
  encryptionAlgorithm: AES256
  keySha256: pLLJNJ+/XXXXXXXXXXXXXXXXXXXXX/ckKJNK=

GCP 数据传输服务不涵盖使用 CSEK 加密的文件的数据传输。

目前我只能想到一种方法来解决这个问题，即以编程方式读取对象并使用加密密钥再次上传到目标存储桶。

是否有一种有效的方法来复制使用客户提供的加密密钥加密的大量文件？

Answer 1

我们可以使用以下命令将 GCP 存储桶中使用 CSEK 加密的文件复制到另一个 GCP 存储桶

gsutil cp

gsutil -m -o "GSUtil:encryption_key=XXXXXXXXXXXXXXXX" cp gs://test-1/abc gs://test-3/abc

gsutil rsync

gsutil -m -o "GSUtil:encryption_key=XXXXXXXXXXXXXXXX" rsync gs://test-1/abc gs://test-3/abc

gcloud 存储 cp

GCP 推出 gcloud 存储：云存储的数据传输速度提升高达 94%

gcloud storage cp -r gs://test-1/abc gs://test-3/abc --encryption-key=XXXXXXXXXXXXXXXX --manifest-path=test-manifest.csv --storage-class=REGIONAL