gsutil 相关问题

gsutil是一个命令行程序,允许您存储,共享和管理基于云的存储提供程序托管的数据。

Gsutil - 如何使用Gsutil检查GCS存储桶(子目录)中是否存在文件

我有一个GCS存储桶包含路径中的一些文件gs://main-bucket/sub-directory-bucket/object1.gz我想以编程方式检查子目录存储桶是否包含一个特定文件。 ...

回答 3 投票 7

如何从没有外部IP的GCE VM读取存储桶?

我正在尝试使用gsutil cp命令从GCE VM中读取存储桶中的文件。 GCE VM使用自定义存储帐户,该帐户需要IAM权限和访问策略...

回答 1 投票 1

权限被拒绝的gsutil cp错误

我只是想分享这个,因为我花了一段时间来弄清楚它并且在网上找不到任何东西。我在Windows计算机上的CMD提示符下运行此命令:gsutil cp gs:// my_bucket / ...

回答 1 投票 1

Google云构建触发器静态站点:'ascii'编解码器无法对字符进行编码

我的静态站点的构建过程如下:我创建公用文件夹我复制公用文件夹并重命名为gzipped。在gzip文件夹上,我运行以下代码:find。 -type f -exec gzip ...

回答 1 投票 0

gcloud存储python客户端API是否支持并行复合上传?

gsutil命令具有优化大文件上载/下载速度的选项。例如GSUtil:parallel_composite_upload_threshold = 150M GSUtil:sliced_object_download_max_components = 8看到这个......

回答 1 投票 1

gsutil rsync是否会对Google Cloud Storage Coldline存储桶产生额外费用

我需要对Google Cloud Storage冷线进行大量上传〜1.5TB。我打算使用gsutil的rsync命令。但我有一个担忧。 rsync的校验和验证是否会产生额外的......

回答 1 投票 0

gsutil:仅列出目录(bug?)

$ gsutil ls -d'gs:// XXX / test / ** /'gs:// XXX / test / gs://XXX/test/336x280.swf.gz因此它不仅列出了目录(以/结尾)还有常规文件(例如以.gz结尾)。但......

回答 1 投票 1

有没有办法浏览存储在Google云端存储中的文本文档?

问题有没有办法浏览存储在Google云端存储中的文本文档?背景我在VM上存储了超过1万个文档(txt文件)并且正在占用空间。在它之前......

回答 4 投票 2

如何在BigQuery命令行工具中运行上一个作业的作业ID?

我在bq中运行一些命令以将数据从BigQuery提取到GCS。我能够达到目标结果。我能够查询数据并能够以所需的格式将数据放入GCS。一世 ...

回答 2 投票 0

有没有快速的方法来确定哪个文件gsutil cp无法复制?

当我执行这个命令时...... $ cat sending.csv | gsutil -m cp -I gs:// my-bucket /我得到这样的输出...复制文件://000000000077.jpg [Content-Type = image / jpeg] ......

回答 1 投票 0

GCP:是否可以将对象从源BUCKET复制/传输到在不同组织中创建的目标BUCKET?

我在一个SOURCE项目中有一些带有多个文件的桶(命名为:PROJECT A,在ORGANIZATION A中创建),我需要将这些源文件复制/传输到TARGET Bucket(位于另一个...

回答 1 投票 0

使用gsutil自动将本地存储的文件上载到云存储

我是GCP的新手,我正在尝试构建一个ETL流,将数据从文件上传到BigQuery。在我看来,最好的解决方案是使用gsutil。我今天看到的步骤是:(完成)......

回答 1 投票 0

通过使用gsutil构建器在构建期间获取app.yaml来保护GAE env变量?

我遇到了与此处提到的问题相同的问题:使用app.yaml在GAE中安全地存储环境变量 - 即:“我需要在app.yaml中存储API密钥和其他敏感信息,因为...

回答 1 投票 7

使用gsutil cp向GCP运行powershell脚本可显示多行上传进度

我有一个简单的powershell脚本,它运行在我的Win'2008R2系统上的任务调度程序,基本上只运行以下命令:gsutil -o GSUtil:parallel_composite_upload_component_size = 0 ...

回答 1 投票 1

ImportError:没有名为google_compute_engine的模块

我使用谷歌云平台的谷歌计算引擎,我想将我的数据存储在谷歌存储中,所以我使用gsutil将数据从计算引擎发送到谷歌存储我更新之前...

回答 3 投票 8

gcloud init cli命令:错误:gcloud崩溃(ValueError):查询包含空字符

我正在尝试初始化项目的gcloud设置。但是当我运行gcloud init命令时,它会给出错误gcloud崩溃。它以前工作但今天突然这个命令......

回答 1 投票 0

如何在脚本中正确使用`gsutil -q stat`?

我正在创建一个KSH脚本来检查GCS存储桶中是否存在子目录。我正在编写这样的脚本:#!/ bin / ksh set -e set -o pipefail gsutil -q stat $ {DESTINATION_PATH} / ...

回答 1 投票 0

gsutil是否支持从Azure存储中复制文件?

gsutil支持将文件从S3复制到GCS,如本博客中所述。 gsutil工具是否也支持从Azure复制文件?

回答 2 投票 0

如何在没有.cmd后缀的情况下从Scala运行gsutil?

我试图在Scala中运行gsutil,但除非我在代码中明确地放置.cmd,否则它不起作用。我不喜欢这种方法,因为我使用的其他人使用Unix系统。我如何让Scala理解......

回答 1 投票 0

pip安装gsutil会导致太多不兼容的依赖项

当我运行pip install -U pip时,我收到以下错误:proto-google-cloud-spanner-v1 0.15.3有要求oauth2client <4.0dev,> = 2.0.0,但你有oauth2client 4.1.2哪个是......

回答 1 投票 1

© www.soinside.com 2019 - 2024. All rights reserved.