gsutil 相关问题

gsutil是一个命令行程序,允许您存储,共享和管理基于云的存储提供程序托管的数据。

gsutil数据复制过程中的parallel_thread_count选项。

我有5个文件存在我的on-prem服务器上,其合并大小是34GB左右。所有这些文件都有不同的大小。我试图将这些文件复制到GCP Bucket上,我使用的是下面的方法。

回答 1 投票 0

如何在复制到本地机器时排除google云中gcs bucket中的特定文件夹?

我试图用gsutil命令将文件和文件夹从google云存储复制到vm机器上,但我需要在复制到vm时排除gcs bucket中的一些文件夹,我试着搜索......

回答 1 投票 1

使用gsutil使用生成号生成一个签名的url。

我的 GCS bucket 中有以下版本的文件:gsutil ls -a gs:/xyz-dev gs:/xyz-devtest.txt#1589869975626596 gs:/xyz-devtest.txt#1589869994788057 gs:/xyz-devtest.txt#。

回答 1 投票 0

将目录文件同步到Google Cloud Composer dags文件夹。

我想用一个简单的命令将我的仓库中的一个文件夹的内容同步到GCP Composer dags文件夹中。gcloud composer cli似乎有一个命令,但是它留下了一个警告......。

回答 2 投票 0

谷歌云:如何将文件从VM Instance复制到电脑桌面?

在SSH上,我试过使用gsutil -m cp filename* Desktop从VM Instance复制一个文件到我的电脑桌面,就像Google Cloud文档中自己的例子一样。我收到一条消息说...

回答 1 投票 0

Google cloud get bucket-使用cli,但不能在python中使用

我被要求与外部google存储桶进行集成,我收到了凭据json,并且在尝试执行gsutil ls gs:// bucket_name时(在为自己配置好...之后>]

回答 2 投票 0

编辑GCP存储桶中的多个文件

我在GCS存储桶中有多个JSON文件,需要将其导出到BigQuery。它们不是用换行符分隔的,我需要编辑文件,并且我正在寻找使用云外壳在...

回答 1 投票 0

使用gsutil从GCP同步到S3

这里有一个类似的问题,带有答案。但是,那里的最佳答案对我不起作用:如果我使用:gsutil -m rsync -r gs:// your-gcs-bucket s3:// your-s3-bucket对于我来说,它失败了:...

回答 1 投票 0

gsutil:为什么ls返回目录本身

我有$ gsutil ls gs:// ml_models_c / ref7 / test / model / 2 / gs:// ml_models_c / ref7 / test / model / 2 / <=为什么这样? gs://ml_models_c/ref7/test/model/2/saved_model.pb gs:// ml_models_c / ...

回答 1 投票 0

gsutil错误:ModuleNotFoundError:没有名为'gslib'的模块

gsutil命令(带有或不带有参数)正在返回错误:ModuleNotFoundError:没有名为'gslib'的模块,请问如何解决?

回答 1 投票 0

在Google Cloud Function中运行gsutil命令

我想每隔x分钟运行gsutil命令作为云功能。我尝试了以下操作:#main.py import os def sync():line =“ gsutil -m rsync -r gs:// some_bucket / folder gs:// ...

回答 1 投票 0

GSutil RSync-更改最大文件路径限制以匹配Windows

我有一个大项目,需要使用GSutil进行备份。我不断收到文件接近Windows文件路径限制的“错误3”。反正有没有让这个工作?我试图重新创建问题...

回答 1 投票 0

gsutil错误:重试请求,尝试#1…捕获的套接字错误,重试:超时

我正在尝试运行此gsutil命令gsutil -D mb gs:// my-bucket-213721738921但从未创建过存储桶。这是错误消息:INFO 0504 19:31:38.465756 base_api.py]正文:{“ name”:“ ...

回答 1 投票 0

使用工作负载标识在Kubernetes上的Cloud ML Engine中对容器中的独立gsutil进行身份验证

我正在Google Cloud AI Training(Cloud ML Engine)上启动容器映像,在这些容器中,我需要使用gsutil。一些容器具有gsutil。在那种情况下,我可以立即使用它而无需...

回答 2 投票 1

使用gsutil创建存储桶时出错

我没有与我的google帐户相关联的帐单,但是当我创建一个新的firebase项目时,我可以创建默认存储桶,只需转到控制台上的存储部分,然后按开始即可(检查...

回答 1 投票 0

如何在不下载该文件的情况下在Google云存储中查找csv文件中的记录数

我已经尝试过了,但是系统告诉'wc'不是有效的命令。 gsutil wc -l gs://folder/test.csv,请帮助我如何在不下载文件的情况下查找文件中没有任何记录]]

回答 2 投票 0

执行“ gsutil”命令,“警告:执行以不安全方式加载libcrypto的脚本。这将在macOS的未来版本中失败...”

我安装了google-cloud SDK,并进行了升级。当我执行gsutil命令时,该消息显示两次:警告:执行以不安全方式加载libcrypto的脚本。这将失败...

回答 1 投票 0

获取云存储桶的最后访问详细信息

如何获取云存储桶的最后访问详细信息。到目前为止,我看到我们只能找到存储桶和对象的最后修改日期。有没有办法获取存储桶和...的最后访问详细信息?...>

回答 1 投票 0

ai平台+ gsutil权限错误:AttributeError:'GFile'对象没有属性'可读'

[开始读取从gcs传输的csv文件3/13/2020时遇到错误。下载相关文档后,在ai平台上检查文件权限:https://www.tensorflow.org/api_docs / ...

回答 2 投票 0

为什么gsutil cp命令在计算引擎实例中配置的cron作业中不起作用?

我有以下命令:gsutil -m cp文件复制到gs:// target-bucket从命令行运行时,它工作正常。但是,当我安排cron作业时,虽然...

回答 1 投票 1

© www.soinside.com 2019 - 2024. All rights reserved.