限制gsutil -m线程

问题描述 投票:0回答:1

是否有办法限制gsutil -m命令产生的线程数?我可以说类似gsutil -m --threads=4的代码来精确生成四个线程吗?

google-cloud-platform gsutil
1个回答
1
投票

您应将boto配置文件中的parallel_thread_countparallel_process_count值设置为4

Gsutil Top-Level Command-Line Options

-m标志

导致受支持的操作(acl ch,acl设置,cp,mv,rm,rsync和setmeta)并行运行。这可以大大改善如果您要对大量文件通过合理的快速网络连接。

gsutil使用以下各项的组合执行指定的操作使用多个线程进行多线程和多处理由parallel_thread_count和在boto配置文件中设置的parallel_process_count值。您可能要尝试这些值,因为最好的值可以取决于许多因素,包括网络速度,CPU和可用内存。

如果使用的是-m选项,则可能会降低性能。较慢的网络,例如非企业家庭网络计划。它也可以使你的表现对于在本地执行所有操作的情况(例如gsutilrsync,源URL和目标URL都在本地磁盘上),因为它可以“破坏”您的本地磁盘。

如果使用并行传输的下载或上传操作失败,整个传输已完成(例如,每1000个文件中有300个失败已转移),则需要重新启动整个转移。

此外,尽管大多数命令通常在遇到禁用-m标志时出现错误,所有命令将继续尝试通过多个线程或进程启用-m时的所有操作,并且失败操作的数量(如果有)将报告为命令执行结束时出现异常。

© www.soinside.com 2019 - 2024. All rights reserved.