最近，我在使用Google Cloud Compute Engine中的VM使用Python脚本处理8 GB的pickle文件时遇到问题。 问题是该过程花费的时间太长，我正在寻找减少处理时间的方法。 一种可能的解决方案是共享脚本中的进程或在多个VM的CPU之间映射它们。 如果有人知道如何执行，请与我分享！））
您可以在Google Cloud Platform（GCP）中将集群用于大规模技术计算。 有一些像ElastiCluster这样的开源软件，可以在使用Google Compute Engine（GCE）时提供群集管理和对资源调配节点的支持。
集群运行后，工作负载管理器管理任务执行和节点分配。 有许多流行的商业和开源工作负载管理器，例如威斯康星大学的HTCondor，SchedMD的Slurm，Univa Grid Engine和IBM的LSF Symphony。
本文也有帮助。
看起来像是HPC问题。 查看此链接： https : //cloud.google.com/solutions/architecture/highperformancecomputing 。
对于您的问题，有很多有价值的解决方案，但这取决于您案件的细节。 第一种简单的方法可能是在逻辑上将您的任务拆分为多个小任务。 然后，您可以将这些作业的子集分配给专用实例组中的每个GCE实例。
您可以考虑创建一组预定义数量的实例 。 每次运行都可以依靠启动脚本来完成它必须执行的工作。 作业完成后，该实例可以删除并替换为新实例（Google Compute Engine托管实例组将自动创建一个新实例）。 您只能管理该组应何时开始和停止。
此外，您可以考虑可抢占的实例 （更便宜）。
希望这对您有所帮助。 再见