解压.7z文件时,谷歌云计算VM停止或冻结。

问题描述 投票:0回答:1

目前,我正在使用谷歌云计算引擎来训练一个ml模型,所以我正在尝试提取一个有数据的.7z fike.But它太大,机器甚至冻结或停止未捕获的错误。

我使用下面的Linux命令。

!7zr 'path of the file'

任何帮助能够提取文件... ... 先谢谢你

google-cloud-platform extract 7zip
1个回答
0
投票

你可以尝试使用GCS

创建一个只有压缩文件的目录,其他什么都没有。

yourdirmyfile.7z

创建一个环境变量MYFILE=myfile.7z。

使用gsutil cli在GCS上创建一个 bucket。

gsutil mb gs://yourbucket/MY_DIR_FOR_ZIP_FILE

接下来你把文件上传到bucket里,就像这样。

gsutil cp -m -v $MYFILE gs://MYBUCKET/MY_DIR_FOR_ZIP_FILE

在虚拟机中,您现在可以下载文件,同样使用gsutil cli。

gsutil cp -m -v gs://MYBUCKET/MY_DIR_FOR_ZIP_FILE   /YOU_DIR

然后解压,也要删除压缩文件。

7z x $MYFILE && rm -v $MYFILE

现在您应该在虚拟机上有了未压缩的文件。

确保使用-m标志,这将执行一个并行(多线程多处理)复制。

这里是参考 cp - 复制文件和对象

使用gsutil工具

上面的说明假设您的数据大小小于 1TB,并且您使用的虚拟机的磁盘大小足以容纳数据。

如果您的数据超过1TB,您将需要使用 内部数据的传输服务.

设置转移作业时应遵循的步骤如下所示 创建一个转移工作

© www.soinside.com 2019 - 2024. All rights reserved.