目前,我正在使用谷歌云计算引擎来训练一个ml模型,所以我正在尝试提取一个有数据的.7z fike.But它太大,机器甚至冻结或停止未捕获的错误。
我使用下面的Linux命令。
!7zr 'path of the file'
任何帮助能够提取文件... ... 先谢谢你
你可以尝试使用GCS
创建一个只有压缩文件的目录,其他什么都没有。
yourdirmyfile.7z
创建一个环境变量MYFILE=myfile.7z。
使用gsutil cli在GCS上创建一个 bucket。
gsutil mb gs://yourbucket/MY_DIR_FOR_ZIP_FILE
接下来你把文件上传到bucket里,就像这样。
gsutil cp -m -v $MYFILE gs://MYBUCKET/MY_DIR_FOR_ZIP_FILE
在虚拟机中,您现在可以下载文件,同样使用gsutil cli。
gsutil cp -m -v gs://MYBUCKET/MY_DIR_FOR_ZIP_FILE /YOU_DIR
然后解压,也要删除压缩文件。
7z x $MYFILE && rm -v $MYFILE
现在您应该在虚拟机上有了未压缩的文件。
确保使用-m标志,这将执行一个并行(多线程多处理)复制。
这里是参考 cp - 复制文件和对象
上面的说明假设您的数据大小小于 1TB,并且您使用的虚拟机的磁盘大小足以容纳数据。
如果您的数据超过1TB,您将需要使用 内部数据的传输服务.
设置转移作业时应遵循的步骤如下所示 创建一个转移工作