AWS S3 Glacier upload-archive需要很长时间才能完成执行--检查状态或加速上传的方法?

问题描述 投票:0回答:1

我试图上传一些 .tar.gz 文件到AWS S3 Glacier,并使用 upload-archive 命令(文件).

我跑了 upload-archive 一天多前,在29GB内存上的命令 .tar.gz 这样的文件。

aws glacier upload-archive --vault-name my-vault --account-id - --archive-description "my description" --body my-file.tar.gz

我今天检查了一下,发现它还没有完成执行。


我的问题是两部分。

  • 有没有什么方法可以看到这个命令还在运行?
    • 如果有进度条就更好了
  • 是否有任何方法(或替代方法)来加快。upload-archive?

顺便说一下,我用的是 aws-cli==2.0.17. 先谢谢你的帮助!


**编辑**

运行两天后,该 upload-archive 命令出错,出现以下信息。

An error occurred (InvalidParameterValueException) when calling the UploadArchive operation: Invalid Content-Length: 30957118

这就导致了 aws-cli #3413. 那里的帖子与下面的所有答案一致。

amazon-web-services amazon-s3 aws-cli tar amazon-glacier
1个回答
2
投票

看看多部分上载到 冰川.

这个例子发起了一个多部分上传到名为my-vault的金库,部分大小为1 MiB。

aws glacier initiate-multipart-upload --account-id - --part-size 1048576 --vault-name my-vault

至于检查现有的上传是否正在进行,你可以随时查看上传客户端的网络活动,看看是否有任何带宽指向AWS的IP地址。

文档


1
投票

如果您不需要使用 亚马逊S3冰川 特殊功能,如保险库锁和保险库策略,你可以考虑使用Amazon S3与 存储类冰川.

该类将你的所有对象存储在Amazon S3 Glacier支持,但提供了简单而熟悉的S3接口。与直接使用Amazon S3 Glacier相比,它的一些好处。

  • 文件名被保存 在S3中。在Glacier中,你的文件名会被扰乱。
  • 轻松的多部分上传 使用aws s3 cli。
  • 易检索 归档的对象
  • s3对象 生命周期 它可以自动将你的对象过渡到S3冰川存储,或者从冰川到深度存档。

1
投票

就像Adi Dembak建议的那样,我会改用多部分上传。通过采取这种方法,你将能够使用ProgessListener API来跟踪其进度。更多细节请看下面的链接。 https:/docs.amazonaws.cnen_usAmazonS3latestdevHLTrackProgressMPUJava.html。

© www.soinside.com 2019 - 2024. All rights reserved.