将大量数据(200 TB)从硬盘上传到AWS S3

问题描述 投票:0回答:1

我有大约 200 TB 的数据存储在多个系统和 SSD 上,但现在我们的物理存储空间已经用完,并且不想将其存储在内部,因为这些存储设备可能会损坏,而且我不想丢失任何数据,所以现在我计划将所有这些数据传输到 S3 Glacier您知道如何快速有效地在 S3 上传输如此庞大的数据吗?

我在Windows上尝试过winscp,但速度非常慢。

amazon-web-services amazon-s3 transfer
1个回答
0
投票

根据数据传输计算器,以 1Gbps 发送 200TB 数据需要444 小时(18 天)!

如果您不赶时间并且可以使用大部分带宽,那么通过互联网上传是一个有效的选择。您的存储空间即将“耗尽”,因此一旦您上传了一些数据,您将有空闲存储空间可以在继续上传时使用。

或者,您可以订购 AWS Snowball 设备。您将收到一台具有 80TB 或 210TB 存储空间的计算机。您将其连接到您的网络并使用与上传到 Amazon S3 存储桶相同的协议进行上传。完成后,您将设备运回 AWS,他们将内容上传到 S3。

80TB 单元的价格为 300 美元。未显示 210TB 单元的价格。

当然,将数据复制到 Snowball 设备需要一些时间。如果以 250MB/s 的速度复制,则将数据复制到 Snowball 需要 9 天。运输设备需要时间,AWS 也需要时间将数据从设备复制到 S3。因此,总而言之,通过互联网连接传输数据可能需要类似的时间。

这是你的选择。

© www.soinside.com 2019 - 2024. All rights reserved.