将大量数据从本地机器加载到Amazon Elastic Block Store。

Question

我有兴趣使用AWS EC2实例进行一些机器学习。我已经玩过用附加的EBS启动实例，我能够通过以下方式将文件加载到其中 scp 在我的本地命令行上。我将会有几千兆字节的数据要加载到这个EBS上（我知道按照ML的标准来说，这并不是很多，但这并不是我真正的目的）。我想知道加载这些数据的合适方式是什么。我担心因为我做了一些愚蠢的事情而积累大量的费用。

到目前为止，我只是通过命令行手动上传了几个文件到EC2实例的相关EBS中，像这样。

scp -i keys/ec2-ml-micro2.pem data/BB000000001.png ubuntu@<my instance ip>:/data

在我看来，这似乎是一种相当原始的方法（并不是说这总是一件坏事）。这是 "正确 "的方式吗？我并不反对让一个批处理的jbb像这样运行一晚上，但我不确定是否会产生一些数据传输费用。我找了一下这方面的资料，我看了一下网页上的 EBS定价. 我没有看到任何与加载数据相关的成本，但我只是想与某人或某些做过类似事情的人确认这是正确的方法，如果不是，有什么更好的方法。

Answer 1

在管理AWS中的大对象时。总是检查S3作为初始选项，它提供了无限的存储容量和最好的使用对象存储相比，EBS（块存储）。EBS从你配置的卷的大小来计费，有可能你过度配置(开销成本)或配置不足(可能导致性能不佳甚至停机)。

使用S3是按每月每GB消耗的存储量计费，按使用量付费的模式，相比EBS非常便宜。

最后，尝试先评估可能适合你的用例的AWS机器学习服务，这将为你节省大量的时间和精力。

在同一地区从S3到EBS的数据传输是免费的。AWS价格详情