将大量数据从本地机器加载到Amazon Elastic Block Store。

问题描述 投票:0回答:1

我有兴趣使用AWS EC2实例进行一些机器学习。我已经玩过用附加的EBS启动实例,我能够通过以下方式将文件加载到其中 scp 在我的本地命令行上。我将会有几千兆字节的数据要加载到这个EBS上(我知道按照ML的标准来说,这并不是很多,但这并不是我真正的目的)。我想知道加载这些数据的合适方式是什么。我担心因为我做了一些愚蠢的事情而积累大量的费用。

到目前为止,我只是通过命令行手动上传了几个文件到EC2实例的相关EBS中,像这样。

scp -i keys/ec2-ml-micro2.pem data/BB000000001.png [email protected]<my instance ip>:/data

在我看来,这似乎是一种相当原始的方法(并不是说这总是一件坏事)。这是 "正确 "的方式吗?我并不反对让一个批处理的jbb像这样运行一晚上,但我不确定是否会产生一些数据传输费用。我找了一下这方面的资料,我看了一下网页上的 EBS定价. 我没有看到任何与加载数据相关的成本,但我只是想与某人或某些做过类似事情的人确认这是正确的方法,如果不是,有什么更好的方法。

amazon-web-services amazon-ec2 amazon-ebs
1个回答
1
投票

在管理AWS中的大对象时。总是检查S3作为初始选项,它提供了无限的存储容量和最好的使用对象存储相比,EBS(块存储)。EBS从你配置的卷的大小来计费,有可能你过度配置(开销成本)或配置不足(可能导致性能不佳甚至停机)。

使用S3是按每月每GB消耗的存储量计费,按使用量付费的模式,相比EBS非常便宜。

最后,尝试先评估可能适合你的用例的AWS机器学习服务,这将为你节省大量的时间和精力。

在同一地区从S3到EBS的数据传输是免费的。AWS价格详情

enter image description here

enter image description hereenter image description here

热门问题
推荐问题
最新问题