我试图从使用AWS的人那里得到一些反馈,关于我们是否可以从AWS上配置的HPC群集进行粗略估计如下
[aws]
aws_region_name = us-east-2
[cluster default]
key_name = xxxx
vpc_settings = vpc-xxxxx
compute_instance_type = c4.8xlarge
master_instance_type = c4.large
initial_queue_size = 4
max_queue_size = 20
maintain_initial_size = true
scheduler = sge
cluster_type = spot
spot_price = 1.60
placement_group = DYNAMIC
master_root_volume_size = 20
base_os = ubuntu1404
ebs_settings = custom
[ebs custom]
volume_type = io1
volume_iops = 2000
volume_size = 2000
encrypted = true
[vpc vpc-xxx]
vpc_id = vpc-xxx
master_subnet_id = subnet-xxxx
[global]
cluster_template = default
update_check = true
sanity_check = true
[aliases]
ssh = ssh {CFN_USER}@{MASTER_IP} {ARGS}
根据作业在集群上运行的时间长短,您是否认为可以大致了解AWS的成本?那里涉及很多东西,EC2成本,存储成本等
鉴于这些将是现场实例(计算)而不是按需,我们如何得到估计
谢谢你的想法
首先,我有个好消息。按需c4.8xlarge实例的价格目前为您所在地区每小时1.591美元。这也是您可以为c4.8x大型现货实例支付的最高价格。此外,CfnCluster默认使用当前的现货市场价格,因此只需从配置文件中删除此行。
至于你的实际问题:它很复杂。 您当然可以轻松计算出最高价格。您的计算实例每小时最多花费20 * 1.591 = 31.82 $。但是,实际价格会低得多。通过使用现货实例,您可以轻松地预期价格将是您为按需实例支付的价格的一半。此外,您的群集可能不会始终以满容量运行。
您可以在https://aws.amazon.com/ec2/spot/pricing/查看当前的现货价格。
您可以在https://aws.amazon.com/ebs/pricing/看到您的共享EBS卷每月大约1000 * 0.125 = 125美元
总而言之,您应该假设为您的现货实例支付约20%至40%的按需价格,具体取决于您想要估算成本的保守程度。基于此,您可以估计您将为特定数量的群集使用小时支付多少费用。当然,您还需要估计平均运行的节点数。根据您当前的配置,这将在4到20之间变化。
您可以使用AWS计算器估算成本。他们有两个版本:
我还建议你从旧的c4
家族迁移到新的c5
。它们是更好的机器,更便宜。 c4.8x
的等价物是c5.9x
。
计算器的缺点是似乎不包括现货机器估计。为此,你可以像托马斯建议的那样做数学。