根据CfnCluster的配置文件估算AWS成本

问题描述 投票:0回答:2

我试图从使用AWS的人那里得到一些反馈,关于我们是否可以从AWS上配置的HPC群集进行粗略估计如下

[aws]
aws_region_name = us-east-2

[cluster default]
key_name = xxxx
vpc_settings = vpc-xxxxx
compute_instance_type = c4.8xlarge
master_instance_type = c4.large
initial_queue_size = 4
max_queue_size = 20
maintain_initial_size = true
scheduler = sge
cluster_type = spot
spot_price = 1.60
placement_group = DYNAMIC
master_root_volume_size = 20
base_os = ubuntu1404
ebs_settings = custom

[ebs custom]
volume_type = io1
volume_iops = 2000
volume_size = 2000
encrypted = true

[vpc vpc-xxx]
vpc_id = vpc-xxx
master_subnet_id = subnet-xxxx

[global]
cluster_template = default
update_check = true
sanity_check = true

[aliases]
ssh = ssh {CFN_USER}@{MASTER_IP} {ARGS}

根据作业在集群上运行的时间长短,您是否认为可以大致了解AWS的成本?那里涉及很多东西,EC2成本,存储成本等

鉴于这些将是现场实例(计算)而不是按需,我们如何得到估计

谢谢你的想法

amazon-web-services hpc
2个回答
1
投票

首先,我有个好消息。按需c4.8xlarge实例的价格目前为您所在地区每小时1.591美元。这也是您可以为c4.8x大型现货实例支付的最高价格。此外,CfnCluster默认使用当前的现货市场价格,因此只需从配置文件中删除此行。

至于你的实际问题:它很复杂。 您当然可以轻松计算出最高价格。您的计算实例每小时最多花费20 * 1.591 = 31.82 $。但是,实际价格会低得多。通过使用现货实例,您可以轻松地预期价格将是您为按需实例支付的价格的一半。此外,您的群集可能不会始终以满容量运行。

您可以在https://aws.amazon.com/ec2/spot/pricing/查看当前的现货价格。

您可以在https://aws.amazon.com/ebs/pricing/看到您的共享EBS卷每月大约1000 * 0.125 = 125美元

总而言之,您应该假设为您的现货实例支付约20%至40%的按需价格,具体取决于您想要估算成本的保守程度。基于此,您可以估计您将为特定数量的群集使用小时支付多少费用。当然,您还需要估计平均运行的节点数。根据您当前的配置,这将在4到20之间变化。


1
投票

您可以使用AWS计算器估算成本。他们有两个版本:

我还建议你从旧的c4家族迁移到新的c5。它们是更好的机器,更便宜。 c4.8x的等价物是c5.9x

计算器的缺点是似乎不包括现货机器估计。为此,你可以像托马斯建议的那样做数学。

© www.soinside.com 2019 - 2024. All rights reserved.