我正在研究hadoop中的概念验证,我可能会设置一个具有HDP和HDF hortonwork组件的集群。
数据量非常小,因此如果我没有错误,每个节点的磁盘容量可能不需要超过10 GB。
对于No OF CPU和主节点和从节点的RAM,要考虑哪些标准?
在您的情况下,您可能正在跨多个节点执行MapReduce作业。根据我目前的知识,Slave节点可以在任何CPU配置和2/4 GB RAM下正常运行。对于主节点,您可以购买至少具有4核,单/双插槽CPU,8 GB RAM的机器。