15 台规模的 hadoop 集群的机器的硬件配置选择问题

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

› Apache Hadoop

› Hortonworks Sandbox

› Intel Hadoop Distribution

› Treasure Data

这是一个创建于 3183 天前的主题，其中的信息可能已经有所发展或是发生改变。

请问一下大家公司的集群的机器硬件配置是怎么样的，我们公司的集群的存储使用的是存储设备，不是机器自带的硬盘。由于运维对于存储设备不熟悉，导致经常因为存储设备的问题导致集群宕机，本来应该是运维部门的问题，现在领导要求我们开发部门给出对集群机器的硬件配置，集群规模在 15 台左右。

最简单的就是统一购置，但是领导说了，各个组件的作用还是不一样的，有的是需要 CPU 强劲，有的是需要存储厉害的，非得要做实验找出最佳配置，小公司没有办法。
在这方面踩过坑的 V 友都来说说

第 1 条附言 · 2016-03-15 16:16:56 +08:00

感谢大家回复，已经定了方案要使用本地自建机房了，现在是想对集群扩容，之前有 5 台 24 core Intel(R) Xeon(R) CPU E5-2620 v3 @ 2.40GHz 128GB 的小集群，现在需要添加 10 台 datanode ，这些 datanode 的配置不想这么高了，如果新添加的 datanode 的内存使用 24 core Intel(R) Xeon(R) CPU E5-2620 v3 @ 2.40GHz 64GB 的配置，之前有 4 台 datanode 是 128GB 内存。

如果在 yarn-site.xml 配置中配置
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>98304(96GB)</value>
</property>
那内存是 64GB 的 datanode 的内存会用多少呢

集群

存储

机器

运维

15 条回复 • 2016-07-15 11:28:33 +08:00

knightdf

2016-03-15 11:06:32 +08:00

小公司还自己买服务器？ AWS 满足你一切需求

signifox

2016-03-15 13:20:39 +08:00

24 core Intel(R) Xeon(R) CPU E5-2630 v2 @ 2.60GHz
192G memory
1 * 800G 三星 SSD
12 * 6T SATA 盘

Are you OK ？

liprais

2016-03-15 14:03:54 +08:00

aws 搞定收工

goodryb

2016-03-15 14:39:00 +08:00

这种为啥不用云计算服务呢？资源使用灵活

allen9527

2016-03-15 15:16:22 +08:00 via iPad

什么业务，能放网上么？ aws Azure 都有解决方案的。自己配的话根据你们的业务大概计算一下量再上吧。。。

madfrog1984

2016-03-15 16:05:57 +08:00

@allen9527 数据确实不能放网上一是安全性问题，二十数据量比较大，网络传输慢

madfrog1984

2016-03-15 16:06:35 +08:00

@knightdf 以前定的方案就是在公司内部部署集群

madfrog1984

2016-03-15 16:08:50 +08:00

@signifox 这个配置还 ok ， datanode 的内存好像有些大，预算是紧箍咒

defunct9

2016-03-15 17:51:23 +08:00

AWS 是不行的。 R730XD 合适， datanode 要求是硬盘大，选最大的硬盘满配即可，以前在京东弄这个。

julyclyde

2016-03-15 23:13:32 +08:00

@defunct9 aws 是不行的这句话有证据支撑么？

jerryshao1984

2016-03-16 08:54:19 +08:00

yarn.nodemanager.resource.memory-mb 这个配置和 hdfs 没有关系，这是 yarn 的配置。 DN 是不需要内存的配置的。

如果你的机器内存规格不一样，同时你需要 yarn 服务的话， yarn-site.xml 可以根据不同的机器进行单独的配置。

madfrog1984

2016-03-16 09:17:31 +08:00

@jerryshao1984 多谢，后来网上也查到了之前用的机器配置是一样的没有注意这个

defunct9

2016-03-16 16:28:12 +08:00

@julyclyde 噢。 aws 是卖服务的，有钱也是可以。但是 hadoop 这种你既需要算容量， cpu 、内存、乃至是否用 gpu ，还有电力等等，就不适合了，当时的 hadoop 基本是 600 台机器，跑起来是山河一片红，机房要限电，热点数据每天要挪移，还有各种 spark 、 storm 、 impala 各种新鲜的玩意不断要上，弄到 aws ，怎么搞起？得交多少钱？运维愿意估计老板也不愿意。

julyclyde

2016-03-17 11:59:43 +08:00

@defunct9 嗯，举出钱的理由确实很有说服力

xianlin

2016-07-15 11:28:33 +08:00

穷，就远离 AWS ，请便宜的运维人员搞搞，但就不要指望性能和 up time 能达到 AWS 的水平了，一分钱一分货。