请高手指点,如何部署hadoop

hpc029 2013-05-02 11:42:24
我们单位要部署一个hadoop的集群,作为高性能计算用,总共10台服务器,外加一套存储。现在有8台2路2U服务器,每台配置:cpu至强E-2620(2颗),内存16G,硬盘SAS300G(2块),
有2台4路2U的服务器,每台配置:cpu至强E-2620(4颗),内存32G,硬盘SAS300G(12块)。
这10台服务器是用Infiniband 40GB交换机相连的,其中一台服务作为IO节点,通过光纤连接外部存储。
外部存储是单位以前用的老存储服务,只有光纤接口。
现在目前纠结?不知道如何分布这些服务器?目前计划用2路服务器做IO节点,连接外部存储。也不知用2路服务器作为IO节点,连接外部存储是否合理?
剩下最关键如何用10台服务比较合理的部署hadoop?那些用做master?那些用做slave?请求高手指点?
...全文
81 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
撸大湿 2013-05-02
  • 打赏
  • 举报
回复
一个机架放10台2U应该没问题 同一机架10台走一层交换机 2台高配机:一台作NameNode,另一台S-NameNode+JOBTRACKER 8台低配挂DataNode+TaskerTracker 2台高配上RAID0+1 8台低配挂裸盘,一块磁盘一个逻辑分区 可以把存储用上做备份

20,808

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧