(有奖回复）话题四:集群建设的讨论（第四期话题获奖名单已公布）

[捺捺]

本期话题获奖名单如下，请获奖人员发送您的详细信息到[e-mail]，以便我们帮您快递奖品：
robake、z8509379、wula0010、candle1954、ayang1986、iptvwwq、jspadmin、sz_haitao、trpewwbg、wzzwt、mtskkllus、converf、mianhuatangone、laxila、freepea、ehmonfhtcojh、kwdhwyhs、lihe111、dalier149、eshji_wdzpm

活动说明：为答谢广大社区网友对CSDN网站的支持，激发大家对服务器技术未来发展方向的关注，活跃CSDN社区服务器相关领域版块内容话题讨论的活跃性，CSDN论坛特推出“服务器技术有奖回复”主题讨论活动。

活动规则：
-----活动时间：8月16日—9月17日（共5周）
-----本次讨论共五个话题，每周针对一个话题进行讨论
-----每周从当周话题的回复中挑选出20个精华回复，作为获奖回复，获奖回复作者的ID将在隔周周二在论坛公布。每个用户每周只有一次获奖机会。
-----9月17日，活动结束后，我们会针对全部5个话题的回复，再进行筛选，挑选出20个精华回复进行奖励。
-----奖品为英特尔无线鼠标或Linux相关技术图书。

注：获奖的回复内容经过编辑挑选，水贴无效。奖品随机赠送。
奖品如图展示：
英特尔的无线鼠标
[img=http://events.csdn.net/Intel/images/jsq.jpg] [/img]英特尔计算器

Linux相关技术图书：
——Ubuntu Linux指南:基础篇
——Red Hat Linux指南:服务器设置与程序设计篇
——Red Hat Linux指南:基础与系统管理篇
——Ubuntu Linux指南:管理篇

欢迎各位对服务器方面存在独到见解的网友踊跃参与讨论！人人有机会，发表您的见解，赢取大奖吧！任何问题请咨询：010-51661202-282 或发送邮件至 [e-mail]

话题四：集群建设
随着云计算的流行，不管是分布式计算、集群还是HPC搭建成为了大家关注的重点。
大规模计算机集群技术、高性能计算、图形处理能力等需求迫切，并对能耗、系统扩展能力以及I/O吞吐性能等对服务器都有严格的要求。
随着基于X86的多路服务器在技术上的成熟，大规模应用变得越来越多，比如最新的TOP500排行榜上，基于至强5600的X86的双路服务器得到了大家的一致认可，与此同时，在集群的部署上，英特尔Cluster Ready技术也大大缩短了原来集群搭建和调试的时间，最新的Infiniti Band以及万兆网卡等最新数据中心技术也大量提高了集群的计算和数据交换效率。集群开始广泛的应用在高性能计算、渲染、动漫、科研等广泛领域。

话题方向：您是否有建立集群的打算？或者您已经有了一些成功的经验？目前实施的效果如何？系统的利用率如何？在您看来，未来集群系统建设的技术方向是什么？目前还有哪些技术问题困扰着您？

最后一期精彩话题预告：能耗的问题！敬请关注！

注：活动奖品有限哦~~~~大家赶快发表你们的见解，大奖就是你的~~~~
我们会在活动结束后发送奖品，希望大家继续关注！！！

[wuzhenfan]

[Quote=引用 13 楼 robake 的回复:]
我们单位现在有建立集群的计划。

有一点我没有弄明白的地方，请教高手。

我们的方案是4台服务器（2台应用服务器，2台数据库服务器）组成两两集群，然后有一个磁盘阵列，计划是将集群上的数据备份到阵列中，计划使用热备。

我们的方案中计划有一台光纤交换机，但供应商提供的方案中没有光纤交换机。

在此，我的问题就出来了，我们到底需不需要光纤交换机，如果需要，那么该如何做热备呢？
[/Quote]
首先 你要确认你是在Windows还是linux 数据库那边是 sql server 还是oracle 光钎交换机还是要的 如果是sql server 那你只能做成高可用数据库群集 如果是oracle那就做RAC数据库群集

[捺捺]

本期话题获奖名单如下，请获奖人员发送您的详细信息到[e-mail]，以便我们帮您快递奖品：
robake、z8509379、wula0010、candle1954、ayang1986、iptvwwq、jspadmin、sz_haitao、trpewwbg、wzzwt、mtskkllus、converf、mianhuatangone、laxila、freepea、ehmonfhtcojh、kwdhwyhs、lihe111、dalier149、eshji_wdzpm

[cuizong007]

强烈支持。。。在这我能学到很多东西

[cangtiantiexue]

来支持一记。好好努力吧。

[zijinhuafengyu]

呵呵呵 好啊！我多多学习……

[hnuzhoulin]

想知道的是如何维护集群啊

实验室有两套集群，一套是是IBM，一套是DELL，但是DELL机器偶尔会出毛病，但是实验室以前维护的师兄毕业了，老板让我来搞，头痛啊。。。。

有什么意见啊？

[superastar]

[romeany]

集群实践过程中出现的一个问题，大家有兴趣的可以研究一下吧： Hadoop搭建完成，提交任务总是处于Pending状态，不能Running

配置文件如下，一个namenode节点，2个datanode节点
conf/core-site.xml:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.126.144:9000</value>
</property>
</configuration>
conf/hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/home/shiep205/hdfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/shiep205/hdfs/data</value>
</property>
</configuration>
conf/mapred-site.xml:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>192.168.126.144:9001</value>
</property>
</configuration>

运行情况如下：
$ bin/hadoop namenode -format
10/09/13 18:53:52 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = romeany-desktop/192.168.126.144
STARTUP_MSG: args = [-format]
STARTUP_MSG: version = 0.20.2
STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20 -r 911707; compiled by 'chrisdo' on Fri Feb 19 08:07:34 UTC 2010
************************************************************/
10/09/13 18:53:52 INFO namenode.FSNamesystem: fsOwner=romeany,romeany,adm,dialout,cdrom,plugdev,lpadmin,admin,sambashare
10/09/13 18:53:52 INFO namenode.FSNamesystem: supergroup=supergroup
10/09/13 18:53:52 INFO namenode.FSNamesystem: isPermissionEnabled=true
10/09/13 18:53:52 INFO common.Storage: Image file of size 97 saved in 0 seconds.
10/09/13 18:53:52 INFO common.Storage: Storage directory /home/romeany/hdfs/name has been successfully formatted.
10/09/13 18:53:52 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at romeany-desktop/192.168.126.144
************************************************************/


$ bin/start-all.sh
starting namenode, logging to /home/romeany/hadoop-0.20.2/bin/../logs/hadoop-romeany-namenode-romeany-desktop.out
192.168.126.145: starting datanode, logging to /home/romeany/hadoop-0.20.2/bin/../logs/hadoop-romeany-datanode-romeany-desktop.out
192.168.126.143: starting datanode, logging to /home/romeany/hadoop-0.20.2/bin/../logs/hadoop-romeany-datanode-romeany-desktop.out
192.168.126.144: starting secondarynamenode, logging to /home/romeany/hadoop-0.20.2/bin/../logs/hadoop-romeany-secondarynamenode-romeany-desktop.out
starting jobtracker, logging to /home/romeany/hadoop-0.20.2/bin/../logs/hadoop-romeany-jobtracker-romeany-desktop.out
192.168.126.143: starting tasktracker, logging to /home/romeany/hadoop-0.20.2/bin/../logs/hadoop-romeany-tasktracker-romeany-desktop.out
192.168.126.145: starting tasktracker, logging to /home/romeany/hadoop-0.20.2/bin/../logs/hadoop-romeany-tasktracker-romeany-desktop.out

$ bin/hadoop dfs -put ./test-in input
$ bin/hadoop jar hadoop-0.20.2-examples.jar wordcount input output
10/09/13 19:16:21 INFO input.FileInputFormat: Total input paths to process : 2
10/09/13 19:16:22 INFO mapred.JobClient: Running job: job_201009131909_0001
10/09/13 19:16:23 INFO mapred.JobClient: map 0% reduce 0%
然后后面一直等待，没有执行map和reduce操作，通过浏览器查看结果如下：

Kind % Complete NumTasks Pending Running Complete Killed Failed/Killed Task Attempts
map 0.00% 2 2 0 0 0 0 / 0
reduce 0.00% 1 1 0 0 0 0 / 0

平台我完全是在虚拟机上实现的，采用Ubuntu9.10.

[lshcqf]

支持研究精神

[gooogleman]

我来了！我来了！

[cctvcctv0123]

很好 很强大

[wangmeng343]

55555

[zshtiger2414]

高可用，高性能，负载 均衡。学习中。谢谢！@

[shanshuiwuqong]

好啊，回帖了

[iasky]

只做过集群的文件系统。

[cxwmx]

一直想把服務器做成群集，但是條件有限.....

[FIII]

真的有奖呀、

[niech1112]

希望能够切入这一个领域。

[chenxin20084809]

好东西啊~~

[yqs033]

学习，长见识