英特尔Hadoop发行版安装、部署和运行 Q&A （系列1）

[MiranaNightshade]

本文旨在为用户安装、部署和运行英特尔Hadoop发行版过程中遇到的问题进行解答，如果文中没有涉及，也欢迎大家在此提问。

一、安装的常见问题
二、部署的常见问题
三、运行的常见问题

===========================================================================
一、英特尔Hadoop发行版（Intel's Distribution of Hadoop）安装

1. 发行版支持的系统环境？
目前，IDH支持 CentOS 6.1/6.2/6.3， Red Hat Enterprise Linux 6.1/6.2/6.3， Oracle Enterprise Linux 6.1/6.2/6.3 以及 SUSE Linux Enterprise Server 11 SP1。在以上操作系统中均可以通过/etc/issue来查看系统版本信息。

2. 以什么用户安装IDH
必须以root用户解压安装包，并在root用户下执行IDH安装程序；同时检查umask（创建文件或目录的访问权限掩码），确保其值是022或0022，如果不是，可以先保存当前的umask值，然后执行umask 022,在完成安装后恢复原来的umask值。

3. 什么是NTP？为什么需要NTP
NTP是网络时间同步协议，是用来使计算机时间同步化的一种协议。在安装IDH时，不仅要使集群内部的时间保持一致，因为HBase的启动和运行需要集群有一个一致的时间，同时还要尽量使集群的时间和外部时间保持同步，不致于在外部程序和IDH集群交互时产生问题。

4. 正确配置网络环境
IDH的正常运行需要一个正确配置的网络环境，在安装IDH的Intel Manager时，必须要给机器指定合法的机器名（不建议机器名中含有‘.’，Hadoop会将'.'之后内容都解析为域名)。Intel Manager将网络情况分成两种：一种是集群中的节点不能通过主机名互相访问，Intel Manager将会配置/etc/hosts文件；另一种是集群中的节点能通过主机名互相访问，可通过配置好的DNS服务器或/etc/hosts文件。如果用户自己通过配置/etc/hosts来实现主机名访问，当机器IP发生变化时，请用户自己及时修改/etc/hosts文件。

5. Yum及Yum库配置（SuSE下为Zypper库）
Yum（全称Yellowgog Updator, Modified)是一个在CentOS和RedHat中的shell前端软件包管理工具（SuSE下使用类似的工具Zypper），基于RPM包管理，能够从指定的服务器自动下载RPM包并且安装，可以自动处理依赖并且一次安装所有依赖。Yum/Zypper库中存放了RPM软件包，以及这些包的索引。为方便集群的安装和部署，IDH在安装的时候也依赖于Yum/Zypper库。如果环境中已经有配置好的Yum/Zypper库，IDH可以直接使用那个Yum/Zypper库，确保Yum库中的软件包版本和安装IDH的主机是一致的；如果环境中没有配置好的，IDH会配置一个FTP的Yum/Zypper库，在配置之前确保主机的系统和挂载的操作系统镜像是相同的。

6. “Invalid ISO Image. Please replace with the correct OS Installation ISO Image”
请查看主机的系统是否和配置Yum/Zypper库用的OS影响版本一致。

7. 为什么会出现“PYCURL Error 52 -- Empty reply from server”
这一版出现在Yum/Zypper操作时，当Yum/Zypper库配置好之后，IDH会试图从Yum/Zypper库中区安装一些软件。出现这个问题还是Yum/Zypper库的访问问题，首先确保Yum/Zypper的访问的URL是正常工作的，常见的问题有防火墙打开阻止了请求，设置了代理服务器；通过curl -v <Yum_URL>打印一些verbose信息以帮助诊断。

8. 怎么在多网卡的机器上安装IDH？
如果主机有多个激活的网卡，IDH的安装有两次绑定IP的过程，一次是Intel Manager的绑定，即决定intel manager界面能够在哪些ip上显示，可以选择绑定在一个或者多个IP上，则通过这些绑定的IP都可以访问Intel Manager；第二次IP绑定，是为Hadoop集群的部署和通信绑定IP。

Intel管理界面绑定

Hadoop绑定

9. 安装必要软件时的错误

RPM依赖包问题

因为使用了一个错误的Yum源（RPM包版本不匹配，尤其是高版本的操作系统使用了一个低版本的Yum源）

10. 安装Puppet Master的时候生成证书出错
在虚拟机上安装IDH时有时会遇到这个问题，很可能是因为主机的配置过低，建议用户另外选择一个节点安装。IDH安装时一旦发现Puppet Master安装失败，会自动退出安装。

11. 虚拟机的SuSE系统上安装IDH时，在Config Puppet Server阶段出错
这种情况是由于虚拟机的配置过低，推荐虚拟机的管理节点使用4G内存和4核CPU，其他节点使用2G内存和2核CPU。

二、IDH部署的常见问题

1. puppet是什么？
puppet是一种Linux、Unix平台的集中配置管理系统，使用自有的puppet描述语言，可管理配置文件、用户、cron任务、软件包、系统服务等。puppet把这些系统实体称之为资源，puppet的设计目标是简化对这些资源的管理以及妥善处理资源间的依赖关系。puppet采用C/S星状的结构，所有的客户端和一个或几个服务器交互。每个客户端周期的向服务器发送请求，获得其最新的配置信息，保证和该配置信息同步。IDH的部署也用了Puppet。

2. "err: Could not request certificate: The certificate retrieved from the master does not match the agent's private key."
每次配置puppet master时，master都会生成一个新的证书，然后每个client都会用master的certificate来生成各自的证书；如果client证书出现与master证书不匹配的情况，Intel Manager在配置所有节点过程中会以黄色字体标注警告信息并自动重新为该client生成新的证书，该警告信息不会影响节点的安装配置。

3. 加入节点后，NTP同步很慢

NTP同步

此时在同步NTP，NTP协议需要有一定的协商时间，所以此时需要耐心等待。

4. HDFS控制节点配置

其中Primary Namenode，需要消耗较大的内存以及CPU，建议选择集群中机器配置比较好的，Secondary Namenode为Primary Namenode的备份节点，视集群状况以及具体需求选择是否配置。如果集群机器数目比较小，并且数据的安全性并不是十分重要的情况下（如测试集群），可以选择不配置，如果选择配置，同样也建议选择机器配置比较好的机器。

三、IDH运行的常见问题

1. 修改的集群配置参数未生效
在修改完集群配置参数并保存后，一定要重新配置节点，以将修改的参数同步到所有节点上，并且重新启动有关的服务。

2. HBase停止后重启失败
有时候如果停止HBase集群，某个或某些RegionServer停止会失败。Intel Manager显示HBase集群是停止的，之后如果重启HBase，会显示失败的消息，可以尝试强制停止所有的HMaster进程和RegionServer进程，然后再重启。

[maiboyc1]

引用 60 楼 NoBugException 的回复:

引用 59 楼 mark_yc 的回复:我用java写了一个操作hbase的类，为什么hbase.zookeeper.quorum配置了，hbase却永远去连接localhost。 13/01/14 16:54:22 INFO zookeeper.ZooKeeper: Client environment:zookeeper.version=3.4.5-Intel-10……

已经解决了，是因为配置文件路径问题导致没有读取到配置文件，默认去读取hbase*.jar包下面的hbase-default.xml了。

[huaweixujian]

因为总在做测试，现在只测试hdfs，所以希望关掉其他的进程：jt，tt ，hbase等。界面不管用了，所以希望手动关闭，但是发现kill掉后会自动重启，请问有什么办法可以关闭掉进程吗？

[ToTa32]

请问我在安装的过程中出现了如下错误信息，该如何解决呢？ Appointing yum repository IDH repository server is ip-192-168-112-58. Configuring yum repository for 192.168.112.58 .... Set os repo baseurl to ftp://ip-192-168-112-58/pub/os Set idh repo baseurl to ftp://ip-192-168-112-58/pub/idh Configure yum for 192.168.112.58 successfully! Installing JDK ftp://ip-192-168-112-58/pub/os/repodata/repomd.xml: [Errno 14] PYCURL ERROR 9 - "Server denied you to change to the given directory" Script Execute Finished.

[kim1st]

求助版主，想问下intel hadoop测试环境最简配是需要几个虚机？大概的配置是？

[zhangxw0325]

请问版主，我原先已经有hadoop 1.04,hbase 0.94.2,hive 0.9.0,如何迁移原先的数据

[muzilioo]

版主你好，我在本地eclipse中写了只java程序，远程连接配置好的intel hadoop hbase环境，创建table。总是报错。exception信息如下：3/05/09 16:30:54 INFO client.HConnectionManager$HConnectionImplementation: getMaster attempt 0 of 10 failed; retrying after sleep of 1001 java.io.IOException: Call to master10/192.168.2.10:60000 failed on local exception: java.io.EOFException at org.apache.hadoop.hbase.ipc.HBaseClient.wrapException(HBaseClient.java:1110) at org.apache.hadoop.hbase.ipc.HBaseClient.call(HBaseClient.java:1079) at org.apache.hadoop.hbase.ipc.WritableRpcEngine$Invoker.invoke(WritableRpcEngine.java:150) at $Proxy5.getProtocolVersion(Unknown Source) at org.apache.hadoop.hbase.ipc.WritableRpcEngine.getProxy(WritableRpcEngine.java:183) at org.apache.hadoop.hbase.ipc.HBaseRPC.getProxy(HBaseRPC.java:335) at org.apache.hadoop.hbase.ipc.HBaseRPC.getProxy(HBaseRPC.java:312) at org.apache.hadoop.hbase.ipc.HBaseRPC.getProxy(HBaseRPC.java:364) at org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation.getMaster(HConnectionManager.java:710) at org.apache.hadoop.hbase.client.HBaseAdmin.<init>(HBaseAdmin.java:141) at org.apache.test.HBaseOpera.createTable(HBaseOpera.java:47) at org.apache.test.HBaseOpera.main(HBaseOpera.java:122) Caused by: java.io.EOFException at java.io.DataInputStream.readInt(DataInputStream.java:375) at org.apache.hadoop.hbase.ipc.HBaseClient$Connection.receiveResponse(HBaseClient.java:605) at org.apache.hadoop.hbase.ipc.HBaseClient$Connection.run(HBaseClient.java:538) 用intel自己的测试包，导入我本地eclipse，修改hbase-site.xml中hbase.zookeeper.quorum为我远程配置的环境。报错说org.apache.hadoop.hbase.MasterNotRunningException: Retried 10 times 。 看intel的管理控制台，hbase运行状况是正常的。到底是什么原因啊？

[muzilioo]

补充上面的，在管理控制台，看hbase master节点log，有如下错误： org.apache.hadoop.ipc.SecureServer: Incorrect header or version mismatch from 192.168.21.152:64856 got version 3 expected version 4。 网上搜了下，说是包的版本不兼容。我是从intel部署环境copy的hadoop-core-1.0.3-Intel.jar, hbase-0.94.1-Intel.jar,zookeeper-3.4.5-Intel.jar到我的测试项目中的。应该不会不兼容啊。急急急,请版主赐教

[gao271141322]

版主帮忙看下什么问题，其它服务都启动了。

[zhangxw0325]

添加安装配置节点时出错： Starting configuring yum client at Thu Jul 4 22:46:21 CST 2013 [IM_CONFIG_PROCESS]: Appointing yum repository [IM_CONFIG_INFO]: IDH repository server is mdw. [IM_CONFIG_INFO]: Configuring yum repository for 192.168.11.101 .... [IM_CONFIG_INFO]: Set os repo baseurl to file:///media [IM_CONFIG_INFO]: Set idh repo baseurl to ftp://mdw/pub/idh [IM_CONFIG_INFO]: Set ospkg repo baseurl to ftp://mdw/pub/os_related/rhel6.1 [IM_CONFIG_PROCESS]: Configure yum for 192.168.11.101 successfully! Stopping configuring yum client at Thu Jul 4 22:46:21 CST 2013 Starting configuring puppet client at Thu Jul 4 22:46:22 CST 2013 [IM_CONFIG_PROCESS]: Installing JDK Loaded plugins: product-id, refresh-packagekit, subscription-manager Updating Red Hat repositories. Existing lock /var/run/yum.pid: another copy is running as pid 22182. Another app is currently holding the yum lock; waiting for it to exit... The other application is: PackageKit Memory : 49 M RSS (360 MB VSZ) Started: Sat Jun 29 04:25:39 2013 - 5 day(s) 18:20:44 ago State : Sleeping, pid: 22182 Another app is currently holding the yum lock; waiting for it to exit... The other application is: PackageKit Memory : 49 M RSS (360 MB VSZ) [IM_CONFIG_INFO]: Synchronizing time with ntp server... 5 Jul 08:47:13 ntpdate[4624]: step time server 192.168.11.103 offset 22.005042 sec [IM_CONFIG_INFO]: 5 Jul 08:47:13 ntpdate[4628]: adjust time server 192.168.11.103 offset 0.000023 sec [IM_CONFIG_INFO]: 5 Jul 08:47:14 ntpdate[4634]: adjust time server 192.168.11.103 offset -0.000133 sec [IM_CONFIG_INFO]: 5 Jul 08:47:16 ntpdate[4639]: adjust time server 192.168.11.103 offset -0.000085 sec [IM_CONFIG_INFO]: 5 Jul 08:47:17 ntpdate[4644]: adjust time server 192.168.11.103 offset -0.000189 sec [IM_CONFIG_INFO]: 5 Jul 08:47:18 ntpdate[4649]: adjust time server 192.168.11.103 offset -0.000109 sec [IM_CONFIG_PROCESS]: Installing puppet and related packages on 192.168.11.101 ... [IM_CONFIG_INFO]: Install puppet successfully! 鍚姩 puppet锛歔纭畾]^M [IM_CONFIG_INFO]: Apply SSL certificate from mdw ^[[0;32minfo: Creating a new SSL key for sdw1^[[0m ^[[1;35merr: Could not request certificate: Connection refused - connect(2)^[[0m Exiting; failed to retrieve certificate and waitforcert is disabled [IM_CONFIG_ERROR]: ^[[1;35merr: Could not call sign: Could not find certificate request for sdw1^[[0m Could not find certificate request for sdw1

[fs_cyb]

版主，救命，流程一套走完， 我重启Manager端 机子后，如何重启启动，或者如何设置自启动

[fs_cyb]

引用： “版主，救命，流程一套走完， 我重启Manager端 机子后，如何重启启动，或者如何设置自启动” 问题解决了，原来是不用手动启动的(手动启动都不知道哪个SH文件)， 原来我改成了3G ram 所以不会自启动而且不能,改回 4G 内存就自启动了。

[huhai123]

引用 66 楼 jennyislyy 的回复:

版主你好，我在本地eclipse中写了只java程序，远程连接配置好的intel hadoop hbase环境，创建table。总是报错。exception信息如下：3/05/09 16:30:54 INFO client.HConnectionManager$HConnectionImplementation: getMaster attempt 0 of 10 failed; retrying after sleep of 1001 java.io.IOException: Call to master10/192.168.2.10:60000 failed on local exception: java.io.EOFException at org.apache.hadoop.hbase.ipc.HBaseClient.wrapException(HBaseClient.java:1110) at org.apache.hadoop.hbase.ipc.HBaseClient.call(HBaseClient.java:1079) at org.apache.hadoop.hbase.ipc.WritableRpcEngine$Invoker.invoke(WritableRpcEngine.java:150) at $Proxy5.getProtocolVersion(Unknown Source) at org.apache.hadoop.hbase.ipc.WritableRpcEngine.getProxy(WritableRpcEngine.java:183) at org.apache.hadoop.hbase.ipc.HBaseRPC.getProxy(HBaseRPC.java:335) at org.apache.hadoop.hbase.ipc.HBaseRPC.getProxy(HBaseRPC.java:312) at org.apache.hadoop.hbase.ipc.HBaseRPC.getProxy(HBaseRPC.java:364) at org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation.getMaster(HConnectionManager.java:710) at org.apache.hadoop.hbase.client.HBaseAdmin.<init>(HBaseAdmin.java:141) at org.apache.test.HBaseOpera.createTable(HBaseOpera.java:47) at org.apache.test.HBaseOpera.main(HBaseOpera.java:122) Caused by: java.io.EOFException at java.io.DataInputStream.readInt(DataInputStream.java:375) at org.apache.hadoop.hbase.ipc.HBaseClient$Connection.receiveResponse(HBaseClient.java:605) at org.apache.hadoop.hbase.ipc.HBaseClient$Connection.run(HBaseClient.java:538) 用intel自己的测试包，导入我本地eclipse，修改hbase-site.xml中hbase.zookeeper.quorum为我远程配置的环境。报错说org.apache.hadoop.hbase.MasterNotRunningException: Retried 10 times 。 看intel的管理控制台，hbase运行状况是正常的。到底是什么原因啊？

遇到同样问题 求解

[muzilioo]

问题已解决，还是版本的问题。同事安装完intel hadoop 2.2版后让系统自动升级到2.3版，虽然lib中的jar仍然显示是hadoop-core-1.0.3-intel.jar，hbase-0.94.1-intel.jar,但实际上和我client程序中的jar是有差别的。而且感觉2.3版本不稳定，所以重装回2.2版，就可以了

[coolbamboo]

请问版主怎么修改集群的IP和机器名（包括NameNode节点）~

[小K567]

版主你好， 你提到“hbase这一章的测试，我们有专门的测试包的，下载后解压，文档中的conf就是指这个里面的conf 如果您没有，可以从intel官网下载：www.intel.cn/idh 右侧的 免费版文档及样例”，我下了怎么只有文档，没有这个测试包啊

[小K567]

引用 19 楼 MiranaNightshade 的回复:

[quote=引用 17 楼 PinKcat111 的回复:] 请问版主: 在开发者指南3.4.2节中 将在目录/etc/hbase/conf/下的文件hbase-site.xml 拷贝到目录/<install_dir>/DDL/conf/ 这里的<install_dir>/ 指哪一个.

您可有下载我们的hbase测试包？ hbase这一章的测试，我们有专门的测试包的，下载后解压，文档中的conf就是指这个里面的conf 如果您没有，可以从intel官网下载：www.intel.cn/idh 右侧的 免费版文档及样例 其他章节的测试，是不需要另外的组件的，只要按照文档指示一步一步执行就OK了。[/quote] 这个包到底在哪，我为什么下完以后只有文档，麻烦版主帮我看看

[jokehst]

请教在安装过程中出现下边的情况，我用的是vmware装的内存分配了2g cpu给了1个，我怀疑是分配的资源太少了，但我同事也配了比我还低的环境，就安装成功了，请懂的人指教一下

[jokehst]

请教在安装过程中出现下边的情况，我用的是vmware装的内存分配了2g cpu给了1个，我怀疑是分配的资源太少了，但我同事也配了比我还低的环境，就安装成功了，请懂的人指教一下

[jokehst]

找到问题了，idh安装时也需要本地的yum源开启

[ocean_side]

引用 63 楼 ToTa32 的回复:

请问我在安装的过程中出现了如下错误信息，该如何解决呢？ Appointing yum repository IDH repository server is ip-192-168-112-58. Configuring yum repository for 192.168.112.58 .... Set os repo baseurl to ftp://ip-192-168-112-58/pub/os Set idh repo baseurl to ftp://ip-192-168-112-58/pub/idh Configure yum for 192.168.112.58 successfully! Installing JDK ftp://ip-192-168-112-58/pub/os/repodata/repomd.xml: [Errno 14] PYCURL ERROR 9 - "Server denied you to change to the given directory" Script Execute Finished.

请问最后是怎么解决的啊