安装配置Hive时报错

bbbbb001 2013-10-09 04:34:51
安装配置Hive时报错:
FAILED: Error in metadata: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

用调试模式报错如下:
[root@hadoop1 bin]# hive -hiveconf hive.root.logger=DEBUG,console
13/10/09 16:16:27 DEBUG common.LogUtils: Using hive-site.xml found on CLASSPATH at /opt/hive-0.11.0/conf/hive-site.xml
13/10/09 16:16:27 DEBUG conf.Configuration: java.io.IOException: config()
at org.apache.hadoop.conf.Configuration.<init>(Configuration.java:227)
at org.apache.hadoop.conf.Configuration.<init>(Configuration.java:214)
at org.apache.hadoop.hive.conf.HiveConf.<init>(HiveConf.java:1039)
at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:636)
at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:614)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.util.RunJar.main(RunJar.java:156)

13/10/09 16:16:27 DEBUG conf.Configuration: java.io.IOException: config()
at org.apache.hadoop.conf.Configuration.<init>(Configuration.java:227)
at org.apache.hadoop.conf.Configuration.<init>(Configuration.java:214)
at org.apache.hadoop.mapred.JobConf.<init>(JobConf.java:330)
at org.apache.hadoop.hive.conf.HiveConf.initialize(HiveConf.java:1073)
at org.apache.hadoop.hive.conf.HiveConf.<init>(HiveConf.java:1040)
at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:636)
at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:614)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.util.RunJar.main(RunJar.java:156)


Logging initialized using configuration in file:/opt/hive-0.11.0/conf/hive-log4j.properties
13/10/09 16:16:27 INFO SessionState:
Logging initialized using configuration in file:/opt/hive-0.11.0/conf/hive-log4j.properties
13/10/09 16:16:27 DEBUG parse.VariableSubstitution: Substitution is on: hive
Hive history file=/tmp/root/hive_job_log_root_4666@hadoop1_201310091616_1069706211.txt
13/10/09 16:16:27 INFO exec.HiveHistory: Hive history file=/tmp/root/hive_job_log_root_4666@hadoop1_201310091616_1069706211.txt
13/10/09 16:16:27 DEBUG conf.Configuration: java.io.IOException: config()
at org.apache.hadoop.conf.Configuration.<init>(Configuration.java:227)
at org.apache.hadoop.conf.Configuration.<init>(Configuration.java:214)
at org.apache.hadoop.security.UserGroupInformation.ensureInitialized(UserGroupInformation.java:187)
at org.apache.hadoop.security.UserGroupInformation.isSecurityEnabled(UserGroupInformation.java:239)
at org.apache.hadoop.security.UserGroupInformation.getLoginUser(UserGroupInformation.java:438)
at org.apache.hadoop.security.UserGroupInformation.getCurrentUser(UserGroupInformation.java:424)
at org.apache.hadoop.hive.shims.HadoopShimsSecure.getUGIForConf(HadoopShimsSecure.java:491)
at org.apache.hadoop.hive.ql.security.HadoopDefaultAuthenticator.setConf(HadoopDefaultAuthenticator.java:51)
at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:62)
at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:117)
at org.apache.hadoop.hive.ql.metadata.HiveUtils.getAuthenticator(HiveUtils.java:365)
at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:270)
at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:670)
at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:614)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.util.RunJar.main(RunJar.java:156)

13/10/09 16:16:27 DEBUG security.Groups: Creating new Groups object
13/10/09 16:16:27 DEBUG security.Groups: Group mapping impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping; cacheTimeout=300000
13/10/09 16:16:27 DEBUG security.UserGroupInformation: hadoop login
13/10/09 16:16:27 DEBUG security.UserGroupInformation: hadoop login commit
13/10/09 16:16:27 DEBUG security.UserGroupInformation: using local user:UnixPrincipal锛?root
13/10/09 16:16:27 DEBUG security.UserGroupInformation: UGI loginUser:root
13/10/09 16:16:27 DEBUG security.Groups: Returning fetched groups for 'root'
13/10/09 16:16:27 DEBUG security.Groups: Returning cached groups for 'root'
13/10/09 16:16:27 DEBUG conf.Configuration: java.io.IOException: config(config)
at org.apache.hadoop.conf.Configuration.<init>(Configuration.java:260)
at org.apache.hadoop.hive.conf.HiveConf.<init>(HiveConf.java:1044)
at org.apache.hadoop.hive.ql.security.authorization.DefaultHiveAuthorizationProvider.init(DefaultHiveAuthorizationProvider.java:30)
at org.apache.hadoop.hive.ql.security.authorization.HiveAuthorizationProviderBase.setConf(HiveAuthorizationProviderBase.java:108)
at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:62)
at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:117)
at org.apache.hadoop.hive.ql.metadata.HiveUtils.getAuthorizeProviderManager(HiveUtils.java:339)
at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:272)
at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:670)
at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:614)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.util.RunJar.main(RunJar.java:156)

13/10/09 16:16:27 DEBUG conf.Configuration: java.io.IOException: config()
at org.apache.hadoop.conf.Configuration.<init>(Configuration.java:227)
at org.apache.hadoop.conf.Configuration.<init>(Configuration.java:214)
at org.apache.hadoop.mapred.JobConf.<init>(JobConf.java:330)
at org.apache.hadoop.hive.conf.HiveConf.initialize(HiveConf.java:1073)
at org.apache.hadoop.hive.conf.HiveConf.<init>(HiveConf.java:1045)
at org.apache.hadoop.hive.ql.security.authorization.DefaultHiveAuthorizationProvider.init(DefaultHiveAuthorizationProvider.java:30)
at org.apache.hadoop.hive.ql.security.authorization.HiveAuthorizationProviderBase.setConf(HiveAuthorizationProviderBase.java:108)
at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:62)
at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:117)
at org.apache.hadoop.hive.ql.metadata.HiveUtils.getAuthorizeProviderManager(HiveUtils.java:339)
at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:272)
at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:670)
at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:614)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.util.RunJar.main(RunJar.java:156)
...全文
2941 11 打赏 收藏 转发到动态 举报
写回复
用AI写文章
11 条回复
切换为时间正序
请发表友善的回复…
发表回复
tjytad1982 2014-06-25
  • 打赏
  • 举报
回复
学习
明日的明月 2014-06-25
  • 打赏
  • 举报
回复
楼主,我报了同样的问题,想问你解决这个问题没有。!!!!
夏日里的温馨 2014-05-14
  • 打赏
  • 举报
回复
楼主你好,我配置的hive创建了表,但是在show databases、show tables的时候出现以下异常: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient 我用调试模式报的异常是 14/05/14 19:34:54 DEBUG conf.Configuration: java.io.IOException: config() at org.apache.hadoop.conf.Configuration.<init>(Configuration.java:211) at org.apache.hadoop.conf.Configuration.<init>(Configuration.java:198) at org.apache.hadoop.hive.conf.HiveConf.<init>(HiveConf.java:1091) at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:636) at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:614) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39) 14/05/14 19:34:54 DEBUG conf.Configuration: java.io.IOException: config() at org.apache.hadoop.conf.Configuration.<init>(Configuration.java:211) at org.apache.hadoop.conf.Configuration.<init>(Configuration.java:198) at org.apache.hadoop.mapred.JobConf.<init>(JobConf.java:173) at org.apache.hadoop.hive.conf.HiveConf.initialize(HiveConf.java:1125) at org.apache.hadoop.hive.conf.HiveConf.<init>(HiveConf.java:1092) at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:636) at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:614) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25) at java.lang.reflect.Method.invoke(Method.java:597) at org.apache.hadoop.util.RunJar.main(RunJar.java:156) Logging initialized using configuration in file:/opt/hive/conf/hive-log4j.properties 14/05/14 19:34:55 INFO SessionState: Logging initialized using configuration in file:/opt/hive/conf/hive-log4j.properties 14/05/14 19:34:55 DEBUG parse.VariableSubstitution: Substitution is on: hive 14/05/14 19:34:55 DEBUG security.UserGroupInformation: Unix Login: root,root,bin,daemon,sys,adm,disk,wheel 14/05/14 19:34:55 DEBUG conf.Configuration: java.io.IOException: config(config) at org.apache.hadoop.conf.Configuration.<init>(Configuration.java:226) at org.apache.hadoop.hive.conf.HiveConf.<init>(HiveConf.java:1096) at org.apache.hadoop.hive.ql.security.authorization.DefaultHiveAuthorizationProvider.init(DefaultHiveAuthorizationProvider.java:30) at org.apache.hadoop.hive.ql.security.authorization.HiveAuthorizationProviderBase.setConf(HiveAuthorizationProviderBase.java:112) at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:62) at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:117) at org.apache.hadoop.hive.ql.metadata.HiveUtils.getAuthorizeProviderManager(HiveUtils.java:339) at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:280) at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:670) at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:614) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25) at java.lang.reflect.Method.invoke(Method.java:597) at org.apache.hadoop.util.RunJar.main(RunJar.java:156) 14/05/14 19:34:55 DEBUG conf.Configuration: java.io.IOException: config() at org.apache.hadoop.conf.Configuration.<init>(Configuration.java:211) at org.apache.hadoop.conf.Configuration.<init>(Configuration.java:198) at org.apache.hadoop.mapred.JobConf.<init>(JobConf.java:173) at org.apache.hadoop.hive.conf.HiveConf.initialize(HiveConf.java:1125) at org.apache.hadoop.hive.conf.HiveConf.<init>(HiveConf.java:1097) at org.apache.hadoop.hive.ql.security.authorization.DefaultHiveAuthorizationProvider.init(DefaultHiveAuthorizationProvider.java:30) at org.apache.hadoop.hive.ql.security.authorization.HiveAuthorizationProviderBase.setConf(HiveAuthorizationProviderBase.java:112) at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:62) at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:117) at org.apache.hadoop.hive.ql.metadata.HiveUtils.getAuthorizeProviderManager(HiveUtils.java:339) at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:280) at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:670) at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:614) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25) at java.lang.reflect.Method.invoke(Method.java:597) at org.apache.hadoop.util.RunJar.main(RunJar.java:156) 请楼主帮忙看一下,可能是什么原因造成的
mearer 2014-03-26
  • 打赏
  • 举报
回复
引用 5 楼 u011450470 的回复:
我也遇到这个问题了 请问你是怎么解决的?
我找到问题所在了,如果你登陆mysql的IP是locahost的话,那这里的配置应该修改为 <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://192.168.1.101:3306/hive?createDatabaseIfNotExist=true</value> <description>JDBC connect string for a JDBC metastore</description> </property> 把192.168.1.101改为localhost
mearer 2014-03-26
  • 打赏
  • 举报
回复
楼主,请问你解决这个问题了吗,能不能分享一下
mearer 2014-03-26
  • 打赏
  • 举报
回复
我也遇到这个问题,搞了一天也没解决,求方法
lushiquanwzq 2014-03-25
  • 打赏
  • 举报
回复
我也遇到这个问题了 请问你是怎么解决的?
zuochanxiaoheshang 2013-10-09
  • 打赏
  • 举报
回复
检查一下MySQL的hive用户(avax.jdo.option.ConnectionUserName:hive)在Hive安装的机器的IP上是否有足够的权限。
bbbbb001 2013-10-09
  • 打赏
  • 举报
回复
hite-site.xml已经配置过了,如下: <property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive/warehouse</value> <description>locationof default database for the warehouse</description> </property> <property> <name>hive.exec.scratchdir</name> <value>/usr/hive/temp</value> <description>Scratchspace for Hive jobs</description> </property> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://hadoop4:3306/hive?characterEncoding=UTF-8</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>hive</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>password</value> </property>
randee_luo 2013-10-09
  • 打赏
  • 举报
回复
引用 1 楼 s060403072 的回复:
这个错误应该是你集成了mysql,从而报错。解决方法是修改hive-site.xml,参照:
<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://192.168.1.101:3306/hive?createDatabaseIfNotExist=true</value>
  <description>JDBC connect string for a JDBC metastore</description>
</property>
也可参考:http://write.blog.csdn.net/postlist
嗯 +1 看错误应该是元数据库配置有问题。
海兰 2013-10-09
  • 打赏
  • 举报
回复
这个错误应该是你集成了mysql,从而报错。解决方法是修改hive-site.xml,参照:
<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://192.168.1.101:3306/hive?createDatabaseIfNotExist=true</value>
  <description>JDBC connect string for a JDBC metastore</description>
</property>
也可参考:http://write.blog.csdn.net/postlist
经过学术界和业界近10年的努力,Hadoop技术已经趋于完善而且应用广泛,几乎已经成为Big Data领域的事实标准。Hadoop技术本身比较复杂,而且还涉及Pig、ZooKeeper、Hive、HBase等一系列技术,学习门槛比较高,对于初学者和基础不太扎实的读者而言,有一本适合系统学习的Hadoop图书显得十分重要。本书即是专门为这两类读者量身定做的:第一,它的内容非常全面和前沿,不仅讲解了最新的Hadoop技术和第二代MapReduce,还讲解了涉及的所有周边技术,能满足系统学习的需求;第二,实战性非常强,不仅很多知识点配有精心设计的小案例,而且有完整的企业级案例,能满足操作实践的需求;第三,这一版在上一版的基础上根据最新的技术做了更新和补充,能满足读者学习最新技术的需求。本书第1版不仅取得了好的销量,而且广受好评,第2版在内容上有很大的提升,相信能让更多的读者从中受益。    —— EasyHadoop  国内专业的Hadooop社区,致力于让Hadoop大数据分析更简单 第一部分 Hadoop——一种分布式编程框架 第1 章 Hadoop简介 1.1 为什么写《Hadoop 实战》 1.2 什么是Hadoop 1.3 了解分布式系统和Hadoop 1.4 比较SQL 数据库和Hadoop 1.5 理解MapReduce 1.5.1 动手扩展一个简单程序 1.5.2 相同程序在MapReduce中的扩展 1.6 用Hadoop统计单词——运行第一个程序 1.7 Hadoop历史 1.8 小结 1.9 资源 第2 章 初识Hadoop 2.1 Hadoop 的构造模块 2.1.1 NameNode 2.1.2 DataNode 2.1.3 Secondary NameNode 2.1.4 JobTracker 2.1.5 TaskTracker 2.2 为Hadoop 集群安装SSH 2.2.1 定义一个公共账号 2.2.2 验证SSH安装 2.2.3 生成SSH密钥对 2.2.4 将公钥分布并登录验证 2.3 运行Hadoop 2.3.1 本地(单机)模式 2.3.2  伪分布模式 2.3.3 全分布模式 2.4 基于Web 的集群用户界面 2.5 小结 第3 章 Hadoop组件 3.1 HDFS 文件操作 3.1.1 基本文件命令 3.1.2 编程读写HDFS 3.2 剖析MapReduce 程序 3.2.1 Hadoop数据类型 3.2.2 Mapper 3.2.3 Reducer 3.2.4 Partitioner:重定向Mapper输出 3.2.5 Combiner:本地reduce 3.2.6 预定义mapper和Reducer类的单词计数 3.3 读和写 3.3.1 InputFormat 3.3.2 OutputFormat 3.4 小结 第二部分 实战 第4 章 编写MapReduce基础程序 4.1 获得专利数据集 4.1.1 专利引用数据 4.1.2 专利描述数据 4.2 构建MapReduce 程序的基础模板 4.3 计数 4.4 适应Hadoop API 的改变 4.5 Hadoop 的Streaming 4.5.1 通过Unix命令使用Streaming 4.5.2 通过脚本使用Streaming 4.5.3 用Streaming处理键/值对 4.5.4 通过Aggregate包使用Streaming 4.6 使用combiner 提升性能 4.7 温故知新 4.8 小结 4.9 更多资源 第5 章 高阶MapReduce 5.1 链接MapReduce 作业 5.1.1 顺序链接MapReduce作业 5.1.2 具有复杂依赖的MapReduce链接 5.1.3 预处理和后处理阶段的链接 5.2 联结不同来源的数据 5.2.1 Reduce侧的联结 5.2.2 基于DistributedCache的复制联结 5.2.3 半联结:map侧过滤后在reduce侧联结 5.3 创建一个Bloom filter 5.3.1 Bloom filter做了什么 5.3.2 实现一个Bloom filter 5.3.3 Hadoop 0.20 以上版本的Bloom filter 5.4 温故知新 5.5 小结 5.6 更多资源 第6 章 编程实践 6.1 开发MapReduce 程序 6.1.1 本地模式 6.1.2 伪分布模式 6.2 生产集群上的监视和调试 6.2.1 计数器 6.2.2 跳过坏记录 6.2.3 用IsolationRunner重新运行出错的任务 6.3 性能调优 6.3.1 通过combiner来减少网络流量 6.3.2 减少输入数据量 6.3.3 使用压缩 6.3.4 重用JVM 6.3.5 根据猜测执行来运行 6.3.6 代码重构与算法重写 6.4 小结 第7 章 细则手册 7.1 向任务传递作业定制的参数 7.2 探查任务特定信息 7.3 划分为多个输出文件 7.4 以数据库作为输入输出 7.5 保持输出的顺序 7.6 小结 第8 章 管理Hadoop 8.1 为实际应用设置特定参数值 8.2 系统体检 8.3 权限设置 8.4 配额管理 8.5 启用回收站 8.6 删减DataNode 8.7 增加DataNode 8.8 管理NameNode 和SNN 8.9 恢复失效的NameNode 8.10 感知网络布局和机架的设计 8.11 多用户作业的调度 8.11.1 多个JobTracker 8.11.2 公平调度器 8.12 小结 第三部分 Hadoop也疯狂 第9 章 在云上运行Hadoop 9.1 Amazon Web Services 简介 9.2 安装AWS 9.2.1 获得AWS身份认证凭据 9.2.2 获得命令行工具 9.2.3 准备SSH密钥对 9.3 在EC2 上安装Hadoop 9.3.1 配置安全参数 9.3.2 配置集群类型 9.4 在EC2 上运行MapReduce 程序 9.4.1 将代码转移到Hadoop集群上 9.4.2 访问Hadoop集群上的数据 9.5 清空和关闭EC2 实例 9.6 Amazon Elastic MapReduce 和其他AWS 服务 9.6.1 Amazon Elastic MapReduce 9.6.2 AWS导入/导出 9.7 小结 第10 章 用Pig编程 10.1 像Pig 一样思考 10.1.1 数据流语言 10.1.2 数据类型 10.1.3 用户定义函数 10.2 安装Pig 10.3 运行Pig 10.4 通过Grunt 学习Pig Latin 10.5 谈谈Pig Latin 10.5.1 数据类型和schema 10.5.2 表达式和函数 10.5.3 关系型运算符 10.5.4 执行优化 10.6 用户定义函数 10.6.1 使用UDF 10.6.2 编写UDF 10.7 脚本 10.7.1 注释 10.7.2 参数替换 10.7.3 多查询执行 10.8 Pig 实战——计算相似专利的例子 10.9 小结 第11 章 Hive及Hadoop群 11.1 Hive 11.1.1 安装配置Hive 11.1.2 查询的示例 11.1.3 深入HiveQL 11.1.4 Hive小结 11.2 其他Hadoop 相关的部分 11.2.1 HBase 11.2.2 ZooKeeper 11.2.3 Cascading 11.2.4 Cloudera 11.2.5 Katta 11.2.6 CloudBase 11.2.7 Aster Data和Greenplum 11.2.8 Hama和Mahout 11.2.9 search-hadoop.com 11.3 小结 第12 章 案例研究 12.1 转换《纽约报》1100 万个库存图片文档 12.2 挖掘中国移动的数据 12.3 在StumbleUpon 推荐最佳网站 12.3.1 分布式StumbleUpon 的开端 12.3.2 HBase 和StumbleUpon 12.3.3 StumbleUpon 上的更多Hadoop 应用 12.4 搭建面向企业查询的分析系统——IBM的ES2 项目 12.4.1 ES2 系统结构 12.4.2 ES2 爬虫 12.4.3 ES2 分析 12.4.4 小结 12.4.5 参考文献
《Hadoop实战》作为云计算所青睐的分布式架构,Hadoop是一个用Java语言实现的软件框架,在由大量计算机组成的集群中运行海量数据的分布式计算,是谷歌实现云计算的重要基石。《Hadoop实战》分为3个部分,深入浅出地介绍了Hadoop框架、编写和运行Hadoop数据处理程序所需的实践技能及Hadoop之外更大的生态系统。 《Hadoop实战》适合需要处理大量离线数据的云计算程序员、架构师和项目经理阅读参考。 书籍目录: 第一部分 Hadoop——一种分布式编程框架  第1章 Hadoop简介   1.1 为什么写《Hadoop 实战》   1.2 什么是Hadoop   1.3 了解分布式系统和Hadoop   1.4 比较SQL 数据库和Hadoop   1.5 理解MapReduce   1.5.1 动手扩展一个简单程序   1.5.2 相同程序在MapReduce中的扩展   1.6 用Hadoop统计单词——运行第一个程序   1.7 Hadoop历史   1.8 小结   1.9 资源  第2章 初识Hadoop   2.1 Hadoop 的构造模块显示全部信息 第一部分 Hadoop——一种分布式编程框架  第1章 Hadoop简介   1.1 为什么写《Hadoop 实战》   1.2 什么是Hadoop   1.3 了解分布式系统和Hadoop   1.4 比较SQL 数据库和Hadoop   1.5 理解MapReduce   1.5.1 动手扩展一个简单程序   1.5.2 相同程序在MapReduce中的扩展   1.6 用Hadoop统计单词——运行第一个程序   1.7 Hadoop历史   1.8 小结   1.9 资源  第2章 初识Hadoop   2.1 Hadoop 的构造模块   2.1.1 NameNode   2.1.2 DataNode   2.1.3 Secondary NameNode   2.1.4 JobTracker   2.1.5 TaskTracker   2.2 为Hadoop 集群安装SSH   2.2.1 定义一个公共账号   2.2.2 验证SSH安装   2.2.3 生成SSH密钥对   2.2.4 将公钥分布并登录验证   2.3 运行Hadoop   2.3.1 本地(单机)模式   2.3.2  伪分布模式   2.3.3 全分布模式   2.4 基于Web 的集群用户界面   2.5 小结  第3章 Hadoop组件   3.1 HDFS 文件操作   3.1.1 基本文件命令   3.1.2 编程读写HDFS   3.2 剖析MapReduce 程序   3.2.1 Hadoop数据类型   3.2.2 Mapper   3.2.3 Reducer   3.2.4 Partitioner:重定向Mapper输出   3.2.5 Combiner:本地reduce   3.2.6 预定义mapper和Reducer类的单词计数   3.3 读和写   3.3.1 InputFormat   3.3.2 OutputFormat   3.4 小结 第二部分 实战  第4章 编写MapReduce基础程序   4.1 获得专利数据集   4.1.1 专利引用数据   4.1.2 专利描述数据   4.2 构建MapReduce 程序的基础模板   4.3 计数   4.4 适应Hadoop API 的改变   4.5 Hadoop 的Streaming   4.5.1 通过Unix命令使用Streaming   4.5.2 通过脚本使用Streaming   4.5.3 用Streaming处理键/值对   4.5.4 通过Aggregate包使用Streaming   4.6 使用combiner 提升性能   4.7 温故知新   4.8 小结   4.9 更多资源  第5章 高阶MapReduce   5.1 链接MapReduce 作业   5.1.1 顺序链接MapReduce作业   5.1.2 具有复杂依赖的MapReduce链接   5.1.3 预处理和后处理阶段的链接   5.2 联结不同来源的数据   5.2.1 Reduce侧的联结   5.2.2 基于DistributedCache的复制联结   5.2.3 半联结:map侧过滤后在reduce侧联结   5.3 创建一个Bloom filter   5.3.1 Bloom filter做了什么   5.3.2 实现一个Bloom filter   5.3.3 Hadoop 0.20 以上版本的Bloom filter   5.4 温故知新   5.5 小结   5.6 更多资源  第6章 编程实践   6.1 开发MapReduce 程序   6.1.1 本地模式   6.1.2 伪分布模式   6.2 生产集群上的监视和调试   6.2.1 计数器   6.2.2 跳过坏记录   6.2.3 用IsolationRunner重新运行出错的任务   6.3 性能调优   6.3.1 通过combiner来减少网络流量   6.3.2 减少输入数据量   6.3.3 使用压缩   6.3.4 重用JVM   6.3.5 根据猜测执行来运行   6.3.6 代码重构与算法重写   6.4 小结  第7章 细则手册   7.1 向任务传递作业定制的参数   7.2 探查任务特定信息   7.3 划分为多个输出文件   7.4 以数据库作为输入输出   7.5 保持输出的顺序   7.6 小结  第8章 管理Hadoop   8.1 为实际应用设置特定参数值   8.2 系统体检   8.3 权限设置   8.4 配额管理   8.5 启用回收站   8.6 删减DataNode   8.7 增加DataNode   8.8 管理NameNode 和SNN   8.9 恢复失效的NameNode   8.10 感知网络布局和机架的设计   8.11 多用户作业的调度   8.11.1 多个JobTracker   8.11.2 公平调度器   8.12 小结 第三部分 Hadoop也疯狂  第9章 在云上运行Hadoop   9.1 Amazon Web Services 简介   9.2 安装AWS   9.2.1 获得AWS身份认证凭据   9.2.2 获得命令行工具   9.2.3 准备SSH密钥对   9.3 在EC2 上安装Hadoop   9.3.1 配置安全参数   9.3.2 配置集群类型   9.4 在EC2 上运行MapReduce 程序   9.4.1 将代码转移到Hadoop集群上   9.4.2 访问Hadoop集群上的数据   9.5 清空和关闭EC2 实例   9.6 Amazon Elastic MapReduce 和其他AWS 服务   9.6.1 Amazon Elastic MapReduce   9.6.2 AWS导入/导出   9.7 小结  第10章 用Pig编程   10.1 像Pig 一样思考   10.1.1 数据流语言   10.1.2 数据类型   10.1.3 用户定义函数   10.2 安装Pig   10.3 运行Pig   10.4 通过Grunt 学习Pig Latin   10.5 谈谈Pig Latin   10.5.1 数据类型和schema   10.5.2 表达式和函数   10.5.3 关系型运算符   10.5.4 执行优化   10.6 用户定义函数   10.6.1 使用UDF   10.6.2 编写UDF   10.7 脚本   10.7.1 注释   10.7.2 参数替换   10.7.3 多查询执行   10.8 Pig 实战——计算相似专利的例子   10.9 小结  第11章 Hive及Hadoop群   11.1 Hive   11.1.1 安装配置Hive   11.1.2 查询的示例   11.1.3 深入HiveQL   11.1.4 Hive小结   11.2 其他Hadoop 相关的部分   11.2.1 HBase   11.2.2 ZooKeeper   11.2.3 Cascading   11.2.4 Cloudera   11.2.5 Katta   11.2.6 CloudBase   11.2.7 Aster Data和Greenplum   11.2.8 Hama和Mahout   11.2.9 search-hadoop.com   11.3 小结  第12章 案例研究   12.1 转换《纽约报》1100 万个库存图片文档   12.2 挖掘中国移动的数据   12.3 在StumbleUpon 推荐最佳网站   12.3.1 分布式StumbleUpon 的开端   12.3.2 HBase 和StumbleUpon   12.3.3 StumbleUpon 上的更多Hadoop 应用   12.4 搭建面向企业查询的分析系统——IBM的ES2 项目   12.4.1 ES2 系统结构   12.4.2 ES2 爬虫   12.4.3 ES2 分析   12.4.4 小结   12.4.5 参考文献 附录A HDFS文件命令
第一部分 Hadoop——一种分布式编程框架 第1章 Hadoop简介 2 1.1 为什么写《Hadoop 实战》 3 1.2 什么是Hadoop 3 1.3 了解分布式系统和Hadoop 4 1.4 比较SQL数据库和Hadoop 5 1.5 理解MapReduce 6 1.5.1 动手扩展一个简单程序 7 1.5.2 相同程序在MapReduce中的扩展 9 1.6 用Hadoop统计单词——运行第一个程序 11 1.7 Hadoop历史 15 1.8 小结 16 1.9 资源 16 第2章 初识Hadoop 17 2.1 Hadoop的构造模块 17 2.1.1 NameNode 17 2.1.2 DataNode 18 2.1.3 Secondary NameNode 19 2.1.4 JobTracker 19 2.1.5 TaskTracker 19 2.2 为Hadoop集群安装SSH 21 2.2.1 定义一个公共账号 21 2.2.2 验证SSH安装 21 2.2.3 生成SSH密钥对 21 2.2.4 将公钥分布并登录验证 22 2.3 运行Hadoop 22 2.3.1 本地(单机)模式 23 2.3.2 伪分布模式 24 2.3.3 全分布模式 25 2.4 基于Web的集群用户界面 28 2.5 小结 30 第3章 Hadoop组件 31 3.1 HDFS文件操作 31 3.1.1 基本文件命令 32 3.1.2 编程读写HDFS 35 3.2 剖析MapReduce程序 37 3.2.1 Hadoop数据类型 39 3.2.2 Mapper 40 3.2.3 Reducer 41 3.2.4 Partitioner:重定向Mapper输出 41 3.2.5 Combiner:本地reduce 43 3.2.6 预定义mapper和Reducer类的单词计数 43 3.3 读和写 43 3.3.1 InputFormat 44 3.3.2 OutputFormat 49 3.4 小结 50 第二部分 实战 第4章 编写MapReduce基础程序 52 4.1 获得专利数据集 52 4.1.1 专利引用数据 53 4.1.2 专利描述数据 54 4.2 构建MapReduce程序的基础模板 55 4.3 计数 60 4.4 适应Hadoop API的改变 64 4.5 Hadoop的Streaming 67 4.5.1 通过Unix命令使用Streaming 68 4.5.2 通过脚本使用Streaming 69 4.5.3 用Streaming处理键/值对 72 4.5.4 通过Aggregate包使用Streaming 75 4.6 使用combiner提升性能 80 4.7 温故知新 83 4.8 小结 84 4.9 更多资源 84 第5章 高阶MapReduce 85 5.1 链接MapReduce作业 85 5.1.1 顺序链接MapReduce作业 85 5.1.2 具有复杂依赖的MapReduce链接 86 5.1.3 预处理和后处理阶段的链接 86 5.2 联结不同来源的数据 89 5.2.1 Reduce侧的联结 90 5.2.2 基于DistributedCache的复制联结 98 5.2.3 半联结:map侧过滤后在reduce侧联结 101 5.3 创建一个Bloom filter 102 5.3.1 Bloom filter做了什么 102 5.3.2 实现一个Bloom filter 104 5.3.3 Hadoop 0.20以上版本的Bloom filter 110 5.4 温故知新 110 5.5 小结 111 5.6 更多资源 112 第6章 编程实践 113 6.1 开发MapReduce程序 113 6.1.1 本地模式 114 6.1.2 伪分布模式 118 6.2 生产集群上的监视和调试 123 6.2.1 计数器 123 6.2.2 跳过坏记录 125 6.2.3 用IsolationRunner重新运行出错的任务 128 6.3 性能调优 129 6.3.1 通过combiner来减少网络流量 129 6.3.2 减少输入数据量 129 6.3.3 使用压缩 129 6.3.4 重用JVM 132 6.3.5 根据猜测执行来运行 132 6.3.6 代码重构与算法重写 133 6.4 小结 134 第7章 细则手册 135 7.1 向任务传递作业定制的参数 135 7.2 探查任务特定信息 137 7.3 划分为多个输出文件 138 7.4 以数据库作为输入输出 143 7.5 保持输出的顺序 145 7.6 小结 146 第8章 管理Hadoop 147 8.1 为实际应用设置特定参数值 147 8.2 系统体检 149 8.3 权限设置 151 8.4 配额管理 151 8.5 启用回收站 152 8.6 删减DataNode 152 8.7 增加DataNode 153 8.8 管理NameNode和SNN 153 8.9 恢复失效的NameNode 155 8.10 感知网络布局和机架的设计 156 8.11 多用户作业的调度 157 8.11.1 多个JobTracker 158 8.11.2 公平调度器 158 8.12 小结 160 第三部分 Hadoop也疯狂 第9章 在云上运行Hadoop 162 9.1 Amazon Web Services简介 162 9.2 安装AWS 163 9.2.1 获得AWS身份认证凭据 164 9.2.2 获得命令行工具 166 9.2.3 准备SSH密钥对 168 9.3 在EC2上安装Hadoop 169 9.3.1 配置安全参数 169 9.3.2 配置集群类型 169 9.4 在EC2上运行MapReduce程序 171 9.4.1 将代码转移到Hadoop集群上 171 9.4.2 访问Hadoop集群上的数据 172 9.5 清空和关闭EC2实例 175 9.6 Amazon Elastic MapReduce和其他AWS服务 176 9.6.1 Amazon Elastic MapReduce 176 9.6.2 AWS导入/导出 177 9.7 小结 177 第10章 用Pig编程 178 10.1 像Pig一样思考 178 10.1.1 数据流语言 179 10.1.2 数据类型 179 10.1.3 用户定义函数 179 10.2 安装Pig 179 10.3 运行Pig 180 10.4 通过Grunt学习Pig Latin 182 10.5 谈谈Pig Latin 186 10.5.1 数据类型和schema 186 10.5.2 表达式和函数 187 10.5.3 关系型运算符 189 10.5.4 执行优化 196 10.6 用户定义函数 196 10.6.1 使用UDF 196 10.6.2 编写UDF 197 10.7 脚本 199 10.7.1 注释 199 10.7.2 参数替换 200 10.7.3 多查询执行 201 10.8 Pig实战——计算相似专利的例子 201 10.9 小结 206 第11章 Hive及Hadoop群 207 11.1 Hive 207 11.1.1 安装配置Hive 208 11.1.2 查询的示例 210 11.1.3 深入HiveQL 213 11.1.4 Hive小结 221 11.2 其他Hadoop相关的部分 221 11.2.1 HBase 221 11.2.2 ZooKeeper 221 11.2.3 Cascading 221 11.2.4 Cloudera 222 11.2.5 Katta 222 11.2.6 CloudBase 222 11.2.7 Aster Data和Greenplum 222 11.2.8 Hama和Mahout 223 11.2.9 search-hadoop.com 223 11.3 小结 223 第12章 案例研究 224 12.1 转换《纽约报》1100万个库存图片文档 224 12.2 挖掘中国移动的数据 225 12.3 在StumbleUpon推荐最佳网站 229 12.3.1 分布式StumbleUpon的开端 230 12.3.2 HBase和StumbleUpon 230 12.3.3 StumbleUpon上的更多Hadoop应用 236 12.4 搭建面向企业查询的分析系统——IBM的ES2项目 238 12.4.1 ES2系统结构 240 12.4.2 ES2爬虫 241 12.4.3 ES2分析 242 12.4.4 小结 249 12.4.5 参考文献 250 附录A HDFS文件命令 251
出版信息编辑 译者:韩冀中 出版社:人民邮电出版社 出版间:2011年10月 版次:1.1 开本:16开 装帧:平装 字数:417千字 页数:253页 内容简介编辑 作为云计算所青睐的分布式架构,Hadoop是一个用Java语言实现的软件框架,在由大量计算机组成的集群中运行海量数据的分布式计算,是谷歌实现云计算的重要基石。《Hadoop实战》分为3个部分,深入浅出地介绍了Hadoop框架、编写和运行Hadoop数据处理程序所需的实践技能及Hadoop之外更大的生态系统。  《Hadoop实战》适合需要处理大量离线数据的云计算程序员、架构师和项目经理阅读参考。 目录编辑 第一部分 Hadoop——一种分布式编程框架 第1章 Hadoop简介 2 1.1 为什么写《Hadoop 实战》 3 1.2 什么是Hadoop 3 1.3 了解分布式系统和Hadoop 4 1.4 比较SQL数据库和Hadoop 5 1.5 理解MapReduce 6 1.5.1 动手扩展一个简单程序 7 1.5.2 相同程序在MapReduce中的扩展 9 1.6 用Hadoop统计单词——运行第一个程序 11 1.7 Hadoop历史 15 1.8 小结 16 1.9 资源 16 第2章 初识Hadoop 17 2.1 Hadoop的构造模块 17 2.1.1 NameNode 17 2.1.2 DataNode 18 2.1.3 Secondary NameNode 19 2.1.4 JobTracker 19 2.1.5 TaskTracker 19 2.2 为Hadoop集群安装SSH 21 2.2.1 定义一个公共账号 21 2.2.2 验证SSH安装 21 2.2.3 生成SSH密钥对 21 2.2.4 将公钥分布并登录验证 22 2.3 运行Hadoop 22 2.3.1 本地(单机)模式 23 2.3.2 伪分布模式 24 2.3.3 全分布模式 25 2.4 基于Web的集群用户界面 28 2.5 小结 30 第3章 Hadoop组件 31 3.1 HDFS文件操作 31 3.1.1 基本文件命令 32 3.1.2 编程读写HDFS 35 3.2 剖析MapReduce程序 37 3.2.1 Hadoop数据类型 39 3.2.2 Mapper 40 3.2.3 Reducer 41 3.2.4 Partitioner:重定向Mapper输出 41 3.2.5 Combiner:本地reduce 43 3.2.6 预定义mapper和Reducer类的单词计数 43 3.3 读和写 43 3.3.1 InputFormat 44 3.3.2 OutputFormat 49 3.4 小结 50 第二部分 实战 第4章 编写MapReduce基础程序 52 4.1 获得专利数据集 52 4.1.1 专利引用数据 53 4.1.2 专利描述数据 54 4.2 构建MapReduce程序的基础模板 55 4.3 计数 60 4.4 适应Hadoop API的改变 64 4.5 Hadoop的Streaming 67 4.5.1 通过Unix命令使用Streaming 68 4.5.2 通过脚本使用Streaming 69 4.5.3 用Streaming处理键/值对 72 4.5.4 通过Aggregate包使用Streaming 75 4.6 使用combiner提升性能 80 4.7 温故知新 83 4.8 小结 84 4.9 更多资源 84 第5章 高阶MapReduce 85 5.1 链接MapReduce作业 85 5.1.1 顺序链接MapReduce作业 85 5.1.2 具有复杂依赖的MapReduce链接 86 5.1.3 预处理和后处理阶段的链接 86 5.2 联结不同来源的数据 89 5.2.1 Reduce侧的联结 90 5.2.2 基于DistributedCache的复制联结 98 5.2.3 半联结:map侧过滤后在reduce侧联结 101 5.3 创建一个Bloom filter 102 5.3.1 Bloom filter做了什么 102 5.3.2 实现一个Bloom filter 104 5.3.3 Hadoop 0.20以上版本的Bloom filter 110 5.4 温故知新 110 5.5 小结 111 5.6 更多资源 112 第6章 编程实践 113 6.1 开发MapReduce程序 113 6.1.1 本地模式 114 6.1.2 伪分布模式 118 6.2 生产集群上的监视和调试 123 6.2.1 计数器 123 6.2.2 跳过坏记录 125 6.2.3 用IsolationRunner重新运行出错的任务 128 6.3 性能调优 129 6.3.1 通过combiner来减少网络流量 129 6.3.2 减少输入数据量 129 6.3.3 使用压缩 129 6.3.4 重用JVM 132 6.3.5 根据猜测执行来运行 132 6.3.6 代码重构与算法重写 133 6.4 小结 134 第7章 细则手册 135 7.1 向任务传递作业定制的参数 135 7.2 探查任务特定信息 137 7.3 划分为多个输出文件 138 7.4 以数据库作为输入输出 143 7.5 保持输出的顺序 145 7.6 小结 146 第8章 管理Hadoop 147 8.1 为实际应用设置特定参数值 147 8.2 系统体检 149 8.3 权限设置 151 8.4 配额管理 151 8.5 启用回收站 152 8.6 删减DataNode 152 8.7 增加DataNode 153 8.8 管理NameNode和SNN 153 8.9 恢复失效的NameNode 155 8.10 感知网络布局和机架的设计 156 8.11 多用户作业的调度 157 8.11.1 多个JobTracker 158 8.11.2 公平调度器 158 8.12 小结 160 第三部分 Hadoop也疯狂 第9章 在云上运行Hadoop 162 9.1 Amazon Web Services简介 162 9.2 安装AWS 163 9.2.1 获得AWS身份认证凭据 164 9.2.2 获得命令行工具 166 9.2.3 准备SSH密钥对 168 9.3 在EC2上安装Hadoop 169 9.3.1 配置安全参数 169 9.3.2 配置集群类型 169 9.4 在EC2上运行MapReduce程序 171 9.4.1 将代码转移到Hadoop集群上 171 9.4.2 访问Hadoop集群上的数据 172 9.5 清空和关闭EC2实例 175 9.6 Amazon Elastic MapReduce和其他AWS服务 176 9.6.1 Amazon Elastic MapReduce 176 9.6.2 AWS导入/导出 177 9.7 小结 177 第10章 用Pig编程 178 10.1 像Pig一样思考 178 10.1.1 数据流语言 179 10.1.2 数据类型 179 10.1.3 用户定义函数 179 10.2 安装Pig 179 10.3 运行Pig 180 10.4 通过Grunt学习Pig Latin 182 10.5 谈谈Pig Latin 186 10.5.1 数据类型和schema 186 10.5.2 表达式和函数 187 10.5.3 关系型运算符 189 10.5.4 执行优化 196 10.6 用户定义函数 196 10.6.1 使用UDF 196 10.6.2 编写UDF 197 10.7 脚本 199 10.7.1 注释 199 10.7.2 参数替换 200 10.7.3 多查询执行 201 10.8 Pig实战——计算相似专利的例子 201 10.9 小结 206 第11章 Hive及Hadoop群 207 11.1 Hive 207 11.1.1 安装配置Hive 208 11.1.2 查询的示例 210 11.1.3 深入HiveQL 213 11.1.4 Hive小结 221 11.2 其他Hadoop相关的部分 221 11.2.1 HBase 221 11.2.2 ZooKeeper 221 11.2.3 Cascading 221 11.2.4 Cloudera 222 11.2.5 Katta 222 11.2.6 CloudBase 222 11.2.7 Aster Data和Greenplum 222 11.2.8 Hama和Mahout 223 11.3 小结 223 第12章 案例研究 224 12.1 转换《纽约报》1100万个库存图片文档 224 12.2 挖掘中国移动的数据 225 12.3 在StumbleUpon推荐最佳网站 229 12.3.1 分布式StumbleUpon的开端 230 12.3.2 HBase和StumbleUpon 230 12.3.3 StumbleUpon上的更多Hadoop应用 236 12.4 搭建面向企业查询的分析系统——IBM的ES2项目 238 12.4.1 ES2系统结构 240 12.4.2 ES2爬虫 241 12.4.3 ES2分析 242 12.4.4 小结 249 12.4.5 参考文献 250 附录A HDFS文件命令 251 构建hadoop运算坚实的平台编辑 百度构建了超大规模的服务器集群来运行Hadoop,其中日志处理与分析占到了全部hadoop集群的80%,处理数据量从几个G到上P,运行间从几分钟到几十个小。[1] 谈到Hadoop集群的硬件基础,马如悦告诉IT168编辑:“百度使用的服务器品牌较多,市面上主流的服务器品牌均有涉及,但绝大多数都基于英特尔X86平台,配置则大体上是8核CPU(主要是英特尔至强7400/7500系列),32GB内存,12TB硬盘。此外我们也在尝试定制自己的服务器。” “选用什么样的服务器需要根据具体的应用而定。比如使用hadoop做日志存储和挖掘,可以参考百度上面的配置。如果是作为HBase的底层存储,并且有大量的随机查询,那么使用SAS硬盘,甚至SSD都是可以的。不同的业务需要不同类型的配置。即使同一个业务,也可能需要分层考虑。这样才能做到成本最低。” 大体来说,hadoop应用对系统的要求侧重计算、存储与网络性能的均衡,这一点则正好与英特尔X86平台不谋而合。英特尔至强7400/7500系列处理器已然为百度Hadoop集群奠定了坚实的硬件平台,今年英特尔发布的至强E5平台则无论在性能、吞吐能力和带宽方面都有均衡的提升。 英特尔最新一代E5处理器相比前代至强5600处理性能提高了80%,同,英特尔E5芯片中的DDIO技术也大大提高整体IO性能,这一技术能把IO数据包指向处理缓存,跳过内存,从而能够大大减少延迟,增强系统总带宽,还消除了内存的功耗。英特尔集成IO把IO子系统移到了处理器芯片处下,同得益于PCI-E 3.0的支持,可以把服务器平台的延迟减少多达30%,带宽增加2倍。

20,808

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧