hive与hbase整合查询报错

huangchbao 2015-05-29 10:35:12
这几天研究hive与hbase整合,但是整合发现查询速度特别慢,始终找不到问题的根源,哪个大神遇到过!!!
hive与hbase单独运行没问题
hive与hbase创建表,添加数据已可以实现级联操作
但是hive查询会出结果,但是特别慢,而且日志报错。
日志如下:
2015-05-29 10:27:49,340 INFO [main]: log.PerfLogger (PerfLogger.java:PerfLogBegin(108)) - <PERFLOG method=getSplits from=org.apache.hadoop.hive.ql.io.HiveInputFormat>
2015-05-29 10:27:49,341 INFO [main]: io.HiveInputFormat (HiveInputFormat.java:getSplits(371)) - Generating splits
2015-05-29 10:27:49,391 WARN [main]: hbase.HBaseConfiguration (HBaseConfiguration.java:getInt(174)) - Config option "hbase.regionserver.lease.period" is deprecated. Instead, use "hbase.client.scanner.timeout.period"
2015-05-29 10:27:49,418 ERROR [main]: mapreduce.TableInputFormatBase (TableInputFormatBase.java:getSplits(186)) - Cannot resolve the host name for Slave3/192.168.1.154 because of javax.naming.ServiceUnavailableException: DNS server failure [response code 2]; remaining name '154.1.168.192.in-addr.arpa'
2015-05-29 10:27:49,424 ERROR [main]: mapreduce.TableInputFormatBase (TableInputFormatBase.java:getSplits(186)) - Cannot resolve the host name for Slave1/192.168.1.152 because of javax.naming.ServiceUnavailableException: DNS server failure [response code 2]; remaining name '152.1.168.192.in-addr.arpa'
2015-05-29 10:27:49,425 INFO [main]: io.HiveInputFormat (HiveInputFormat.java:getSplits(378)) - number of splits 2
2015-05-29 10:27:49,425 INFO [main]: log.PerfLogger (PerfLogger.java:PerfLogEnd(135)) - </PERFLOG method=getSplits start=1432895269340 end=1432895269425 duration=85 from=org.apache.hadoop.hive.ql.io.HiveInputFormat>
2015-05-29 10:27:49,568 INFO [main]: mapreduce.JobSubmitter (JobSubmitter.java:submitJobInternal(396)) - number of splits:2
2015-05-29 10:27:49,892 INFO [main]: mapreduce.JobSubmitter (JobSubmitter.java:printTokens(479)) - Submitting tokens for job: job_1432777916407_0004

还有另外想问个问题,hive查询hbase的速度应该会比hive查询hdfs的速度要快吧!!!
如果要使用hadoop的技术,用什么方式比较好做多条件快速查询,只是查询。
...全文
573 4 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
4 条回复
切换为时间正序
请发表友善的回复…
发表回复
huangchbao 2015-05-29
  • 打赏
  • 举报
回复
另外说一下, 我是通过在控制台上进行的查询, 还没有用java进行操作!!!
huangchbao 2015-05-29
  • 打赏
  • 举报
回复
版本号 hadoop:2.41 hbase:0.96.2 hive:0.13.1
huangchbao 2015-05-29
  • 打赏
  • 举报
回复
hosts文件的ip都已配置了!不是hosts文件的问题 192.168.1.151 Master 192.168.1.152 Slave1 192.168.1.153 Slave2 192.168.1.154 Slave3 192.168.1.155 Slave4
vigiles 2015-05-29
  • 打赏
  • 举报
回复
是不是某个xml里没有配置

20,848

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧