运行hive的时候,发现出现sql卡住的现象,很急求大神帮着解决或出个解决思路

暗室逢灯ssss 2016-10-12 03:24:37
1、sql卡住时间很长,直接不动了,可能48小时或者更长时间都没有反应。
2、hiveserver和hivemetastore的日志未找到异常信息。
3、一般会在对hive压力较大的情况下卡住,如大量的关联查询。但也不绝对,也会在如drop table 这种压力很小(甚至不走mapreduce)的情况下卡住。
4、卡住的sql不固定,可能同一sql执行30次也许卡住一次,发生sql卡住的时间不固定。
5、当前hadoop的集群linux时间是正常的,会有其他时间吗?
6、排查了一个sql 发现日志停止打印的位置是:Number of reduce tasks not specified 。 Estimated frominput data size
之后的日志未打印,可以确定是打印在这句停下的。
7、sql执行的时候不存在两个sql同时修改一张表一个分区的情况。
有遇到相同情况的吗?或者说hive的日志还有哪些可以看?
...全文
3527 4 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
4 条回复
切换为时间正序
请发表友善的回复…
发表回复
赛雕技艺 2017-03-07
  • 打赏
  • 举报
回复
楼主这个问题最后有结论了吗?我也遇到sql卡住的情况,找不到原因,如果有解决方案麻烦告知下,谢谢!
赵4老师 2016-10-13
  • 打赏
  • 举报
回复
use master
go
select * from master..syslockinfo where req_refcnt>1
--req_spid的值为136
dbcc inputbuffer(136)  --看这个进程的SQL语句是什么
sp_who 136  --看那个用户启用的这个进程
kill 136  --杀掉这个进程
暗室逢灯ssss 2016-10-12
  • 打赏
  • 举报
回复
执行hive 的方式是hive -e“sql内容”
暗室逢灯ssss 2016-10-12
  • 打赏
  • 举报
回复
使用ps -ef | grep 表名命令可以看到后台,这个sql的进程

108

社区成员

发帖
与我相关
我的任务
社区描述
本论坛将作为用户和华为FusionInsight大数据平台的开发交流平台,我们将持续建设本论坛,致力于让用户更好更快更全面的了解华为FusionInsight大数据平台。
华为华为云 技术论坛(原bbs)
社区管理员
  • FusionInsight HD社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧