运行hive的时候,发现出现sql卡住的现象,很急求大神帮着解决或出个解决思路
1、sql卡住时间很长,直接不动了,可能48小时或者更长时间都没有反应。
2、hiveserver和hivemetastore的日志未找到异常信息。
3、一般会在对hive压力较大的情况下卡住,如大量的关联查询。但也不绝对,也会在如drop table 这种压力很小(甚至不走mapreduce)的情况下卡住。
4、卡住的sql不固定,可能同一sql执行30次也许卡住一次,发生sql卡住的时间不固定。
5、当前hadoop的集群linux时间是正常的,会有其他时间吗?
6、排查了一个sql 发现日志停止打印的位置是:Number of reduce tasks not specified 。 Estimated frominput data size
之后的日志未打印,可以确定是打印在这句停下的。
7、sql执行的时候不存在两个sql同时修改一张表一个分区的情况。
有遇到相同情况的吗?或者说hive的日志还有哪些可以看?