sparksql HiveHBaseTableOutputFormat cannot be cast to HiveOutputFormat
mtj66 2016-09-22 10:29:24 工作中发现sparksql 在向hive的hbase外表插入数据的时候报错问题:
HiveHBaseTableOutputFormat cannot be cast to org.apache.hadoop.hive.ql.io.HiveOutputFormat .
采用ALTER TABLE tablename SET TBLPEOPERTIES ('OutputFormat'='HiveOutputFormat' )是不行的。
不知道大侠有没有什么处理办法。
这是第一种方法,已经被列为bug。
https://issues.apache.org/jira/browse/SPARK-6628
方案二 ,目前采用的是分批次往hbase中put数据,是可行的。
方案三,采用saveAsNewAPIHadoopDataset处理 ,先前试过也会报错。
不过为了使结果尽量接近sql,尽量是采用方案一比较合理。
方案三也是可以接收的,但是还是要验证具体可行才行。