spark 1.4.0 从impala加载数据

Beyond_H_ 2015-07-01 03:00:36
var impala_host = "hadoop-datanode1" //默认使用Hadoop的Datanode1节点连接

def loadDataFromImpala(sqlContext: SQLContext, tableName: String): DataFrame = {

val df = sqlContext.read.format("jdbc").options(Map(
"url" -> s"jdbc:hive2://$impala_host:21050/;auth=noSasl",
"driver" -> "org.apache.hive.jdbc.HiveDriver",
"dbtable" -> tableName)).load()
df
}
spark从1.3.1升级到1.4后,从impala加载数据报错,求解!!

Exception in thread "main" java.sql.SQLException: Method not supported
at org.apache.hive.jdbc.HiveResultSetMetaData.isSigned(HiveResultSetMetaData.java:195)
at org.apache.spark.sql.jdbc.JDBCRDD$.resolveTable(JDBCRDD.scala:132)
at org.apache.spark.sql.jdbc.JDBCRelation.<init>(JDBCRelation.scala:128)
at org.apache.spark.sql.jdbc.DefaultSource.createRelation(JDBCRelation.scala:113)
at org.apache.spark.sql.sources.ResolvedDataSource$.apply(ddl.scala:265)
at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:114)
at cn.com.carsmart.bi.common.jdbc.JDBCUtil$.loadDataFromImpala(JDBCUtil.scala:18)
at cn.com.carsmart.bi.common.jdbc.JDBCUtil$.main(JDBCUtil.scala:34)
at cn.com.carsmart.bi.common.jdbc.JDBCUtil.main(JDBCUtil.scala)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at com.intellij.rt.execution.application.AppMain.main(AppMain.java:134)
...全文
463 3 打赏 收藏 转发到动态 举报
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
a4429674 2015-07-08
  • 打赏
  • 举报
回复
楼主的问题解决没有?我也遇到差不多的问题了!求解!
Beyond_H_ 2015-07-04
  • 打赏
  • 举报
回复
怎么没人回答啊。按照sparkt 最新的1.4版本的API修改后,加载MySQL数据可以,通过impala不行。

1,258

社区成员

发帖
与我相关
我的任务
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧