spark(自带hive)不能读取主子表的数据

jerryliun 2017-09-06 04:27:31
【问题详细描述】
spark(自带hive)读取不了主子表的数据,非主表的数据可以读取。spark版本:spark-1.3.0-bin-hadoop2.4
使用的jar包:
spark-sequoiadb-1.12.jar
sequoiadb-driver-1.12.jar
hadoop-sequoiadb-1.12.jar
hive-sequoiadb-1.12.jar
postgresql-9.4-1201-jdbc41.jar
查询主表错误如下:
select * from test201607_cs.tb_order limit 1 ;
Error: org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 16.0 failed 4 times, most recent failure: Lost task 0.3 in stage 16.0 (TID 362, sdb-223.3golden.hq): com.sequoiadb.exception.BaseException: errorType:SDB_DMS_CS_NOTEXIST,Collection space does not exist
Exception Detail:test201607_cs
at com.sequoiadb.base.Sequoiadb.getCollectionSpace(Sequoiadb.java:598)
at com.sequoiadb.hive.SdbReader.<init>(SdbReader.java:145)
at com.sequoiadb.hive.SdbHiveInputFormat.getRecordReader(SdbHiveInputFormat.java:120)
at org.apache.spark.rdd.HadoopRDD$anon$1.<init>(HadoopRDD.scala:236)
at org.apache.spark.rdd.HadoopRDD.compute(HadoopRDD.scala:212)
复制代码



查询非主表结果:
select * from test201607_cs.test_hive limit 1 ;
+----------+
| shop_id |
+----------+
| 10048 |
+----------+
...全文
895 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
  • 打赏
  • 举报
回复
可以使用spark的连接器: CREATE table st_order ( shop_id string, `date` string) using com.sequoiadb.spark OPTIONS ( host 'localhost:11810', collectionspace 'test201607_cs', collection 'st_order'); 复制代码 注意date这种关键字需要使用``括起来。

2,209

社区成员

发帖
与我相关
我的任务
社区描述
其他数据库开发 其他数据库
社区管理员
  • 其他数据库社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧