spark连接cassandra报错求指点迷津

ghhg 2014-06-11 11:04:09

spark0.9版本连接cassandra2.0.7版本跑example CassandraTest报错：
Exception in thread "main" java.lang.IncompatibleClassChangeError:Found interface

org.apache.hadoop.mapreduce.JobContext,but class was expected
at org.apache.cassandra.hadoop.AbstractColumnFamilyInputFormat.getSplits

(AbstractColumnFamilyInputFormat.java:113)
at org.apache.spark.rdd.NewHadoopRDD.getPartitions(NewHadoopRDD.scala:75)

求高人指点一二感激不尽！

...全文

355 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

ghhg 2014-06-18

打赏
举报

回复

问题已经找到了我的spark是集成hadoop2的但好像只有hadoop1 才能操作cassandra 简直就是个杯具！

ghhg 2014-06-18

打赏
举报

回复

海兰 2014-06-16

打赏
举报

回复

spark基于内存提高改良的hive，sql，现在factbook在hive上面开发一套利器，准对hive可以通过sql语句快速查询，presto。 2、Facebook为何开发Presto Facebook的2011的数据仓库存储在少量大型hadoopfs集群，...

Starting Cassandra Server Listening for transport dt_socket at address: 8888 10/10/21 16:24:53 INFO utils.CLibrary: JNA not found. Native methods will be dis abled. ...

前言在本教程中，您将学习如何设置用于读取和写入数据至Cassandra的一个非常简单的spark应用程序。在开始前，你需要拥有spark和cassandra的基本知识，详情请参阅spark和cassandra官网。创建cassandra架构示例1.创建...

最近使用Spark将处理数据存储到cassandra遇到些问题，于是乎大体看了下spark-cassandra-connector的源码这是该项目的主页：https://github.com/datastax/spark-cassandra-connector ，上面的document有一些例子的...

Cassandra连接报错

2,245

社区成员

699

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章