spark连接cassandra报错

ghhg 2014-06-11 04:23:56

...全文

297 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

在尝试使用Spark提交作业时，遇到Cassandra本地连接失败的问题。问题出现在使用Spark 1.3.1、Cassandra 2.0和Spark-Cassandra-Connector 1.3.0-M1的虚拟集群环境中。尽管可以从客户端机器ping通所有集群节点，但提交作业时仍报错。错误提示为无法打开到Cassandra节点192.168.101.11的本地连接。已检查并配置了Cassandra.yaml文件，包括监听地址、本地传输端口、RPC地址等，但问题仍然存在。解决方案可能是确保在Spark配置中指定`spark.cassandra.connection.host`为Cassandra种子节点的IP。

作者在EMR上运行Spark作业，使用Datastax连接器连接Cassandra集群时，遇到Guava jar包问题。提交作业报错显示Guava版本低于16.01，会导致编解码器解析等兼容性问题。最后给出解决方案，可在spark/jars目录重命名旧版本并复制新版本Guava jar包。

本文详细介绍了在R中连接Cassandra数据库的三种方法：通过Spark、JDBC和弃用的RCassandra包。重点讲解了使用Sparklyr连接Cassandra的详细步骤，包括配置Spark和Cassandra的driver，以及数据读取方式。此外，还提及了使用datastax JDBC Driver作为替代方案，并解决了使用RJDBC连接时遇到的问题。

工作中需将一个Cassandra集群数据迁移到另一个集群，网上查询到两种解决方案。一是读写时切换CassandraConnector，但因rdd.union过多报错；二是用datafr，因表中有null字段报错。最终选第一种方案调整union次数，又遇超时问题，修改参数可解决。

团队搭建的基于Spark和Cassandra的数据处理系统稳定运行数月后，Spark任务集体失败。经排查，并非网络、集群负载、代码和常规配置问题，而是写死的本地数据中心名称参数与实际不符。修改配置并从文件读取参数后任务恢复正常，后续建立严格配置管理机制。

932

社区成员

652

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章