从spark中如何 update cassandra数据表?

hghdown 2016-09-02 06:51:59
我想从spark中的计算结果存入cassandra,但是得使用update语句,哪位大神指导如何使用update语句更新表?

例子如下:在saveToCassandra 地方能否有update的方法?

lines.map( x=>((x._1,x._7),(x._5,x._6)) )
.reduceByKey((x,y) => (x._1+y._1,x._2+y._2))
.map(x=>(x._1._1, x._1._2, x._2._1,x._2._2))
.saveToCassandra("casdemo", "logt_stats", SomeColumns("accesstime","name", "count","bytes" ))
...全文
657 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
lf.D 2019-01-04
  • 打赏
  • 举报
回复
不知楼主具体应用场景。 直接saveToCassandra的时候,数据包含原表的主键一致插入就相当于更新了。 如原表为 id, name , age 1 Li 18 2 Wang 20 PrimaryKey(id) 1 Zhang 22 直接插入somecolumn(id,name,age) 就更新为: id, name , age 1 Zhang 22 2 Wang 20 PrimaryKey(id)
LinkSe7en 2016-09-02
  • 打赏
  • 举报
回复
foreachPartition

1,258

社区成员

发帖
与我相关
我的任务
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧