spark加载elasticsearch缓慢

qq_20691009 2018-08-29 03:45:35
es总数据量大约有10亿,去最近一个月的数据(大概5000万),使用sparksql去加载,然后处理相关业务。加载异常缓慢,感谢有做过类似优化的朋友共享一下。另附加载代码:
val vehpassDataFrame = sparkSession.sqlContext.read.format("org.elasticsearch.spark.sql").options(options).load("alias_veh_pass/doc")
vehpassDataFrame.select("hphm","hpzl","jgsj","gctp1","gcbh","lhy_syxz").createTempView("alias_veh_pass")
...全文
342 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复

1,258

社区成员

发帖
与我相关
我的任务
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧