json转parquet文件的问题

古布 2018-08-02 04:07:11
json文件时结构化的,非扁平式,通过SPARK如果转化为parquet文件格式,存储在hdfs上。谢谢了.
...全文
514 2 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
古布 2018-08-02
  • 打赏
  • 举报
回复
自己解决了,谢谢了
LinkSe7en 2018-08-02
  • 打赏
  • 举报
回复

spark.read.json(jsonPath).write.format("parquet").mode(SaveMode.Overwrite).save(parquetPath)

1,270

社区成员

发帖
与我相关
我的任务
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧