json转parquet文件的问题

古布 2018-08-02 04:07:11

json文件时结构化的，非扁平式，通过SPARK如果转化为parquet文件格式,存储在hdfs上。谢谢了.

...全文

517 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

古布 2018-08-02

打赏
举报

回复

自己解决了，谢谢了

LinkSe7en 2018-08-02

打赏
举报

回复



spark.read.json(jsonPath).write.format("parquet").mode(SaveMode.Overwrite).save(parquetPath)

JSON转换为Parquet 将JSON文件转换为Apache Parquet。您可能也对，或。安装下载预编译的二进制文件您可以从获取最新版本。带货物cargo install json2parquet用法USAGE: json2parquet [FLAGS] [OPTIONS] <JSON> ...

这个库专门用于将JSON数据转换为Parquet文件格式，这是一种高效、列式存储的数据格式，常用于大数据分析和处理。首先，让我们了解JSON（JavaScript Object Notation）。JSON是一种轻量级的数据交换格式，易于人...

Json2实木复合地板该库包装了pyarrow ，提供了一些工具，可以轻松地将JSON数据转换为Parquet格式。它主要是在Python中。遍历文件。它将数据多次复制到内存中。这并不意味着它是最快的东西。但是，它对于较小的...

Parquet文件被广泛应用于分布式计算框架，如Hadoop和Spark，因为它们能够以原生方式支持这种格式，从而实现快速的数据读取和分析。在Spark SQL中，你可以使用`DataFrameReader`的`parquet`方法加载Parquet文件，...

关于json2parquet 主页： : 软件包许可证：麻省理工学院原料许可证：简介：一个用于JSON / python数据的简单Parquet转换器开发：：该库包装了pyarrow，提供了一些工具，可以轻松地将JSON数据转换为...

1,271

社区成员

1,170

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章