json转parquet文件的问题

古布 2018-08-02 04:07:11

json文件时结构化的，非扁平式，通过SPARK如果转化为parquet文件格式,存储在hdfs上。谢谢了.

...全文

516 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

古布 2018-08-02

打赏
举报

回复

自己解决了，谢谢了

LinkSe7en 2018-08-02

打赏
举报

回复



spark.read.json(jsonPath).write.format("parquet").mode(SaveMode.Overwrite).save(parquetPath)

JSON转换为Parquet 将JSON文件转换为Apache Parquet。您可能也对，或。安装下载预编译的二进制文件您可以从获取最新版本。带货物 cargo install json2parquet 用法 USAGE: json2parquet [FLAGS] [OPTIONS] <JSON> <PARQUET> ARGS: <JSON> Input JSON file <PARQUET> Output file FLAGS: --dictionary Sets flag to enable/disable dictionary encoding for any column -n, --dry Only print the schema -h, --help

python库，解压后可用。资源全名：json2parquet-0.0.8-py2-none-any.whl

Json2实木复合地板该库包装了pyarrow ，提供了一些工具，可以轻松地将JSON数据转换为Parquet格式。它主要是在Python中。遍历文件。它将数据多次复制到内存中。这并不意味着它是最快的东西。但是，它对于较小的数据集或速度没有太大问题的人很方便。安装随着点： pip install json2parquet 随着conda： conda install -c conda-forge json2parquet 用法这是加载随机JSON数据集的方法。 from json2parquet import convert_json # Infer Schema (requires reading dataset for column names) convert_json ( input_filename , output_filename ) # Giv

users.parquet people.json spark ,spark学习中的parquet文件和json文件

关于json2parquet 主页： : 软件包许可证：麻省理工学院原料许可证：简介：一个用于JSON / python数据的简单Parquet转换器开发：：该库包装了pyarrow，提供了一些工具，可以轻松地将JSON数据转换为Parquet格式。它主要是在Python中。遍历文件。它将数据多次复制到内存中。这并不意味着它是最快的东西。但是，它对于较小的数据集或速度没有太大问题的人很方便。当前构建状态所有平台：当前发行信息姓名资料下载版本平台类安装json2parquet 安装json2parquet从conda-forge通道可以通过添加可以实现conda-forge到您的频道： conda config --add channels conda-forge 启用json2parquet conda-forge json2parq

1,270

社区成员

1,170

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章