深度学习Petastorm数据转换（下集）：Petastorm 加载Parquet 文件进行模型训练

大模型与Agent智能体

人工智能领域新星创作者

博客专家认证

2023-01-13 02:44:59

课时名称	课时知识点
深度学习Petastorm数据转换（下集）：Petastorm 加载Parquet 文件进行模型训练	使用Petastorm 加载Parquet 格式的文件数据，深度学习框架加载Petastorm 数据，进行模型训练或预测

...全文

134 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

Uber 开发的深度学习分布训练库，支持Apache Parquet格式的数据集的单机或分布式训练、验证(支持Tensorflow, Pytorch, PySpark等多种框架)

petastorm：Petastorm库可对Apache Parquet格式的数据集进行单机或分布式培训以及对深度学习模型的评估。它支持Tensorflow，Pytorch和PySpark等ML框架，并且可以从纯Python代码中使用

Petastorm内容Petastorm安装生成数据集普通Python API Tensorflow API Pytorch API Spark数据集转换器API分析Petastorm数据集使用Petastorm内容Petastorm安装生成数据集平原Python API Tensorflow API Pytorch API Spark数据集转换器API使用PySpark和SQL Non Petastorm Parquet分析petastorm数据集商店故障排除出版物如何贡献Petastorm是Uber ATG开发的开源数据访问库。该库可直接从Apache Parquet格式的数据集中进行单机或分布式培训以及对深度学习模型的评估。佩塔斯

本文介绍了如何使用pyarrow.parquet+pandas库操作Parquet文件

问题： hive中查询一段语句： select guid, sessionid, properties, first_value(properties['pageid']) over(partition by guid,sessionid order by ts) as in_page, last_value(properties['pageid']) over(partition by guid,sessionid order by ts rows betwe

段智华的课程社区_NO_1

2

社区成员

206

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章