spark如何读取MinIO中的数据？

nicodeme 2021-01-07 02:30:50

spark如何读取MinIO中的数据，hadoop的aws包可以吗？

...全文

5678 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

nicodeme 2021-01-07

打赏
举报

回复

自己顶一下。顺便解答一下。MinIo支持S3协议，hadoop的aws包完全支持从minIO中读取数据

@pyspark下读取minio数据文件的问题总结记录一下自己花了一下午时间在pyspark读取minio数据文件遇到的坑因为spark没法直接进行像pd.read_csv一样对HTTPresponse的url的读取，但是minio支持s3的接口，所以按照对于s3的读取就ok了。 spark读取s3文件时，需要两个额外的jar外部依赖包，hadoop-aws.jar 和aws-java-sdk.jar ，同时这两个版本是需要对应的。并且要确保hadoop-common和hadoop-aws的版本必须一致

Minion作为一个先进的对象存储方案，对于大数据和人工智能的支持有着天然的优势。它支持与Spark\Flink等技术方案进行整合，并且通过S3协议实现数据查询的下沉，这让大数据的存储与查询分离提供了事实依据。（2）根据部署的minio服务的信息（如端口、Access Key、Secret Key、存储桶名称等），创建一个SparkSession对象，可以使用如下步骤进行读写Minio。（1）首先，需要部署minio服务集群，搭建minio对象存储桶，可以参考我的文章。

文章大纲minio 简介spark dataframe 保存 csvspark 操作minio 重命名单个文件重命名多个文件重命名参考文档 minio 简介 MinIO 是全球领先的对象存储先锋，目前在全世界有数百万的用户. 在标准硬件上，读/写速度上高达183 GB / 秒和 171 GB / 秒。对象存储可以充当主存储层，以处理Spark、Presto、TensorFlow、H2O.ai等各种复杂工作负载以及成为Hadoop HDFS的替代品。 MinIO用作云原生应用程序的主要存储，与传统对象存

What is a data lake? A data lake is a centralized data repository that is capable of storing both traditional structured (row and column) data, as well as unstructured, non-tabular raw data in its native format (like videos, images, binary files, and more

MinIO是一个S3兼容的对象存储系统，可以与Hadoop和Spark等大数据框架进行集成，实现数据存储和分析。

1,258

社区成员

1,168

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章