是否可以配置Apache Flume使用Parquet将我的日志保存在HDFS中?

无声寡人 2018-04-24 11:56:36

除了监听器的方式能否让flume直接输出Parquet（输入格式为TEXT）

...全文

1495 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

Chapter 6: Apache Flume Part IV: Serializing Chapter 7: Apache Avro Chapter 8: Apache Parquet Part V: Messaging & Indexing Chapter 9: Apache Kafka Chapter 10: Apache Solr Chapter 11: ...

Using Hadoop 2 exclusively, author Tom White presents new chapters on YARN and several Hadoop-related projects such as Parquet, Flume, Crunch, and Spark. You’ll learn about recent changes to Hadoop, ...

在本课程中，你将学习到，Flume架构原理、安装配置、拓扑结构、使用Flume搭建监控端口采集数据、监控本地(或HDFS)文件(或文件夹)采集数据、多数据源采集数据、多数据出口收集日志、Flume负载均衡以及对于Flume的...

Using Hadoop 2 exclusively, author Tom White presents new chapters on YARN and several Hadoop-related projects such as Parquet, Flume, Crunch, and Spark. You’ll learn about recent changes to Hadoop, ...

文章目录一、架构图二、...① flume将埋点日志采集到kafka中 ② 从kafka中拉取数据，完成数据的过滤、维度的关联、主题的拆分 ③ 再分主题写回至kafka ④ 将分好主题的数据存储至HDFS中二、数据及思路 2019-02-2...

1,261

社区成员

1,169

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章