求教！！关于kafka和hdfs对接

a649748049 2016-08-08 11:08:11

目前我们打算以flume+kafka结合做数据采集和实时分析，然后将数据发送发送到hadoop内。请问各路大神，如何将kafka的数据发送到hdfs中？

...全文

1526 3 打赏收藏举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

跳跃的list 2019-06-03

打赏
举报

回复

可以用kafka提供的javaAPI,也可以采用flume+kafka+flume+hdfs

鲁邦 2016-11-28

打赏
举报

回复

Kafka Connector

Jaming R 2016-08-27

打赏
举报

回复

将kafka作为flume的数据源下沉到hdfs

Kafka Sink 提供了可靠的方式将数据写入 Kafka，支持批量写入、分区和副本的配置，确保数据的可靠性和一致性。保证数据的顺序性：可以使用 Kafka 的分区机制来控制数据的顺序，确保相同 key 的数据被写入到同一个 partition 中，保证数据的顺序性。Kafka Sink 会负责将数据写入指定的 topic，根据配置的 partition 和副本策略，将数据分布到 Kafka 集群中的不同节点上。您需要提供目标的相关配置，如HDFS的文件路径、HBase的表名称等。

概述Kafka 的数据如何传输到HDFS？如果仔细思考，会发现这个问题并不简单。不妨先想一下这两个问题?1）为什么要将Kafka的数据传输到HDFS上？2）为什么不直接写HDFS而要通过Kafka?HDFS一直以来是为离线数据的存储和计算设计的，因此对实时事件数据的写入并不友好，而Kafka生来就是为实时数据设计的，但是数据在Kafka上无法使用离线计算框架来作批量离线分析。那么，Kaf...

作者：Syn良子出处：http://www.cnblogs.com/cssdongl 转载请注明出处找时间总结整理了下数据从Kafka到Hdfs的一些pipeline，如下 1> Kafka -> Flume –> Hadoop Hdfs 常用方案,基于配置,需要注意hdfs小文件性能等问题. GitHub地址:https://github.com/apache/...

flume连接hdfs和kafka练习一、flume连接hdfs情况选型是source端使用taildir channel端使用file channel sink端使用hdfs 脚本文件如图：运行flume-ng，如下：往flume 监控的文件taildir_test.data写入数据：等待控制台的输出命令：登录HDFS查看，发现已经写入：肯定有人要问了：memory ch...

Spark Streaming处理kafka的数据落地HDFS 背景生产上项目的数据从上游kafka topic下发过来，经过spark Streaming简单清洗处理后，下发到下一个kafka topic中，目前需要将清洗处理好的数据，按小时分区落地到HDFS上。要求，如果当前落地HDFS的程序断了，能按照消息下发kafka topic 的时间进行分区。实现思路 1：在下发的kafka t...

Hadoop生态社区

20,842

社区成员

4,695

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章