求教！！关于kafka和hdfs对接

a649748049 2016-08-08 11:08:11

目前我们打算以flume+kafka结合做数据采集和实时分析，然后将数据发送发送到hadoop内。请问各路大神，如何将kafka的数据发送到hdfs中？

...全文

1492 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

跳跃的list 2019-06-03

打赏
举报

回复

可以用kafka提供的javaAPI,也可以采用flume+kafka+flume+hdfs

鲁邦 2016-11-28

打赏
举报

回复

Kafka Connector

Jaming R 2016-08-27

打赏
举报

回复

将kafka作为flume的数据源下沉到hdfs

HDFS一直以来是为离线数据的存储和计算设计的，因此对实时事件数据的写入并不友好，而Kafka生来就是为实时数据设计的，但是数据在Kafka上无法使用离线计算框架来作批量离线分析。那么，Kafka为什么...

在Kafka 0.9.0.0之后，Kafka社区增加了一系列的功能，其中包含对Kafka集群进行安全管控。Broker与Client之间的权限认证（例如Producer和Consumer）。可以使用SSL或SASL，而SASL支持如下方案：SASL/GSSAPI（Kerberos...

在大数据处理和实时分析领域，Kafka 和 HDFS 是两个非常重要的工具。Kafka 作为一个高性能的消息队列系统，能够高效地处理大规模的数据流；而 HDFS（Hadoop Distributed File System）则是一个分布式文件系统，适合...

KafkaConnect：对接HadoopHDFS的实践 1.背景介绍在当今大数据时代，数据的采集、传输和存储是至关重要的。Apache Kafka作为一个分布式流处理平台,已经广泛应用于各种场景。而Hadoop分布式文件系统HDFS则是大数据...

概述Kafka 的数据如何...HDFS一直以来是为离线数据的存储和计算设计的，因此对实时事件数据的写入并不友好，而Kafka生来就是为实时数据设计的，但是数据在Kafka上无法使用离线计算框架来作批量离线分析。那么，Kaf...

Hadoop生态社区

20,846

社区成员

4,695

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章