社区
Hadoop生态社区
帖子详情
求教!!关于kafka和hdfs对接
a649748049
2016-08-08 11:08:11
目前我们打算以flume+kafka结合做数据采集和实时分析,然后将数据发送发送到hadoop内。请问各路大神,如何将kafka的数据发送到hdfs中?
...全文
1465
3
打赏
收藏
求教!!关于kafka和hdfs对接
目前我们打算以flume+kafka结合做数据采集和实时分析,然后将数据发送发送到hadoop内。请问各路大神,如何将kafka的数据发送到hdfs中?
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
3 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
跳跃的list
2019-06-03
打赏
举报
回复
可以用kafka提供的javaAPI,也可以采用flume+kafka+flume+hdfs
鲁邦
2016-11-28
打赏
举报
回复
Kafka Connector
Jaming R
2016-08-27
打赏
举报
回复
将kafka作为flume的数据源 下沉到hdfs
kafka
--
HDFS
数据流
对接
方式
HDFS
一直以来是为离线数据的存储和计算设计的,因此对实时事件数据的写入并不友好,而
Kafka
生来就是为实时数据设计的,但是数据在
Kafka
上无法使用离线计算框架来作批量离线分析。 那么,
Kafka
为什么...
Flume实战篇-采集
Kafka
到
hdfs
Flume实战篇-采集
Kafka
到
hdfs
Kafka
Connect
HDFS
概述
Kafka
的数据如何...
HDFS
一直以来是为离线数据的存储和计算设计的,因此对实时事件数据的写入并不友好,而
Kafka
生来就是为实时数据设计的,但是数据在
Kafka
上无法使用离线计算框架来作批量离线分析。那么,Kaf...
Kafka
Connect:
对接
Hadoop
HDFS
的实践
Kafka
Connect:
对接
Hadoop
HDFS
的实践 1.背景介绍 在当今大数据时代,数据的采集、传输和存储是至关重要的。Apache
Kafka
作为一个分布式流处理平台,已经广泛应用于各种场景。而Hadoop分布式文件系统
HDFS
则是大数据...
kafka
topic数据如何写入
hdfs
在大数据处理和实时分析领域,
Kafka
和
HDFS
是两个非常重要的工具。
Kafka
作为一个高性能的消息队列系统,能够高效地处理大规模的数据流;而
HDFS
(Hadoop Distributed File System)则是一个分布式文件系统,适合...
Hadoop生态社区
20,848
社区成员
4,696
社区内容
发帖
与我相关
我的任务
Hadoop生态社区
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
复制链接
扫一扫
分享
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章