社区
Hadoop生态社区
帖子详情
求教!!关于kafka和hdfs对接
a649748049
2016-08-08 11:08:11
目前我们打算以flume+kafka结合做数据采集和实时分析,然后将数据发送发送到hadoop内。请问各路大神,如何将kafka的数据发送到hdfs中?
...全文
1425
3
打赏
收藏
求教!!关于kafka和hdfs对接
目前我们打算以flume+kafka结合做数据采集和实时分析,然后将数据发送发送到hadoop内。请问各路大神,如何将kafka的数据发送到hdfs中?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
3 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
跳跃的list
2019-06-03
打赏
举报
回复
可以用kafka提供的javaAPI,也可以采用flume+kafka+flume+hdfs
鲁邦
2016-11-28
打赏
举报
回复
Kafka Connector
Jaming R
2016-08-27
打赏
举报
回复
将kafka作为flume的数据源 下沉到hdfs
通俗易懂的
Kafka
升级版教程(含配套资料)
Kafka
是一个开源流处理平台,由Scala和Java编写。
Kafka
是一种高吞吐量的分布式发布订阅消息系统,它可以... 更新:课件升级、
Kafka
幂等性、
Kafka
事务、监控器Eagle的使用、
Kafka
对接
Flume的使用以及企业真实面试题详解
kafka
--
HDFS
数据流
对接
方式
项目需要,数据文件实时传入
kafka
,再流入
HDFS
进行存储,离线计算等,思考几个问题: 1)为什么要将
Kafka
的数据传输到
HDFS
上? 2)为什么不直接写
HDFS
而要通过
Kafka
?
HDFS
一直以来是为离线数据的存储和计算设计的,因此对实时事件数据的写入并不友好,而
Kafka
生来就是为实时数据设计的,但是数据在
Kafka
上无法使用离线计算框架来作批量离线分析。 那么,
Kafka
为什么...
Kafka
Connect
HDFS
概述
Kafka
的数据如何传输到
HDFS
?如果仔细思考,会发现这个问题并不简单。不妨先想一下这两个问题?1)为什么要将
Kafka
的数据传输到
HDFS
上?2)为什么不直接写
HDFS
而要通过
Kafka
?
HDFS
一直以来是为离线数据的存储和计算设计的,因此对实时事件数据的写入并不友好,而
Kafka
生来就是为实时数据设计的,但是数据在
Kafka
上无法使用离线计算框架来作批量离线分析。那么,Kaf...
Flume +
kafka
+
HDFS
构建日志采集系统
Flume是一个非常优秀日志采集组件,类似于logstash,我们通常将Flume作为agent部署在application server上,用于收集本地的日志文件,并将日志转存到
HDFS
、
kafka
等数据平台中;关于Flume的原理和特性,我们稍后详解,本文只简述如何构建使用Flume +
kafka
+
HDFS
构建一套日志采集系统。 1)Flume:作为agent部署在每个app...
Flume实战篇-采集
Kafka
到
hdfs
Flume实战篇-采集
Kafka
到
hdfs
Hadoop生态社区
20,808
社区成员
4,690
社区内容
发帖
与我相关
我的任务
Hadoop生态社区
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
复制链接
扫一扫
分享
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章