社区
Hadoop生态社区
帖子详情
求教!!关于kafka和hdfs对接
a649748049
2016-08-08 11:08:11
目前我们打算以flume+kafka结合做数据采集和实时分析,然后将数据发送发送到hadoop内。请问各路大神,如何将kafka的数据发送到hdfs中?
...全文
1423
3
打赏
收藏
求教!!关于kafka和hdfs对接
目前我们打算以flume+kafka结合做数据采集和实时分析,然后将数据发送发送到hadoop内。请问各路大神,如何将kafka的数据发送到hdfs中?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
3 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
跳跃的list
2019-06-03
打赏
举报
回复
可以用kafka提供的javaAPI,也可以采用flume+kafka+flume+hdfs
鲁邦
2016-11-28
打赏
举报
回复
Kafka Connector
Jaming R
2016-08-27
打赏
举报
回复
将kafka作为flume的数据源 下沉到hdfs
kafka
--
HDFS
数据流
对接
方式
HDFS
一直以来是为离线数据的存储和计算设计的,因此对实时事件数据的写入并不友好,而
Kafka
生来就是为实时数据设计的,但是数据在
Kafka
上无法使用离线计算框架来作批量离线分析。 那么,
Kafka
为什么...
flink消费
kafka
落地到
hdfs
flink消费
kafka
落地到
hdfs
发现是
hdfs
的地址没写全,在跳板机上即使不写全也能读写,但flink落
hdfs
的时候必须写全了。
Kafka
Connect
HDFS
概述
Kafka
的数据如何...
HDFS
一直以来是为离线数据的存储和计算设计的,因此对实时事件数据的写入并不友好,而
Kafka
生来就是为实时数据设计的,但是数据在
Kafka
上无法使用离线计算框架来作批量离线分析。那么,Kaf...
Flume +
kafka
+
HDFS
构建日志采集系统
Flume是一个非常优秀日志采集组件,类似于logstash,我们通常将...关于Flume的原理和特性,我们稍后详解,本文只简述如何构建使用Flume +
kafka
+
HDFS
构建一套日志采集系统。 1)Flume:作为agent部署在每个app...
Kafka
数据到
Hdfs
找时间总结整理了下数据从
Kafka
到
Hdfs
的一些pipeline,如下 1>
Kafka
-> Flume –> Hadoop
Hdfs
常用方案,基于配置,需要注意
hdfs
小文件性能等问题. GitHub地址:https://github.com/apache/...
Hadoop生态社区
20,807
社区成员
4,690
社区内容
发帖
与我相关
我的任务
Hadoop生态社区
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
复制链接
扫一扫
分享
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章