【求助】使用flume采集kafka中的数据持久化到HDFS中

rm -rf * 2018-04-09 10:38:15
打开kafka生产者:./kafka-console-producer --topic topic2017 --broker-list mfs-master:9092,mfs-log:9092,chunk0:9092
输入信息,就是收集不到数据,弄了挺久的,有大佬懂得么?求指教
贴上我的flume配置:

agent1.sources = kafkaSource
agent1.channels = memoryChannel
agent1.sinks = hdfsSink

agent1.sources.kafkaSource.channels = memoryChannel
agent1.sources.kafkaSource.type=org.apache.flume.source.kafka.KafkaSource
agent1.sources.kafkaSource.kafka.bootstrap.servers= mfs-master:9092,mfs-log:9092,chunk0:9092
agent1.sources.kafkaSource.kafka.topics=topic2017
agen1t.sources.kafkaSource.groupId=flume

agent1.channels.memoryChannel.type=memory
agent1.channels.memoryChannel.capacity=1000
agent1.channels.memoryChannel.transactionCapacity=100


# the sink of hdfs
agent1.sinks.hdfsSink.type=hdfs
agent1.sinks.hdfsSink.channel = memoryChannel
agent1.sinks.hdfsSink.hdfs.path=hdfs://mfs-master:9000/user/root/kafkaAndFlumeToHDFS/test/%Y-%m-%d
agent1.sinks.hdfsSink.hdfs.writeFormat=Text
agent1.sinks.hdfsSink.hdfs.fileType=DataStream
...全文
848 4 打赏 收藏 转发到动态 举报
写回复
用AI写文章
4 条回复
切换为时间正序
请发表友善的回复…
发表回复
kClown1 2018-09-22
  • 打赏
  • 举报
回复
这是官网的配置自己对照一下哪里写错了
tier1.sources.source1.type = org.apache.flume.source.kafka.KafkaSource
tier1.sources.source1.channels = channel1
tier1.sources.source1.batchSize = 5000
tier1.sources.source1.batchDurationMillis = 2000
tier1.sources.source1.kafka.bootstrap.servers = localhost:9092
tier1.sources.source1.kafka.topics = test1, test2
tier1.sources.source1.kafka.consumer.group.id = custom.g.id

引用 3 楼 qq_43227570 的回复:
agen1t.sources.kafkaSource.groupId=flume 是不是这写错了,应该是 agen1t.sources.kafkaSource.kafka.consumer.group.id = custom.g.id,
kClown1 2018-09-22
  • 打赏
  • 举报
回复
agen1t.sources.kafkaSource.groupId=flume 是不是这写错了,应该是 agen1t.sources.kafkaSource.kafka.consumer.group.id = custom.g.id,
qq_34167921 2018-09-10
  • 打赏
  • 举报
回复
你好,使用flume采集kafka中的数据持久化到hbase中的配置文件
pucheung 2018-08-23
  • 打赏
  • 举报
回复
./kafka-console-consumer 是否可以消费数据

20,807

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧