求助，flume不能从kafka中读取数据并且写入hdfs中

2018-07-24 10:40:41 792 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

flume实验:kafka生产者端通过flume发送信息到HDFS WARN [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.HDFSEventSink.process:452) - HDFS IO error：这是一个警告信息，表示Flume在进行HDFS输出时出现了IO错误。根据异常信息分析，可能是因为缺少com.ctc.wstx.io.InputBootstrapper类和org.codehaus.stax2.XMLInputFactory2类导致的异常。阅读详情

我的配置如下：

a1.channels = c1
a1.sinks = k1

#定义kafka-channel
a1.channels.c1.type = org.apache.flume.channel.kafka.KafkaChannel
a1.channels.c1.parseAsFlumeEvent = false
a1.channels.c1.kafka.bootstrap.servers = slave1:9092,slave3:9092,slave4:9092
a1.channels.c1.kafka.topic = incharge
a1.channels.c1.kafka.consumer.group.id = g101

#具体定义sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://master:9000/gamelog/%Y%m%d
a1.sinks.k1.hdfs.useLocalTimeStamp = true
a1.sinks.k1.hdfs.filePrefix = log-
a1.sinks.k1.hdfs.fileType = DataStream
#不按照条数生成文件
a1.sinks.k1.hdfs.rollCount = 0
#HDFS上的文件达到128M时生成一个文件
a1.sinks.k1.hdfs.rollSize = 134217728
#HDFS上的文件达到60秒生成一个文件
a1.sinks.k1.hdfs.rollInterval = 60
a1.sinks.k1.channel = c1

然后我启动后，如图所示：