Flume将kafka中的数据传到HDFS中中文有乱码问题求助。

努力的Jensen 2018-11-27 09:56:14

已将HDFSsink配置为了DataStream，问题依旧，求助~

...全文

319 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

zgycsmb 2018-11-29

打赏
举报

回复

Bytes.toBytes(xx)
有用到吗

今天遇到这样的一个问题，flume拉取kafka数据，下沉到hdfs中，然后存取到hive中。是可以存进去的，但是执行查询语句。出现下面这样的代码或者存进去后，查询出现下面这样的问题 SEQ!org.apache.hadoop.io....

在最近的学习中，我想用flume和kafka以及hdfs设计一个日志采集的管道，使用flume监控本地文件，当本地文件发生变化时候将数据采集到kafka中，然后在通过flume消费kafka的数据采集到hdfs中存储。但是在进行的过程中...

hdfs.fileType生成的文件类型，默认是Sequencefile DataStream，则为普通文本解决方案在hdfs sink加一行 a1.sinks.k1.hdfs.fileType = DataStream

hdfs.fileType 默认值 SequenceFile 参数描述 File format: currently SequenceFile, DataStream or CompressedStream (1)DataStream will not compress output file and please don’t

解决Flume采集数据时在HDFS上产生大量小文件的问题 flume指定HDFS类型的Sink时，采集数据至HDFS指定目录，会产生大量小文件。解决方案：去掉round时间系列参数，并将rollSize和rollCount置0，表示不根据临时文件...

Hadoop生态社区

20,808

社区成员

4,690

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章