flume sink到hdfs第一列是时间戳，怎么去掉

技术少有新鲜事 2017-04-20 02:36:17

flume sink到hdfs第一列是时间戳，怎么去掉？如下
1492665578789|111
1492665580789|222
1492666625916|qqqq
1492664454650|
1492664455642|q

...全文

880 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

qq_35619667 2017-04-27

打赏
举报

回复

遇到同样问题，求解决方法！！！谢谢

技术少有新鲜事 2017-04-20

打赏
举报

回复

已解决，原因在与source源多了

flume往hdfs中写入文件的时候，文件名会默认生成一个时间戳 原因见下面的源码分析： http://www.aboutyun.com/thread-21422-1-1.html

原文地址：http://www.aboutyun.com/thread-21422-1-1.html 一、重要问题点 1.哪些配置影响着hdfs文件的关闭? 2.HDFS Sink中每次都会触发的事件是什么？ 3.HDFS Sink中参数的优先级是怎样的？二、HDFS Sink跟写文件相关配置 hdfs.path -> hdfs目录路径 hdfs.filePrefix -> 文件前缀...

Flume到Hdfs模板配置

一、配置详解 type Sink类型为hdfs hdfs.path HDFS存储路径，支持按照时间分区集群的NameNode名字：单节点：hdfs://主机名(ip):9000/%Y/%m/%d/%H HA集群：hdfs://nameservice(高可用NameNode服务名称)/%Y/%m/%d/%H hdfs.filePrefix 默认值：FlumeData Event输出到HDFS的文件名前缀 hdfs.fileSuffix Event输出到HDFS的文件名后缀 h

HDFS Sink介绍 Flume导入数据HDFS，目前只支持创建序列化（sequence）文件和文本（text）文件。还支持这两个文件的压缩。文件可以根据运行的时间，数据的大小和时间的数量来进行周期性的滚动（关闭当前文件产生新的文件）。也可以根据数据属性分区，例如根据时间戳或机器分区。HDFS目录路径可以包含格式化的转义字符，生成目录路径可以通过格式化转移字符（escape sequences...

932

社区成员

652

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章