flume发送数据到es 遇到的几个问题

bolanpc 2016-04-20 08:02:33

1，flum source 收集到数据后，使用拦截器正则切分body数据，添加到header中，发送数据时抓包发现，此时的body内容几乎已经用不上了，所以想问如何在发送时，去掉body部分，只发送header

2，由于flume 发送数据到es,其中agent.sinks.elasticsearch.indexName=flume，定义索引，系统会自动加上时间，发送到es,

,这样的话一个索引就只能存一天的数据，第二天就必须放入新的索引中，想问如何定义索引名字时不让追加时间信息，或者如何让长时间所获取的数据放到一个索引中，比如一年的数据放入一个索引？

sos 大神比较急,

...全文

2818 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

背道而驰 2017-03-27

打赏
举报

回复

第一个问题：Flume的设计是一个Event里面包含header与body，所以body不能去掉，除非你去修改源码第二个问题：这个地方与索引的机制有关，可以修改配置a2.sinks.k2.indexNameBuilder = org.apache.flume.sink.elasticsearch.SimpleIndexNameBuilder，这样修改之后就不会加日期了

虚拟人猫猫 2016-04-22

打赏
举报

回复

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。是大数据大数据开发工程师必须会的框架之一。在本课程中，你将学习到，Flume架构原理、安装配置、拓扑结构、使用Flume搭建监控端口采集数据、监控本地(或HDFS)文件(或文件夹)采集数据、多数据源采集数据、多数据出口收集日志、Flume负载均衡以及对于Flume的监控Ganglia的运用。购买后资料问题请加老师QQ 2020363447

整合flume+elasticsearch+kafka+kibana实现日志收集目标：通过整合flume+elasticsearch+kafka+kibana搭建简单模型，实现对中间件的日志设备：五台linux环境主机：99.47.148.238，99.47.148.239，99.47.148.240，99.47.148.242，99.47.148.149 架构： > 整合flume+elasticsearch+kafka+kibana实现日志收集 > 描述：

1、软件介绍 1.1、flume 1.1.1、flume介绍 1）flume概念 1、flume是一个分布式的日志收集系统，具有高可靠、高可用、事务管理、失败重启等功能。数据处理速度快，完全可以用于生产环境； 2、flume的核心是agent。agent是一个java进程，运行在日志收集端，通过agent接收日志，然后暂存起来，再发送到目的地； 3、agent里面包含3个核心组件：so

一、概述 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分。二、Flume特性（1）可靠性当节点出现故障.

基于Flume+Kafka+ Elasticsearch+Storm的海量日志实时分析平台原文网址：http://www.weixinnu.com/tag_article/1542492037 作者：互联网技术联盟微信公众号日期：2016年4月26日袁晓亮猎聘网架构中间件负责人互联网技术联盟 ITA1024讲师团成员本篇文章整理自袁晓亮4月26日在

932

社区成员

652

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章