flume-ng框架自定义sink的创建问题

Cake_G 2015-01-06 10:28:20

最近开始研究了一下apache的flume-ng框架，想使用这个框架进行数据的分布式管理，同时需要连接mysql或者oracle数据库。那么问题是，如何创建一个自定义的sink，来接收和处理source得到的数据资源。求具体步骤以及注意事项，谢谢大家。

...全文

442 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

chiweitree 2015-02-06

打赏
举报

回复

http://blog.csdn.net/simonchi/article/details/42489885

看看这个

Cake_G 2015-01-06

打赏
举报

回复

遇到了类似的问题：http://www.aboutyun.com/blog-14809-942.html

flume内部提供了很多种sink，如：logger、file_roll、avro、hdfs、kafak、es等，方便直接将event数据对接到本地磁盘、或者其他第三方存储中。有的时候，我们需要自定义source，来完成特殊需求。本文介绍如何开发自定义sink，来实现将event数据存储到Mysql。 1、pom.xml <?xml version="1.0"?> <...

概述关于flume ng的简单介绍，可以参考flume ng进击之路（一）—— 入门，同时flume ng也提供了各种各样的source和sink接口供我们在生成环境中使用，但是在生产环境中，我们常常需要定制的source或者sink来满足我们的要求。好在flume ng提供了开放接口，我们可以根据这些接口，实现自己定制的source或者sink。下面我们来看一下如何实现自定义source框架。实

大数据04--Flume框架自定义 Interceptor、Source和Sink，Ganlia实时监控

原文链接：记Flume-NG一些注意事项这里只考虑flume本身的一些东西，对于JVM、HDFS、HBase等得暂不涉及。。。。一、关于Source： 1、spool-source：适合静态文件，即文件本身不是动态变化的； 2、avro source可以适当提高线程数量来提高此source性能； 3、ThriftSource在使用时有个问题需要注意，使用批量操作时出现异常并不会打印异...

1，flume日志输出到控制台 bin/flume-ng agent --conf conf/ --name a1 --conf-file conf/xxx.properties -Dflume.root.logger=INFO,console -Dflume.monitoring.type=http -Dflume.monitoring.port=1234 2，flume日志输出到日志文件

Hadoop生态社区

20,808

社区成员

4,690

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章