如何设计生产环境中flume采集非结构化数据的方案

qq_38827686 2018-12-18 08:52:15
现在想到的方案是,将非结构化数据源定时复制到flume监控的文件夹中,进行采集,还有没有其它生产环境下的设计方案。
...全文
335 1 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
deepthinkers 2018-12-18
  • 打赏
  • 举报
回复
我之前是从各种应用系统的日志的服务器所在位置去他们的日志目录去拿,思路和你这个差不多,搞个监控目录,定时复制,flume安装到几个系统的节点上,把数据采到以后,送到kafka,然后后台spark根据kafka的topic进行消费。

926

社区成员

发帖
与我相关
我的任务
社区描述
华为云计算论坛,提供全面深入的云计算前景分析、丰富的技术干货、程序样例,分享华为云前沿资讯动态,方便开发者快速成长与发展,欢迎提问、互动,多方位了解云计算!
社区管理员
  • 华为云计算社区
  • 海洋 之心
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧