录入hbase同时写ElasticSearch, 导致慢

changchang97 2017-02-23 05:50:02

我使用thrift2写hbase集群，速度已经调整得比较快了。

后面我搭建ElasticSearch集群用于，提供快速查询与统计。

于是根据以下这位同学的做了：

通过HBase Observer同步数据到ElasticSearch

http://guoze.me/2015/04/23/hbase-observer-sync-elasticsearch/

发现速度慢了10来倍

如何优化，如果是有其他方式不？

...全文

1047 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

changchang97 2017-02-24

打赏
举报

回复

自己顶下，有谁知道的吗

7-3+贝壳一站式大数据开发平台实践

199-长安益阳发电有限公司项目建设方案.docx

EsPowerMeta元数据管理平台产品特色，亿信元数据管理平台元模型以 Meta Object Facility(MOF)规范为基础，支持 XMI 格式的元模型导入和导出，同时内置大量技术元数据、业务元数据的元模型，用户可直接使用。元模型管理对元模型的基本信息、属性、父子关系、依赖关系、组合关系的增删改查操作，内置元模型的内置信息不允许修改或者删除，但可进行新增操作。

扫描下方海报试读来源：https://www.cnblogs.com/mikevictor07/p/10006553.html一、前言数据平台已迭代三个版本，从头开始遇到很多常见的难题，终于有片段时间整理一些已完善的文档，在此分享以供所需朋友的实现参考，少走些弯路，在此篇幅中偏重于ES的优化，关于HBase，Hadoop的设计优化估计有很多文章可以参考，不再赘述。二、需求说明项目背景...

一、前言数据平台已迭代三个版本，从头开始遇到很多常见的难题，终于有片段时间整理一些已完善的文档，在此分享以供所需朋友的实现参考，少走些弯路，在此篇幅中偏重于ES的优化，关于HBase，Hadoop的设计优化估计有很多文章可以参考，不再赘述。二、需求说明项目背景：在一业务系统中，部分表每天的数据量过亿，已按天分表，但业务上受限于按天查询，并且DB中只能保留3个月的数据(硬件高配)，分库代价较高。改进...

7,394

社区成员

6,741

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章