请教个方案选型问题

weixin_41611100 2021-03-20 03:43:10
公司的报表模块的查询速度都不太行,最近想大改下,主要条件是:
1、现在使用的数据库是MySQL
2、表关联比较多,少则五个表,多则十个表
3、字段一般30个以内
4、合同明细表,订单明细表等主业务表数据已经500W+了
5、允许提隔天统计,对查询当天数据没有要求,当然最好是越实时越好


因为大数据量的工具了解不多,想请教下大佬,有什么方案推荐
...全文
158 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
飞向海洋的猪 2021-03-23
  • 打赏
  • 举报
回复
mysql+canal+kafka+hive使用canal模拟mysql的slave 获取binlog 将数据同步到hive中 然后就使用hive进行分析计算得到最终报表,再将最终报表落到mysql 供业务方进行报表查询 。 https://blog.csdn.net/Lyx_____h/article/details/106335040 可以参考 至于实时,不要让业务人员接触到实时数据,最好就是当天只显示昨天以及昨天之前的数据,如果业务方接触的数据都是实时的,那以后你所有的开发都要基于实时这个方向进行开发,会很难处理。 真好搞实时的话,我推荐你看看即席查询吧,我没整过这个。

20,808

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧