社区
Hadoop生态社区
帖子详情
请教个方案选型问题
weixin_41611100
2021-03-20 03:43:10
公司的报表模块的查询速度都不太行,最近想大改下,主要条件是:
1、现在使用的数据库是MySQL
2、表关联比较多,少则五个表,多则十个表
3、字段一般30个以内
4、合同明细表,订单明细表等主业务表数据已经500W+了
5、允许提隔天统计,对查询当天数据没有要求,当然最好是越实时越好
因为大数据量的工具了解不多,想请教下大佬,有什么方案推荐
...全文
158
1
打赏
收藏
请教个方案选型问题
公司的报表模块的查询速度都不太行,最近想大改下,主要条件是: 1、现在使用的数据库是MySQL 2、表关联比较多,少则五个表,多则十个表 3、字段一般30个以内 4、合同明细表,订单明细表等主业务表数据已经500W+了 5、允许提隔天统计,对查询当天数据没有要求,当然最好是越实时越好 因为大数据量的工具了解不多,想请教下大佬,有什么方案推荐
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
1 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
飞向海洋的猪
2021-03-23
打赏
举报
回复
mysql+canal+kafka+hive使用canal模拟mysql的slave 获取binlog 将数据同步到hive中 然后就使用hive进行分析计算得到最终报表,再将最终报表落到mysql 供业务方进行报表查询 。 https://blog.csdn.net/Lyx_____h/article/details/106335040 可以参考 至于实时,不要让业务人员接触到实时数据,最好就是当天只显示昨天以及昨天之前的数据,如果业务方接触的数据都是实时的,那以后你所有的开发都要基于实时这个方向进行开发,会很难处理。 真好搞实时的话,我推荐你看看即席查询吧,我没整过这个。
智慧城市之智慧中台专题-大数据技术框架体系架构
阐述如何理解大数据平台在智慧城市,数字经济中的总体定位,在掌握大数据技术架构的基础上,解决大数据平台技术框架
选型
问题
。 本课程在前期智慧中台专题《如何进行中台架构设计》、《简析数据中台公共能力...
国际化
方案
的思考——
方案
选型
的重要性
国际化
方案
的思考——
方案
选型
的重要性 中文版功能实现以后,根据部门进度要求要实现英文版(除简体中文外的系统都设置为英文)。个人最初的理解,无非是将供客户使用的部分(界面、提示信息)由中文改为英文,...
项目中怎样做技术
选型
引出四个维度工作快十五年了,从十年前开始经常会有新项目,需要从头开始做
方案
和设计。做技术
选型
很少成为我的难题。不是因为这方面我多有方法,而通常是很少有选择。在做技术
选型
的场景下基本有以下四...
浅谈如何进行技术
选型
(以工作流引擎技术
选型
为例说明)
(一)了解内部情况,确定
问题
范围不确定“
问题
”就无所谓“解”。我们分析了解到电子政务领域的各种活动中,工作流程无处不在。我们系统包括综合办事系统、联合审批系统、社区事件管理等的业务审批,...
前端技术
选型
参考 ---转
技术
方案
一 pc - 业务类型 细分类型1 重展示、轻交互 典型代表 :产品展示页 特点 : 对外展示产品,承载公司对外运营业务,TO C 类居多 要求 : 稳定,快速,无障碍,高可靠性,兼容性强,强SEO 技术
选型
: node ...
Hadoop生态社区
20,808
社区成员
4,690
社区内容
发帖
与我相关
我的任务
Hadoop生态社区
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
复制链接
扫一扫
分享
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章