社区
应用实例
帖子详情
数据库中两千万级别数据怎么查找最快
godop
2019-04-04 12:22:04
在2000万条数据的数据库中进行数据处理,除了建索引还有什么其他有效的提高查询效率的方法吗?
...全文
889
5
打赏
收藏
数据库中两千万级别数据怎么查找最快
在2000万条数据的数据库中进行数据处理,除了建索引还有什么其他有效的提高查询效率的方法吗?
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
5 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
yolyry
2019-05-02
打赏
举报
回复
分表吧,可以考虑按时间(如年月)分表,或者按功能分表(如OA流程一个流程对应一个表);将就使用可能导致的问题是,你必须优化每条SQL,否则一但出现Table Scan的全表遍历,这效率直接就哭了
快乐起航2020
2019-04-22
打赏
举报
回复
首先 要先把 表结构罗列出来 、业务逻辑描述清楚
吉普赛的歌
2019-04-20
打赏
举报
回复
请先贴出表结构、索引 及常用的 查询SQL 。 另外, 大表查询始终是有问题的。 你要问的问题类似: 十字路口每天要过两千万辆车,而且每天还在增加车, 如何才能不堵车? 最好的办法当然还是建立交桥, 花费多点, 但一劳永逸。 最好还是分表, 历史数据(不再修改)放在历史表, 需要修改的数据放在当前表。定期将当前表数据转移到历史表。
TIGER0579
2019-04-20
打赏
举报
回复
可以考虑用表分区.
godop
2019-04-04
打赏
举报
回复
补充说明,这个数据库是会有数据增加的
java处理千万条
数据
库
_如何向
数据
库
集群快速导入千万条
数据
一、
数据
导入的方式向MySQL
数据
库
导入
数据
,通常有两种办法,第一种是利用SOURCE命令,第二种是使用LOAD DATA命令。SOURCE命令是通过执行SQL文件
中
的INSERT语句来实现
数据
的导入。正常情况下,如果我们向单节点的MySQL,用INSERT语句批量写入
数据
,在普通的PC机上,写入10万条
数据
,大概需要7~8分钟时间。按照这个速度推算,写入1千万条
数据
大概需要10个小时以上。如果在...
java sql 写入万条
数据
_如何快速向
数据
库
插1000万
数据
?4种方法对比,它简单却速度
最快
目录场景介绍项目配置Mybatis为什么慢?JdbcTemplate让我眼前一亮原生JDBC就是快啊!存储过程怎么样?越简单越快前言一直有一种说法:批量插入大量
数据
到MySQL
数据
库
,不要使用Mybatis、Hibernate之类的ORM框架,原因一般都是说性能不好,至于为什么不好好像没几个人能讲清楚的。批量插入大量
数据
最优的方式是什么?网上也是众说纷纭。不如自己动手测试一下吧!场景介绍前几天公司...
MySQL
数据
库
如何解决大
数据
量存储问题
利用MySQL
数据
库
如何解决大
数据
量存储问题? 各位高手您们好,我最近接手公司里一个比较棘手的问题,关于如何利用MySQL存储大
数据
量的问题,主要是
数据
库
中
的两张历史
数据
表,一张模拟量历史
数据
和一张开关量历史
数据
表,这两张表字段设计的很简单(OrderNo,Value,DataTime)。基本上每张表每天可以增加几千万条
数据
,我想问如何存储
数据
才能不影响检索速度呢?需不需要换oracle
数据
数据
库
千万级
数据
量查询的优化技巧及思路
数据
库
的分库分表是一种在
数据
库
层面上的水平拆分策略,通过将一个大型
数据
库
拆分成多个小型
数据
库
(分库)并将每个小型
数据
库
中
的表拆分成多个子表(分表),来提高
数据
库
的扩展性、性能和负载均衡能力。当单个
数据
库
无法满足查询性能需求时,可以考虑使用
数据
库
分片技术,将
数据
分散到多个
数据
库
中
,每个
数据
库
只处理部分
数据
,从而提高查询的并发度和整体性能。这样,订单
数据
既按照一定规则分配到不同库,又在每个库内按照不同规则分配到不同表,实现了
数据
库
的分库分表。2. 避免 SELECT。假设有两个库,一个主库(
数据
库
,
数据
仓库,
数据
集市,
数据
湖,
数据
中
台
数据
库
,
数据
仓库,
数据
集市,
数据
湖,
数据
中
台 转载声明 本文大量内容系转载自以下文章,有删改,并参考其他文档资料加入了一些内容:
数据
仓库和
数据
集市的区别 作者:修鹏李 出处:CSDN 大
数据
:
数据
仓库和
数据
库
的区别 作者:南宫蓉 出处:简书 第一篇:
数据
仓库概述 第二篇:
数据
库
关系建模 作者:穆晨 出处:CNBLOS
数据
仓库、
数据
湖、
数据
集市、和
数据
中
台的故事 作者:Murkey学习之旅 出处:csdn
数据
中
台和数仓的关系
应用实例
27,581
社区成员
68,544
社区内容
发帖
与我相关
我的任务
应用实例
MS-SQL Server 应用实例
复制链接
扫一扫
分享
社区描述
MS-SQL Server 应用实例
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章