从2万多条记录的表中取最新的100条记录要2分钟左右,怎么优化?

其他数据库开发 > MySQL [问题点数:50分]
等级
本版专家分:0
结帖率 95.73%
等级
本版专家分:473001
勋章
Blank
名人 2012年 荣获名人称号
Blank
榜眼 2010年 总版技术专家分年内排行榜第二
Blank
探花 2009年 总版技术专家分年内排行榜第三
Blank
进士 2013年 总版技术专家分年内排行榜第十
2011年 总版技术专家分年内排行榜第七
hyz_cs

等级:

MSSQL、MySQL 数据库删除大批量千万级百万级数据的优化

SQL Server上面删除1.6亿条记录,不能用Truncate(因为只是删除其中少部分数据)。...经过个处理之后,我每次删除400万条记录花5 - 6分钟,删除全部1.6亿条记录花了4 - 5个小时! 为什么??

对大量数据的update优化操作

最近做的项目,上线后出了不少问题,所以我就经常去查数据库数据,翻各种日志等,但是在查询的时候发现好蛋疼,...最后实在忍不了,我统一时间格式 (由于时间都是单独个字段记录,所以比较好处理),两种格式,

通用算法-sql相似度模糊匹配

1、需求描述:数据库采集sql语句的记录,包含记录编号-ID、日期时间-data、sql语句-statement,对表内每一条记录的sql语句和内其他记录的sql语句进行模糊匹配,以顺序字符匹配方式进行,达到定义的相似度,就为...

在 MySQL10 万条主键不连续的数据里随机 3000 ,如何做到高效?

几百万记录的,每天大概有10万条记录发生更新,这10条里随机3000条做数据分析, select id from table where date_refresh = 20120329 order by rand() limit 0,3000 狂慢!!!大概三四十秒吧,怎么优化...

oracle千万级数据查询优化

需求:组合查询,按条件统计某几个字段100条记录 问题:没建索引导致查询结果耗时10秒,不能忍受。 解决方法: 1.建索引,在哪个字段建?  在这里先提下Oracle的sql语句的执行。oracle在执行sql语句之前会用...

随机获取Mysql数据条或多条记录

随机获得Mysql数据的一条或多条记录有很多方法,下面我就以users(userId,userName,password......)(有一百条记录)为例,对比讲解下几个方法效率问题: select * from users order by rand() LIMIT ...

MySQL性能测试分析

测试环境操作系统:Linux AS release 4,内核2.6.9-42.ELsmp #1 SMPCPU:Intel(R) Xeon(TM) CPU 3.00GHz,4核内存:1G,主要运行MySQL服务硬盘:cciss 37G文件系统:ext3,支持大文件MySQL:MySQL-5.0.51a网卡:100M...

你向 Mysql 数据库插入 100w 数据用了多久?

程序员的成长之路互联网/程序员/成长/职场关注阅读本文大概需要 2 分钟。▌目录线程插入(单)线程插入(多表)预处理 SQL值插入 SQL事务( N 提交次...

数据仓库学习笔记 --- 拉链详解

拉链 - 维护历史状态,以及最新状态数据的,拉链根据拉链粒度的不同,实际上相当于快照,只不过做了优化,去除了部分不变的记录而已,通过拉链可以很方便的还原出拉链时点的客户记录。 拉链通常是对...

Oracle随机抽取N条记录

1)、全扫描(Full table Scan):执行全扫描,Oracle读表中的所有记录,考查每行是否满足WHERE  件。Oracle顺序的读分配给该的每个数据块,且每个数据块Oracle只读次.这样全扫描能够受益于  ...

MySQL性能测试分析 mysql最大记录

MySQL性能测试分析 mysql最大记录数 操作系统:Linux AS release 4,内核2.6.9-42.ELsmp #1 SMP CPU:Intel(R) Xeon(TM) CPU 3.00GHz,4核 内存:1G,主要运行MySQL服务 硬盘:cciss 37G 文件系统:ext3,...

Hive与大关联(join)的性能分析

经常看到一些Hive优化的建议说当小与大做关联时,把小写在前面,这样可以使Hive的关联速度更快,提到的原因都是说因为小可以先放到内存,然后大的每条记录再去内存检测,最终完成关联查询。...

Mysql 百万级别的数据查询

个数据库的单数据量很大时,比如说是百万数量级的,如果我们使用普通的查询语句的话,耗时会非常(相比加上索引),今天小编带领着大家做一下实验,见证一下具有二百多万条数据的单,怎样优化查询语句。...

MySQL删除大批量数据

有1亿6000的数据,有个自增ID。最大值就是1亿6000,需要删除大于250以后的数据,有什么办法可以快速删除? 看到mysql文档有种解决方案:http://dev.mysql.com/doc/refman/5.0/en/delete.html If...

每组数据的第一条记录和最后一条记录的SQL语句

-- 操作日志 CREATE TABLE JobLog -- 操作日志 (  JobLogId] int NOT NULL , -- 主键  FunctionId nvarchar(20) NULL , -- 功能Id

mysql在百万数据量下查询慢的问题

很可能是自己的查询速度慢,于是进入数据库看了一下,发现历史记录已经达到了600多万条了。随着dau的上升,玩家越来越,乃至于历史记录也成倍的增长,虽然自己做了定时删除七天以前的记录,但还是承受不住巨量的...

哈希 相关笔试题

[摘抄] 哈希在查找过程进行比较的关键字个数决于哈希函数,处理冲突的方法和哈希的装填因子,哈希的装填因子标志哈希的装满程度,与哈希的长度有直接联系。 有B+Tree/Hash_Map/STL Map三种数据结构。...

提高mysql插入数据的速度

需要在mysql插入2000条记录,用insert语句插入速度很有限,每秒钟几条,放在hadoop集群上跑也是这个速度,可能是...1、在条insert语句插入多条记录 INSERT INTO tablename (field0, field1, ...) VALUES

SQL Server 2005的分区):什么是分区?为什么用分区?如何创建分区

还是十万条一百万条?这个,我觉得是仁者见仁、智者见智的问题。当然数据表中的数据到查询时明显感觉到数据很慢了,那么,你就可以考虑使用分区了。如果非我说一个数值的话,我认为是100万条。 2、但是,...

如何瞬间在数据库插入一百万条记录

这两天发现了一个东西很好玩:如何在你的数据库插入一百万条记录(要求三分钟之内)hoo~~hoo~~~1 首先 create table news ( newsid int primary key auto_increment, newstitle varchar(100), newscontent ...

什么是拉链

2. 表中的部分字段会被update,如用户的地址,产品的描述信息,订单的状态等等;3. 需要查看某个时间点或者时间段的历史快照信息,比如,查看某个订单在历史某个时间点的状态, 比如,查看某...

Oracle删除重复记录只保留一条数据的几种方法

Oracle删除重复记录只保留一条数据的几种方法 1. 问题描述 BBSCOMMENT为BBSDETAIL的从表记录商户评价信息。因为数据倒腾来倒腾去的,有很重复数据。结构如下: COMMENT_ID NOT NULL NUMBER --主键 ...

怎么计算Oracle的表一条记录占用空间的大小

怎么计算Oracle的表一条记录占用空间的大小

oracle 快速删除大批量数据方法(全部删除,条件删除,删除大量重复记录

全部删除 如果是删除某个的所有数据,并且不需要回滚,使用 TRUNCATE 就ok了。关于Trancate 参见这里http://blog.csdn.net/gnolhh168/archive/2011/05/24/6442561.aspx<br />SQL> truncate  table ...

MySQL Innodb数据库性能实践——合适的表记录

在实际工作,经常有同事问道:MySQL Innodb表记录大是合适的? 一般的理解肯定是越大性能越低,但具体低多少呢,是缓慢下降还是急剧下降,是1000就下降还是1亿才下降呢? 针对这些问题,我做了一下基准...

[oracle] rownum 及 选取排序后的前N数据

 在查询,我们可以注意到,类似于“select xx from table where rownum 1)这样的查询是有正确含义的,而“select xx from table where rownum = n”这样的查询只在n=1的时候成立,“select xx from table ...

MySQL插入语句insert性能优化

对于一些数据量较大的系统,面临的问题除了是查询效率低下,还有个很重要的问题就是插入时间长...1. 条SQL语句插入多条数据。 常用的插入语句如: INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `t

200个C语言程序(由简单到复杂)

从简单到难的200来个经典C程序 第一部分 基础篇 001 第一个C程序 002 运行多个源文件 003 求整数之积 004 比较实数大小 005 字符的输出 006 显示变量所占字节数 007 自增/自减运算 008 数列求和 009 乘法口诀表 010 猜数字游戏 011 模拟ATM(自动柜员机)界面 012 用一维数组统计学生成绩 013 用二维数组实现矩阵转置 014 求解二维数组的最大/最小元素 015 利用数组求前n个质数 016 编制万年历 017 对数组元素排序 018 任意进制数的转换 019 判断回文数 020 求数组前n元素之和 021 求解钢材切割的最佳订单 022 通过指针比较整数大小 023 指向数组的指针 024 寻找指定元素的指针 025 寻找相同元素的指针 026 阿拉伯数字转换为罗马数字 027 字符替换 028 从键盘读入实数 029 字符行排版 030 字符排列 031 判断字符串是否回文 032 通讯录的输入输出 033 扑克牌的结构表示 034 用“结构”统计学生成绩 035 报数游戏 036 模拟社会关系 037 统计文件的字符数 038 同时显示两个文件的内容 039 简单的文本编辑器 040 文件的字数统计程序 041 学生成绩管理程序 第二部分 数据结构篇 042 插入排序 043 希尔排序 044 冒泡排序 045 快速排序 046 选择排序 047 堆排序 048 归并排序 049 基数排序 050 二叉搜索树操作 051 二项式系数递归 052 背包问题 053 顺序表插入和删除 054 链表操作(1) 055 链表操作(2) 056 单链表就地逆置 057 运动会分数统计 058 双链表 059 约瑟夫环 060 记录个人资料 061 二叉树遍利 062 浮点数转换为字符串 063 汉诺塔问题 064 哈夫曼编码 065 图的深度优先遍利 066 图的广度优先遍利 067 求解最优交通路径 068 八皇后问题 069 骑士巡游 070 用栈设置密码 071 魔王语言翻译 072 火车车厢重排 073 队列实例 074 K阶斐波那契序列 第三部分 数值计算与趣味数学篇 075 绘制余弦曲线和直线的迭加 076 计算高次方数的尾数 077 打鱼还是晒网 078 怎样存钱以获取最大利息 079 阿姆斯特朗数 080 亲密数 081 自守数 082 具有abcd=(ab+cd)2性质的数 083 验证歌德巴赫猜想 084 素数幻方 085 百钱百鸡问题 086 爱因斯坦的数学题 087 三色球问题 088 马克思手稿中的数学题 089 配对新郎和新娘 090 约瑟夫问题 091 邮票组合 092 分糖果 093 波瓦松的分酒趣题 094 求π的近似值 095 奇数平方的有趣性质 096 角谷猜想 097 四方定理 098 卡布列克常数 099 尼科彻斯定理 100 扑克牌自动发牌 101 常胜将军 102 搬山游戏 103 兔子产子(菲波那契数列) 104 数字移动 105 多项式乘法 106 产生随机数 107 堆栈四则运算 108 递归整数四则运算 109 复平面作图 110 绘制彩色抛物线 111 绘制正态分布曲线 112 求解非线性方程 113 实矩阵乘法运算 114 求解线性方程 115 n阶方阵求逆 116 复矩阵乘法 117 求定积分 118 求满足特异条件的数列 119 超长正整数的加法 第四部分 图形篇 120 绘制直线 121 绘制圆 122 绘制圆弧 123 绘制椭圆 124 设置背景色和前景色 125 设置线条类型 126 设置填充类型和填充颜色 127 图形文本的输出 128 金刚石图案 129 飘带图案 130 圆环图案 131 肾形图案 132 心脏形图案 133 渔网图案 134 沙丘图案 135 设置图形方式下的文本类型 136 绘制正多边形 137 正六边形螺旋图案 138 正方形螺旋拼块图案 139 图形法绘制圆 140 递归法绘制三角形图案 141 图形法绘制椭圆 142 抛物样条曲线 143 Mandelbrot分形图案 144 绘制布朗运动曲线 145 艺术清屏 146 矩形区域的颜色填充 147 VGA256色模式编程 148 绘制蓝天图案 149 屏幕检测程序 150 运动的小车动画 151 动态显示位图 152 利用图形页实现动画 153 图形时钟 154 音乐动画 第五部分 系统篇 155 读取DOS系统中的国家信息 156 修改环境变量 157 显示系统文件表 158 显示目录内容 159 读取磁盘文件 160 删除目录树 161 定义文本模式 162 设计立体窗口 163 彩色弹出菜单 164 读取CMOS信息 165 获取BIOS设备列表 166 锁住硬盘 167 备份/恢复硬盘分区表 168 设计口令程序 169 程序自我保护 第六部分 常见试题解答篇 170 水果拼盘 171 小孩吃梨 172 删除字符串中的特定字符 173 求解符号方程 174 计算标准差 175 求取符合特定要求的素数 176 统计符合特定条件的数 177 字符串倒置 178 部分排序 179 产品销售记录处理 180 特定要求的字符编码 181 求解三角方程 182 新完全平方数 183 三重回文数 184 奇数方差 185 统计选票 186 同时整除 187 字符左右排序 188 符号算式求解 189 数字移位 190 统计最高成绩 191 比较字符串长度 192 合并整数 193 矩阵逆置 194 删除指定的字符 195 括号匹配 196 字符串逆置 197 SIX/NINE问题 198 单词个数统计 199 方差运算 200 级数运算 201 输出素数 202 素数题 203 序列排序 204 整数各位数字排序 205 字符串字母移位 206 Fibonacc数列 第七部分 游戏篇 207 商人过河游戏 208 吃数游戏 209 解救人质游戏 210 打字训练游戏 211 双人竞走游戏 212 迷宫探险游戏 213 迷你撞球游戏 214 模拟扫雷游戏 215 推箱子游戏 216 五子棋游戏 第八部分 综合实例篇 217 综合CAD系统 218 功能强大的文本编辑器 219 图书管理系统 220 进销存管理系统

数据结构基础系列(1):数据结构和算法

数据结构课程是计算机类专业的专业基础课程,在IT人才培养中,起着重要的作用。课程按照大学计算机类专业课程大纲的要求,安排教学内容,满足需要系统学习数据结构的人。系列课程包含11个部分,本课为第1部分,介绍与数据结构、程序、算法相关的概念,训练初步的数据逻辑结构表达能力,和初步的算法分析能力。 系列课程的目标是帮助学习者系统掌握数据结构课程的相关知识,具备利用这些知识分析问题、解决问题的能力。课程提供视频、课件、例程、自测、实践要求、参考解答等整套的解决方案,帮助学习者达到目标。本课是系列课程中的第1部分,具体目标包括:了解数据结构在计算机类人才培养中的重要意义、掌握数据结构的基本概念、掌握数据结构的分类、理解抽象数据类型ADT及其作用,以及初步学会算法分析的“套路”。

Premiere2019破解版

文档内包含pr2019版本的破解版,只需在解压后点击Setup.exe即可一键安装。

相关热词 c#等比例压缩图片大小 c# word 替换 c# mysql插入 c#窗体上的叉添加事件 c#打印图片文件 c#後台調前台js c#控制台美化 c#获取当前的农历日期 c# 构造函数重载 c#代码修改服务器时间