3000万条INSERT语句如何提高效率?

其他数据库开发 > MySQL [问题点数:40分,结帖人ralln]
等级
本版专家分:0
结帖率 94.12%
等级
本版专家分:0
等级
本版专家分:13627
勋章
Blank
红花 2014年4月 其他数据库开发大版内专家分月排行榜第一
Blank
黄花 2016年1月 其他数据库开发大版内专家分月排行榜第二
2014年12月 其他数据库开发大版内专家分月排行榜第二
2014年11月 其他数据库开发大版内专家分月排行榜第二
2014年5月 其他数据库开发大版内专家分月排行榜第二
Blank
蓝花 2014年3月 其他数据库开发大版内专家分月排行榜第三
等级
本版专家分:106068
勋章
Blank
红花 2017年6月 其他数据库开发大版内专家分月排行榜第一
2017年2月 其他数据库开发大版内专家分月排行榜第一
2013年11月 其他数据库开发大版内专家分月排行榜第一
2013年9月 其他数据库开发大版内专家分月排行榜第一
2013年2月 其他数据库开发大版内专家分月排行榜第一
Blank
黄花 2018年2月 其他数据库开发大版内专家分月排行榜第二
2018年1月 其他数据库开发大版内专家分月排行榜第二
2017年12月 其他数据库开发大版内专家分月排行榜第二
2017年11月 其他数据库开发大版内专家分月排行榜第二
2017年1月 其他数据库开发大版内专家分月排行榜第二
2014年8月 其他数据库开发大版内专家分月排行榜第二
2014年2月 其他数据库开发大版内专家分月排行榜第二
2014年1月 其他数据库开发大版内专家分月排行榜第二
2013年12月 其他数据库开发大版内专家分月排行榜第二
2013年10月 其他数据库开发大版内专家分月排行榜第二
2013年8月 其他数据库开发大版内专家分月排行榜第二
2013年5月 其他数据库开发大版内专家分月排行榜第二
2013年1月 其他数据库开发大版内专家分月排行榜第二
2012年8月 其他数据库开发大版内专家分月排行榜第二
2012年5月 其他数据库开发大版内专家分月排行榜第二
2012年4月 其他数据库开发大版内专家分月排行榜第二
2012年1月 其他数据库开发大版内专家分月排行榜第二
Blank
蓝花 2017年9月 其他数据库开发大版内专家分月排行榜第三
2017年7月 其他数据库开发大版内专家分月排行榜第三
2017年5月 其他数据库开发大版内专家分月排行榜第三
2017年3月 其他数据库开发大版内专家分月排行榜第三
2016年12月 其他数据库开发大版内专家分月排行榜第三
2014年11月 其他数据库开发大版内专家分月排行榜第三
2014年7月 其他数据库开发大版内专家分月排行榜第三
2014年6月 其他数据库开发大版内专家分月排行榜第三
2014年5月 其他数据库开发大版内专家分月排行榜第三
2013年7月 其他数据库开发大版内专家分月排行榜第三
2013年3月 其他数据库开发大版内专家分月排行榜第三
2012年7月 其他数据库开发大版内专家分月排行榜第三
2012年6月 其他数据库开发大版内专家分月排行榜第三
2011年12月 其他数据库开发大版内专家分月排行榜第三
等级
本版专家分:1303
勋章
Blank
GitHub 绑定GitHub第三方账户获取
等级
本版专家分:0
ralln

等级:

如果让你的insert操作速度增加1000倍

大家平时都会使用insert语句,特别是有时候需要一个大批量的数据来做测试,一条insert将会是非常慢的,那么我们如何让我们的inser更快呢。 先看个例子: 我们需要在如下这个表中插入测试数据,包含两列,一个是...

请教提高上百万行数据insert速度的“经典”方法

有两个结构相同的表table1,table2 将table1插入到table2中: 现在采用两种方法: 1、指定回滚段,回滚段足够大 set transaction use... INSERT INTO table1 NOLOGGING SELECT * FROM table2; commit; 2、采用定义cur...

关于INSERT效率问题

我通过一个PERL脚本向数据库插资料,要插入4,我用循环的方式插入,效率很差,是不是可以通过一INSETR语句插入4记录,效率会不会高点。 insert 语法不是有:insert into table (字段1,字段2....) ...

mysql 插入10万条数据 优化效率

public int addTypes(List<taobaoBean> babyList) { String sql = "insert into type (typeid,url) values (?,?) "; Connection conn = dbhelper.getConnection(driver,... 1分钟才插入3000条数据,如何变快。

SQL语句执行效率及分析

1.关于SQL查询效率,100w数据,查询只要1秒,与您分享: 机器情况 p4: 2.4 内存: 1 G os: windows 2003 数据库: ms sql server 2000 目的: 查询性能测试,比较两种查询的性能 SQL查询效率 step by step -- ...

SqlServer的两种插入方式效率对比

protected void button1_Click(object sender, EventArgs e) { DataTable dtSource = new DataTable(); dtSource.Columns.Add("Name", typeof(string)); dtSourc...

SQL Server 大数据量insert into xx select慢的解决方案

最近项目有个需求,把一张表中的数据根据一定条件增删改到另外...原因在于当insert into xx select数据量达到10级别,同时又有Update和Delete操作表。容易造成锁表。 经过研究重构了SQL语句问题解决。具体解决方...

如何提高SQL语言的查询效率

如何提高SQL语言的查询效率?由于SQL是面向结果而不是面向过程的查询语言,所以一般支持SQL语言的大型关系型数据库都使用一个基于查询成本的优化器,为即时查询提供一个最佳的执行策略。对于优化器,输入是一查询...

SQL 语句效率问题(如何写出高性能的SQL语句

1.关于SQL查询效率,100w数据,查询只要1秒,与您分享: 机器情况 p4: 2.4 内存: 1 G os: windows 2003 数据库: ms sql server 2000 目的: 查询性能测试,比较两种查询的性能 SQL查询效率 step by step -- setp 1. ...

如何提高插入10万条记录的速度

最近在做一个测试,看向数据库... 在客户端生程insert语句,然后发到数据库。用尽了方法,发现每秒只能插入大约600,但是相同条件下sql server能每秒插入1000多,令我这个Oracle DBA很每面子,所以决定调优一把。于

C# 操作mysql大批量插入语句,一次几万条,可以同时跳过指定的重复字段继续插入。

我现在用的是这个语句很卡 执行SQL语句 ``` DataTable dt = (dSkinGridList1.DataSource as DataTable); ... this.label1.Visible = true;... SQLStringLis.Add(...这个语句现在插入3000条就卡主了。在线等。谢谢!

数据库操作优化(insert、update、delete、select)

一、insert优化: ...这里优化的方式是先组合一多行的sql语句,然后再进行插入操作,这样就很大程度上优化了插入数据的效率。 测试代码如下: $sql = "insert into `test` (`test`) values('$co

sql语句执行效率及分析

1.关于SQL查询效率,100w数据,查询只要1秒,与您分享:   机器情况 p4: 2.4 内存: 1 G os: windows 2003 数据库: ms sqlserver 2000 目的: 查询性能测试,比较两种查询的性能   SQL查询效率 step by step ...

oracle查询sql语句

Oracle查询语句 select*from scott.emp ;1.--dense_rank()分析函数(查找每个部门工资最高前三名员工信息)select*from(selectdeptno,ename,sal,dense_rank()over(partitionby deptno orderby sal desc) a from...

SQL语句级别的优化总结

第一部分:sql级别的优化: 1、 SQL语句尽量都大写字母出现。 2、 查询时,如果基表(from最后面的表),数据库语句处理...例如:A,1万条, B,10万条, C,100万条数据。  关联条件: A.id=B.id and C.sid=B.si

Java学习之道:SQL语句执行效率及分析(note)

1.关于SQL查询效率,100w数据,查询只要1秒,与您分享: 机器情况 p4: 2.4 内存: 1 G os: windows 2003 数据库: ms sql server 2000 目的: 查询性能测试,比较两种查询的性能 SQL查询效率 step by step ...

数据库索引--SQL语句执行效率、分析及优化

1.关于SQL查询效率,100w数据,查询只要1秒,与您分享: 机器情况 p4: 2.4 内存: 1 G os: windows 2003 数据库: ms sql server 2000 目的: 查询性能测试,比较两种查询的性能 SQL查询效率 step by step -- setp 1. ...

向mysql数据库快速插入两万条数据库

package test.java; import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.SQLException; import java.util.Date; import ...

SQL 执行插入1000万条数据操作 几十秒内!

alter database test set recovery BULK_LOGGED ...insert into aaa  select id=a.id+b.id+c.id+d.id +e.id +f.id+g.id  from(  select id=0 union all select 1  union all select id=2 u

在一个千万级的数据库查寻中,如何提高查询效率

在一个千万级的数据库查寻中,如何提高查询效率?1)数据库设计方面: a. 对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。 b. 应尽量避免在 where 子句中对字段进行 ...

SQL语句执行效率及分析(note)

SQL语句执行效率及分析(note) 分类: sql server 1.关于SQL查询效率,100w数据,查询只要1秒,与您分享: 机器情况 p4: 2.4 内存: 1 G os: windows 2003 数据库: ms sql server 2000 目的: 查询...

ORACLE sqlldr 大数据量 导入

 方案一:转换成insert语句,但是执行效率太低,放弃。  方案二:使用plsql工具(tool-text import),这种效率大概是50万条每小时。由于时间紧急所以也不行。  方案三:使用sqlldr,这种效率还凑合,大概350...

sql 提高效率技巧。

sQL语句执行效率及分析(note) 1.关于SQL查询效率,100w数据,查询只要1秒,与您分享: 机器情况 p4: 2.4 内存: 1 G os: windows 2003 数据库: ms sql server 2000 目的: 查询性能测试,比较两种查询的性能 ...

批量插入1000万条数据的三种方式对比

重要的写在前面的。如果你有更好的方法。希望您不吝啬您的留言。共同进步 一、直接导入 -- 查看允许mysql数据导出目录 SHOW VARIABLES LIKE "secure_file_priv"; SELECT * FROM demo INTO OUTFILE 'D:/up/prod.txt'...

在一个千万级别的数据库中查询,如何提高查询效率

在一个千万级的数据库查寻中,如何提高查询效率? 1)数据库设计方面:  a. 对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。  b. 应尽量避免在 where 子句中对...

数据库操作优化(insert、up…

原文地址:数据库操作优化...这里优化的方式是先组合一多行的sql语句,然后再进行插入操作,这样就很大程度上优化了插入数据的效率。 测试代码如下: $sql = "insert into `test` (`test`) values ('$content')";

相关热词 c# 解析ini c# 高德经纬度转墨卡托 c# 加法 泛型 c#裁切image c#onpaint c# 函数参数初始化 软件工程师考试题c# c# 多媒体定时器 c# 集合首字母排序 c#调用java程序