3000万条INSERT语句如何提高效率？-CSDN论坛

3000万条INSERT语句如何提高效率？

其他数据库开发 > MySQL

收藏回复

[问题点数：40分，结帖人ralln]

⋅写UTF-8文件，fclose为什么会崩溃啊？ ⋅请教下OFFICE COM组件的问题 ⋅3000万条INSERT语句如何提高效率？ 更多帖子 关注私信空间博客 ralln 等级 本版专家分：0 结帖率 94.12%: 现在我遇到了一个问题，有个数据库的表A有3000万条左右的数据，需要我做的就是把这个表中所有加密的信息，转换成明文后，存入另外一个表B中

由于每条都有加密的信息，所以在程序里我便每次读出5000条，然后一条条解密，并拼装好INSERT语句插入到表B中，这5000条插入结束后，再读下5000条

但是，这样效率实在是有点低，从昨天下午2点半到今天上午10点这18个小时多的时间里，执行了1500万条

有没有什么办法可以提高点效率呢？

对了，不要那种5000条翻译好了拼一个SQL语句的，我知道那样会提高点效率，不过可能出错，毕竟现下一条条执行的情况有的还会报1366错误呢

也不要说每次读出10000条之类的，容易出2006错误

2015-10-29 10:25:07

点赞只看楼主引用举报楼主收起

展开阅读全文

⋅linux应用的开发工具的选择 ⋅公司拖欠工资怎么办 ⋅深圳寻研发工作 更多帖子 关注私信空间博客 ceffective 等级 本版专家分：0: LZ没掌握多线程编程、内存操作这两个概念，5000万条数据普通的四核电脑一个小时就可以转化完了

2015-10-29 10:44:51

点赞只看TA 引用举报 #1得分 0

⋅关于Maven默认插件的一点疑问 ⋅关于双层VLAN报文无法分配到网卡队列的问题 ⋅关于volatile和i++的疑问 更多帖子 关注私信空间博客 版主 benluobo 等级 本版专家分：13627 勋章 红花 2014年4月其他数据库开发大版内专家分月排行榜第一 黄花 2016年1月其他数据库开发大版内专家分月排行榜第二 2014年12月其他数据库开发大版内专家分月排行榜第二 2014年11月其他数据库开发大版内专家分月排行榜第二 2014年5月其他数据库开发大版内专家分月排行榜第二 蓝花 2014年3月其他数据库开发大版内专家分月排行榜第三: 用PrepareStatement 进行Insert

每次处理1000-10000条数据

2015-10-29 10:49:07

点赞只看TA 引用举报 #2得分 0

⋅mongodb4.0将支持事务 ⋅csdn越来越恶心了，不仅每个帖子挂超链接，一楼回复直接是推荐链接 ⋅为什么每个帖子的回复都自动加个超链接？？想流量想疯了吧 更多帖子 关注私信空间博客 版主 rucypli 等级 本版专家分：106068 勋章 红花 2017年6月其他数据库开发大版内专家分月排行榜第一 2017年2月其他数据库开发大版内专家分月排行榜第一 2013年11月其他数据库开发大版内专家分月排行榜第一 2013年9月其他数据库开发大版内专家分月排行榜第一 2013年2月其他数据库开发大版内专家分月排行榜第一 黄花 2018年2月其他数据库开发大版内专家分月排行榜第二 2018年1月其他数据库开发大版内专家分月排行榜第二 2017年12月其他数据库开发大版内专家分月排行榜第二 2017年11月其他数据库开发大版内专家分月排行榜第二 2017年1月其他数据库开发大版内专家分月排行榜第二 2014年8月其他数据库开发大版内专家分月排行榜第二 2014年2月其他数据库开发大版内专家分月排行榜第二 2014年1月其他数据库开发大版内专家分月排行榜第二 2013年12月其他数据库开发大版内专家分月排行榜第二 2013年10月其他数据库开发大版内专家分月排行榜第二 2013年8月其他数据库开发大版内专家分月排行榜第二 2013年5月其他数据库开发大版内专家分月排行榜第二 2013年1月其他数据库开发大版内专家分月排行榜第二 2012年8月其他数据库开发大版内专家分月排行榜第二 2012年5月其他数据库开发大版内专家分月排行榜第二 2012年4月其他数据库开发大版内专家分月排行榜第二 2012年1月其他数据库开发大版内专家分月排行榜第二 蓝花 2017年9月其他数据库开发大版内专家分月排行榜第三 2017年7月其他数据库开发大版内专家分月排行榜第三 2017年5月其他数据库开发大版内专家分月排行榜第三 2017年3月其他数据库开发大版内专家分月排行榜第三 2016年12月其他数据库开发大版内专家分月排行榜第三 2014年11月其他数据库开发大版内专家分月排行榜第三 2014年7月其他数据库开发大版内专家分月排行榜第三 2014年6月其他数据库开发大版内专家分月排行榜第三 2014年5月其他数据库开发大版内专家分月排行榜第三 2013年7月其他数据库开发大版内专家分月排行榜第三 2013年3月其他数据库开发大版内专家分月排行榜第三 2012年7月其他数据库开发大版内专家分月排行榜第三 2012年6月其他数据库开发大版内专家分月排行榜第三 2011年12月其他数据库开发大版内专家分月排行榜第三: 把数据库参数innodb_flush_log_at_trx_commit改为0

2015-10-29 11:01:31

点赞只看TA 引用举报 #3得分 0

⋅算法集锦2

⋅排序算法1

⋅从 Mac OS平台上将Python程序移植到windows需要做那些改变

更多帖子

关注私信空间博客

文修

等级

本版专家分：1303

勋章

GitHub 绑定GitHub第三方账户获取: 个人建议楼主用：一条SQL语句插入多条数据，
         普通插入INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES ('0', 'userid_0', 'content_0', 0);
                         INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES ('1', 'userid_1', 'content_1', 1);
      改为：INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES
                    ('0', 'userid_0', 'content_0', 0), ('1', 'userid_1', 'content_1', 1);
我做过测试，时间有大的提升：
   记录数    单条数据插入多条数据插入
     1百      0.149s              0.011s
     1千     1.231s              0.047s
      1万     11.678s                   0.218s

还可以使用事物，就是
START TRANSACTION;
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES ('0', 'userid_0', 'content_0', 0);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES ('1', 'userid_1', 'content_1', 1);
...
COMMIT;
合并SQL语句和使用事物可以提高悦50倍的速度，建议楼主试一下

2015-10-29 16:44:33

点赞只看TA 引用举报 #4得分 40

⋅此用户还没有发表过任何帖子 关注私信空间博客 weixin_40622464 等级 本版专家分：0: 多线程，合并事务，sql优化，批量处理

2019-08-20 16:22:01

点赞只看TA 引用举报 #5得分 0

收起

收藏回复

ralln

等级：

关注私信 TA的帖子

如果让你的insert操作速度增加1000倍: 大家平时都会使用insert语句,特别是有时候需要一个大批量的数据来做测试,一条一条insert将会是非常慢的,那么我们如何让我们的inser更快呢。先看个例子: 我们需要在如下这个表中插入测试数据,包含两列,一个是...

请教提高上百万行数据insert速度的“经典”方法: 有两个结构相同的表table1,table2 将table1插入到table2中：现在采用两种方法： 1、指定回滚段，回滚段足够大 set transaction use... INSERT INTO table1 NOLOGGING SELECT * FROM table2; commit; 2、采用定义cur...

关于INSERT的效率问题: 我通过一个PERL脚本向数据库插资料，要插入４万多条，我用循环的方式插入，效率很差，是不是可以通过一条INSETR语句插入４万多条记录，效率会不会高点。 insert 语法不是有：insert into table (字段1,字段2....) ...

mysql 插入10万条数据优化效率: public int addTypes(List<taobaoBean> babyList) { String sql = "insert into type (typeid,url) values (?,?) "; Connection conn = dbhelper.getConnection(driver,... 1分钟才插入3000条数据，如何变快。

SQL语句执行效率及分析: 1.关于SQL查询效率，100w数据，查询只要1秒，与您分享: 机器情况 p4: 2.4 内存: 1 G os: windows 2003 数据库: ms sql server 2000 目的: 查询性能测试,比较两种查询的性能 SQL查询效率 step by step -- ...

SqlServer的两种插入方式效率对比: protected void button1_Click(object sender, EventArgs e) { DataTable dtSource = new DataTable(); dtSource.Columns.Add("Name", typeof(string)); dtSourc...

SQL Server 大数据量insert into xx select慢的解决方案: 最近项目有个需求，把一张表中的数据根据一定条件增删改到另外...原因在于当insert into xx select数据量达到10万级别，同时又有Update和Delete操作表。容易造成锁表。经过研究重构了SQL语句问题解决。具体解决方...

如何提高SQL语言的查询效率！: 如何提高SQL语言的查询效率?由于SQL是面向结果而不是面向过程的查询语言，所以一般支持SQL语言的大型关系型数据库都使用一个基于查询成本的优化器，为即时查询提供一个最佳的执行策略。对于优化器，输入是一条查询...

SQL 语句效率问题（如何写出高性能的SQL语句）: 1.关于SQL查询效率，100w数据，查询只要1秒，与您分享: 机器情况 p4: 2.4 内存: 1 G os: windows 2003 数据库: ms sql server 2000 目的: 查询性能测试,比较两种查询的性能 SQL查询效率 step by step -- setp 1. ...

如何提高插入10万条记录的速度: 最近在做一个测试，看向数据库... 在客户端生程insert语句，然后发到数据库。用尽了方法，发现每秒只能插入大约600条，但是相同条件下sql server能每秒插入1000多条,令我这个Oracle DBA很每面子，所以决定调优一把。于

C# 操作mysql大批量插入语句，一次几万条，可以同时跳过指定的重复字段继续插入。: 我现在用的是这个语句很卡执行SQL语句 ``` DataTable dt = (dSkinGridList1.DataSource as DataTable); ... this.label1.Visible = true;... SQLStringLis.Add(...这个语句现在插入3000条就卡主了。在线等。谢谢！

数据库操作优化（insert、update、delete、select): 一、insert优化： ...这里优化的方式是先组合一条多行的sql语句，然后再进行插入操作，这样就很大程度上优化了插入数据的效率。测试代码如下： $sql = "insert into `test` (`test`) values('$co

sql语句执行效率及分析: 1.关于SQL查询效率，100w数据，查询只要1秒，与您分享: 机器情况 p4: 2.4 内存: 1 G os: windows 2003 数据库: ms sqlserver 2000 目的: 查询性能测试,比较两种查询的性能 SQL查询效率 step by step ...

oracle查询sql语句: Oracle查询语句 select*from scott.emp ;1.--dense_rank()分析函数（查找每个部门工资最高前三名员工信息）select*from(selectdeptno,ename,sal,dense_rank()over(partitionby deptno orderby sal desc) a from...

SQL语句级别的优化总结: 第一部分：sql级别的优化： 1、 SQL语句尽量都大写字母出现。 2、查询时，如果基表（from最后面的表）,数据库语句处理...例如：A，1万条， B，10万条， C，100万条数据。关联条件： A.id=B.id and C.sid=B.si

Java学习之道：SQL语句执行效率及分析(note): 1.关于SQL查询效率，100w数据，查询只要1秒，与您分享: 机器情况 p4: 2.4 内存: 1 G os: windows 2003 数据库: ms sql server 2000 目的: 查询性能测试,比较两种查询的性能 SQL查询效率 step by step ...

数据库索引--SQL语句执行效率、分析及优化: 1.关于SQL查询效率，100w数据，查询只要1秒，与您分享: 机器情况 p4: 2.4 内存: 1 G os: windows 2003 数据库: ms sql server 2000 目的: 查询性能测试,比较两种查询的性能 SQL查询效率 step by step -- setp 1. ...

向mysql数据库快速插入两万条数据库: package test.java; import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.SQLException; import java.util.Date; import ...

SQL 执行插入1000万条数据操作几十秒内!: alter database test set recovery BULK_LOGGED ...insert into aaa select id=a.id+b.id+c.id+d.id +e.id +f.id+g.id from( select id=0 union all select 1 union all select id=2 u

在一个千万级的数据库查寻中，如何提高查询效率？: 在一个千万级的数据库查寻中，如何提高查询效率？1）数据库设计方面： a. 对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 b. 应尽量避免在 where 子句中对字段进行 ...

SQL语句执行效率及分析(note): SQL语句执行效率及分析(note) 分类： sql server 1.关于SQL查询效率，100w数据，查询只要1秒，与您分享: 机器情况 p4: 2.4 内存: 1 G os: windows 2003 数据库: ms sql server 2000 目的: 查询...

ORACLE sqlldr 大数据量导入: 方案一：转换成insert语句，但是执行效率太低，放弃。方案二：使用plsql工具（tool-text import），这种效率大概是50万条每小时。由于时间紧急所以也不行。方案三：使用sqlldr，这种效率还凑合，大概350万...

sql 提高效率技巧。: sQL语句执行效率及分析(note) 1.关于SQL查询效率，100w数据，查询只要1秒，与您分享: 机器情况 p4: 2.4 内存: 1 G os: windows 2003 数据库: ms sql server 2000 目的: 查询性能测试,比较两种查询的性能 ...

批量插入1000万条数据的三种方式对比: 重要的写在前面的。如果你有更好的方法。希望您不吝啬您的留言。共同进步一、直接导入 -- 查看允许mysql数据导出目录 SHOW VARIABLES LIKE "secure_file_priv"; SELECT * FROM demo INTO OUTFILE 'D:/up/prod.txt'...

在一个千万级别的数据库中查询，如何提高查询效率: 在一个千万级的数据库查寻中，如何提高查询效率？ 1）数据库设计方面： a. 对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 b. 应尽量避免在 where 子句中对...

数据库操作优化（insert、up…: 原文地址：数据库操作优化...这里优化的方式是先组合一条多行的sql语句，然后再进行插入操作，这样就很大程度上优化了插入数据的效率。测试代码如下： $sql = "insert into `test` (`test`) values ('$content')";

相关热词 c# 解析ini c# 高德经纬度转墨卡托 c# 加法泛型 c#裁切image c#onpaint c# 函数参数初始化软件工程师考试题c# c# 多媒体定时器 c# 集合首字母排序 c#调用java程序