sql批量插入优化

2016-10-13 09:33:23 163 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

oracle批量插入SQL优化最近在实现一个读取本地文件数据，解析后插入数据库功能，数据量大概是三百万，文件大小将近500MB，采用批量插入的方式进行处理。之前使用比较多的是mysql，第一次接触oracle，比较习惯使用foreach循环来做处理，最开始的做法是把insert语句放到foreach里面，sql如下： <insert id="batchInsertUserInfo" parameterType="jav... 阅读详情

第一张图是每个项目一个数据库字段，第二张图是统一个项目名称列，方便动态添加。
现将数据从图一批量插入到图二，大概有10W条左右，大家有什么更好或效率更高的办法吗...

...全文

银河麒麟高级服务器操作系统V10SP2（X86）PXE无人值守批量部署实战指南本文详细介绍了银河麒麟高级服务器操作系统V10SP2（X86）PXE无人值守批量部署的实战指南。通过PXE网络引导技术，实现全自动化、高效率的系统部署，特别适用于企业级数据中心和国产化替代项目。文章涵盖基础环境准备、关键服务配置、Kickstart高级定制及部署测试等核心内容，帮助用户快速掌握批量部署技巧。阅读详情

y_haoo

应用实例 27,579 成员 68,540 内容

+ 关注 + 加入社区

切换为时间正序

道素 2016-10-14

打赏
举报

我对原问题理解有误，用2楼的方法就可以

道素 2016-10-14

打赏
举报

如果对于每条对于project产生均衡数据（每个project生成一行）下面的语句对于每个name产生100*100*3=30000条


;WITH t(ID,[NAME],mssql,mysql,sqlite)
AS(
	SELECT 1,'aaa',60,70,80 UNION ALL
	SELECT 2,'bbb',60,70,80
)
SELECT sv1.number*sv2.number AS ID,t.NAME,p.projec,abs(checksum(newid()))%100 + 1 AS Score
FROM t 
INNER JOIN [master].dbo.spt_values AS sv1 ON sv1.[type]='P' AND sv1.number BETWEEN 1 AND 100
INNER JOIN [master].dbo.spt_values AS sv2 ON sv2.[type]='P' AND sv2.number BETWEEN 1 AND 100
CROSS APPLY (VALUES(1,'mssql'),(2,'mysql'),(3,'sqlite')) p(id,projec)

卖水果的net 2016-10-14

打赏
举报


create table test(id int, name varchar(10), mssql int, mysql int, sqlite int)
go
insert into test values(1,'aaa',60,70,80),(2,'bbb',60,70,60)
go
select * from test 
go
-- 效率你自己测试一下
select * from test unpivot(project for score in ([mssql],[mysql],[sqlite])) x
go
drop table test 
go

(2 行受影响)
id          name       mssql       mysql       sqlite
----------- ---------- ----------- ----------- -----------
1           aaa        60          70          80
2           bbb        60          70          60

(2 行受影响)

id          name       project     score
----------- ---------- ----------- --------------------
1           aaa        60          mssql
1           aaa        70          mysql
1           aaa        80          sqlite
2           bbb        60          mssql
2           bbb        70          mysql
2           bbb        60          sqlite

(6 行受影响)

道素 2016-10-14

打赏
举报

下面是每行生成1000*1000=100万条


;WITH t(ID,[NAME],mssql,mysql,sqlite)
AS(
	SELECT 1,'aaa',60,70,80 UNION ALL
	SELECT 2,'bbb',60,70,80
)
SELECT ROW_NUMBER() OVER (ORDER BY t.ID,sv1.number,sv2.number) AS ID,t.NAME,p.projec,abs(checksum(newid()))%100 + 1 AS Score
FROM t 
INNER JOIN [master].dbo.spt_values AS sv1 ON sv1.[type]='P' AND sv1.number BETWEEN 1 AND 1000
INNER JOIN [master].dbo.spt_values AS sv2 ON sv2.[type]='P' AND sv2.number BETWEEN 1 AND 1000
LEFT JOIN (VALUES(1,'mssql'),(2,'mysql'),(3,'sqlite')) p(id,projec) ON p.id=abs(checksum(newid()))%3 + 1

sql批量插入优化

相关推荐