关于海量数据插入的问题

[lingmaozhijia]

MySQL 版本是5.0.27－community-nt
数据库驱动：用的是 MySQL.Data.Dll 版本是1.0.10.1
插入10W条记录要花费 半个小时的时间

但是据微软专家测试
MySQL.Data.Dll 插入只需要17秒
而
ODBC.net需要24秒
为什么我在我电脑上测试 却花费了半个小时的时间呢

搞不懂
是不是MySql.Data.Dll版本太低呢

希望哪位达人能帮我解惑

[honkerhero]

代码质量太差

[lingmaozhijia]

没有什么很复杂的代码啊
就是
string str="insert into tableA values(null,1,1)"
for(int i=0;i<100000;i++)
{
insertCommand(str);
}


public void insertCommand(str)
{
//....
new connection...
new command
command.ExecuteNonQuery()
.....
}
或许可能是事物型插入,在处理事物时太耗时间呢

明天看看批量插入怎么样

[SoSoMuch]

确实代码质量比较差。

[SoSoMuch]

1.你每次一条数据。
2.每次创建2个对象。
3.。。。。

[lingmaozhijia]

别一直顾着说啊
烁烁我应该怎么改良代码
难道把记录导入Dataset
然后在更新
DataAdapter??

[lingmaozhijia]

只说不做
切
鄙视你

[wenquan_nn]

我的做法是，把数据整理好之后放到DataSet里面，然后再adapter.Update(ds,"NewsData");

1万多条采集来的数据保存到ACCESS，然后过滤、处理，再导入SQL，整个过程时间在2-5秒！

对数据库的操作，链接的时间、链接的次数越少越好！

我这种方法应付10万条数据应该不成问题，如果不行一次刷5万也可以啊，灵活变通嘛！