求大虎大牛来解决关于C#大批量数据插入MySQL数据库的问题

wersdfadaf 2012-02-29 10:37:36
不能用insert ……values()()()这种拼接。有好办法没?注意不是sqlserver,没有SqlBulkCopy的。怎么解决?
...全文
285 17 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
17 条回复
切换为时间正序
请发表友善的回复…
发表回复
tanyu168 2012-08-17
  • 打赏
  • 举报
回复
楼主能详细点不。。。
ijwsoft 2012-02-29
  • 打赏
  • 举报
回复
你可以分割成每1000条数据提交一次
这个是sqlite数据库批量插入的解决方案,你参考思路吧:
http://www.cnblogs.com/chendaoyin/archive/2012/01/12/2320880.html
wersdfadaf 2012-02-29
  • 打赏
  • 举报
回复
adapter.update()无效,还是在用Insert插入,时间不会提高。
huoyanshan 2012-02-29
  • 打赏
  • 举报
回复
你上网找下关于Adapter.Update()方法,肯定有效。
文明游戏 2012-02-29
  • 打赏
  • 举报
回复
可以自己设定打他datatable长度来控制每次提交多少
文明游戏 2012-02-29
  • 打赏
  • 举报
回复
lz楼上自己说的方法挺对的啊,就是把需要插入的内容放到一个datatable里,再执行存储过程啊,这样应该很快的
wersdfadaf 2012-02-29
  • 打赏
  • 举报
回复
难道说只能先存在一张datatable里面,然后用存储过程insert into *** select * from @tablename了?
wersdfadaf 2012-02-29
  • 打赏
  • 举报
回复
在sqlserver中直接用sqlbulkcopy就行,关键现在是mysql数据库。。。
Ny-6000 2012-02-29
  • 打赏
  • 举报
回复
不用接接,循环调用存储过程了

如果在sql中的话。
wersdfadaf 2012-02-29
  • 打赏
  • 举报
回复
数据表中有个字段估计能有几千位的长度,弄不了几条就超过sql语句长度的上限了。。。
wersdfadaf 2012-02-29
  • 打赏
  • 举报
回复
谢谢,但是我一行记录的数据就很长很长,没法用这样的拼接。
muyi66 2012-02-29
  • 打赏
  • 举报
回复
速度不行你要首先找到速度不行的原因。要是因为服务器太慢,那谁也没办法让你快起来。
快乐大法师 2012-02-29
  • 打赏
  • 举报
回复


public bool Add(List<img_entry_one> list)
{
StringBuilder strSql = new StringBuilder();
strSql.Append("insert into img_entry_one(");
strSql.Append("IMG_ID,FOLDER_ID,STATU_ID,WORK_TIME,START_TIME,END_TIME,OUTPUT_STATUS,INPUT_DATA)");
strSql.Append("values");
for (int i = 0; i < list.Count; i++)
{
if ((i == 0 || i % 500 == 1) && i != 1)
{
strSql.Append("(" + "'" + list[i].IMG_ID + "'");
strSql.Append("," + "'" + list[i].FOLDER_ID + "'");
//strSql.Append("," + "'" + list[i].USER_ID + "'");
strSql.Append("," + "'" + list[i].STATU_ID + "'");
strSql.Append("," + "'" + list[i].WORK_TIME + "'");
strSql.Append("," + "'" + list[i].START_TIME + "'");
strSql.Append("," + "'" + list[i].END_TIME + "'");
strSql.Append("," + "'" + list[i].OUTPUT_STATUS + "'");
strSql.Append("," + "'" + list[i].INPUT_DATA + "'" + ")");
}
else
{
strSql.Append(",(" + "'" + list[i].IMG_ID + "'");
strSql.Append("," + "'" + list[i].FOLDER_ID + "'");
//strSql.Append("," + "'" + list[i].USER_ID + "'");
strSql.Append("," + "'" + list[i].STATU_ID + "'");
strSql.Append("," + "'" + list[i].WORK_TIME + "'");
strSql.Append("," + "'" + list[i].START_TIME + "'");
strSql.Append("," + "'" + list[i].END_TIME + "'");
strSql.Append("," + "'" + list[i].OUTPUT_STATUS + "'");
strSql.Append("," + "'" + list[i].INPUT_DATA + "'" + ")");
}
if (i % 500 == 0 && i != 0)
{
strSql.Append(";");
int rows = DbHelperMySQL.ExecuteSql(strSql.ToString());
if (i == list.Count - 1)
{
return true;
}
strSql = new StringBuilder();
strSql.Append("insert into img_entry_one(");
strSql.Append("IMG_ID,FOLDER_ID,STATU_ID,WORK_TIME,START_TIME,END_TIME,OUTPUT_STATUS,INPUT_DATA)");
strSql.Append("values");
}
else if (i == list.Count - 1)
{
strSql.Append(";");
int rows = DbHelperMySQL.ExecuteSql(strSql.ToString());
return true;
}
}
return false;
}


500条一提交 感觉这样也挺快 不知道还有什么其它好办法
No4000 2012-02-29
  • 打赏
  • 举报
回复
你看数据库插入记录是不是一条接着一条的?就算是多条也是经过多条insert操作

即使数据库表的记录复制到另一个表,其工作原理还是一个样

所以你可以这样写

string sql = "";
foreach(Row row in list){
sql += "insert ... values(...);";
}

//最后执行cmd
wersdfadaf 2012-02-29
  • 打赏
  • 举报
回复
用MySqlAdapter速度一样不行啊.
wersdfadaf 2012-02-29
  • 打赏
  • 举报
回复
呵呵,有前辈帮我解决了。将表的引擎设为myisam即可。

111,092

社区成员

发帖
与我相关
我的任务
社区描述
.NET技术 C#
社区管理员
  • C#
  • AIGC Browser
  • by_封爱
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告

让您成为最强悍的C#开发者

试试用AI创作助手写篇文章吧