请求：ASP.NET大数据量导入数据库解决方案！

fds2003 2006-12-03 11:48:43

现在有2台服务器，一台是WEB服务器A，一台是数据库服务器B，现在要需要从客户端进行大数据量导入B，数据的格式都是文本格式，内容格式都是这么样的：
13253721911
13253721911
13213387073
13213387073
13213387073
13130988151
每次导入的数据量30W到50W行，文本大小是6.5M。论坛上所说的方案我都都试过了：1，采用DataSet一次更新，2，采用存储过程，3，采用事务机制，但是都不理想，数据很慢。
请求各位帮忙！！
分不够可以再加！！

...全文

735 24 打赏收藏转发到动态举报

写回复

用AI写文章

24 条回复

切换为时间正序

请发表友善的回复…

发表回复

yangtu86 2006-12-04

打赏
举报

yan63 2006-12-04

打赏
举报

所以我无法采用DataReader来快速读取数据源。

--------------------------------------------
txt文件可以作为数据源，由command.excuteReader()获得reader:
http://community.csdn.net/Expert/topic/5202/5202404.xml?temp=7.804507E-02

如果文件格式规范，入库逻辑简单，还是用bcp或dts运行效率好一些，不过开发的效率就低了倒是，bcp和dts导入基于二进制的块，可以提供表级锁提高吞吐，搂主可以直接到企业管理器下做个测试

HJS1820 2006-12-04

打赏
举报

寫存儲程序參數@kqwd 文件名
--讀取資料
select @sqlstr="bulk insert [#skjl_temp] from 'D:\\kqdat\\"+ltrim(rtrim(@kqwd))+".TXT' with ( datafiletype = 'CHAR', fieldterminator = ' \n' )"
--print @sqlstr
exec(@sqlstr)

levin9 2006-12-04

打赏
举报

我們的思路同21aspnet(清清月儿) 類似，讀到dataSet中。
不過我們一般都有邏輯，存在該記錄，該怎楊操作。不存在該怎楊操作。
21aspnet(清清月儿) 如果一次執行20條或者更多insert語句，速度將有很大的提升。
一般來說，我們1秒種可以導入2000條記錄。

wengnet 2006-12-04

打赏
举报

不过，楼主可以考虑异步插入数据库，用消息队列。

wengnet 2006-12-04

打赏
举报

TO insiderc
你的方法好像有问题，不要试图把TimeOut设置的长一些，当用户数量激增的时候，小心数据库崩溃。

belldandy11 2006-12-04

打赏
举报

学习

test33 2006-12-04

打赏
举报

DATASET XML```

yan63 2006-12-03

打赏
举报

使用dbms自带的批量导入功能，
sql可以使用dts或bcp命令行，oracle可以使用sqlldr，效率还是比较令人满意的
但是如果导入是有比较复杂的逻辑就不太合适

vbman2003 2006-12-03

打赏
举报

有没有试试把文本文件作为数据库来读

fds2003 2006-12-03

打赏
举报

多谢上面的各位回复！
TO 21ASPNET
老兄你导入3W数据花20秒，你采用的方案是采用DataReader读取数据源（你的数据源是数据库），我的文本，所以我无法采用DataReader来快速读取数据源。
有什么办法能提高插入速度的或者读取数据源速度的？

以专业开发人员为伍 2006-12-03

打赏
举报

如果要特意批量导入数据，就不能允许查询和多用户操作。此时可以：

1. 独占数据表。关键！此时可以让原始数据的备份可读，但是不能被修改。
2. 删除所有的索引和触发器、约束。
3. insert数据。
4. 创建索引和所有约束、触发器。
5. 解除独占，允许正常多用户使用。

导入大批量数据的时候，关键是要避免任何查询操作，没有查询比有查询动作的导入会快几百倍。

xiaohuasz 2006-12-03

打赏
举报

新建一存储过程,依此执行下面语句

BULK INSERT temp FROM 'd:\\xxx.txt' WITH ( FIELDTERMINATOR = ',', ROWTERMINATOR = '\n' ) // 批量导入临时表
INSERT INTO test(phone, indate) SELECT phone, GETDATE() AS indate FROM temp
//从临时表取数据插入最终表
TRUNCATE TABLE temp
//清空临时表

fds2003 2006-12-03

打赏
举报

我先从文本里读去出来内容保存到ArrayList中
---------
private ArrayList GetTxtContent()
{
string mPath=Server.MapPath("temp/");
string strPath;
string filePath=fileUp.PostedFile.FileName;
string mFileName=filePath.Substring(filePath.LastIndexOf("\\")+1);
strPath=mPath + mFileName;
fileUp.PostedFile.SaveAs(strPath);

StreamReader objReader = new StreamReader(strPath);
string sLine="";
ArrayList arrText = new ArrayList();
int i=0;
while (sLine != null)
{
sLine = objReader.ReadLine();
if (sLine != null)
{
arrText.Add(sLine);
i++;
}
}
objReader.Close();
try
{
System.IO.File.Delete(strPath);
}
catch
{

}
return arrText;
}

各位但是随后读ArrayList里面的内容，发觉速度比较慢！
随后我改为读取文本的时候边读去文本边插入数据，但是还是老问题
string mPath=Server.MapPath("temp/");
string strPath;
string filePath=fileUp.PostedFile.FileName;
string mFileName=filePath.Substring(filePath.LastIndexOf("\\")+1);//取得文件名
strPath=mPath + mFileName;
fileUp.PostedFile.SaveAs(strPath);
string sLine="";
SqlConnection conn=new SqlConnection(System.Configuration.ConfigurationSettings.AppSettings[serverinfo]);
SqlCommand sqlCmd=new SqlCommand();
sqlCmd.Connection=conn;
conn.Open();
string sqlString=null;
using(StreamReader sr=new StreamReader(strPath))
{
while ((sLine = sr.ReadLine()) != null)
{
sqlString=string.Format("insert into test(phone,indate) values({0},getdate())",sLine.ToString());
sqlCmd.CommandText=sqlString;
sqlCmd.ExecuteNonQuery();
}
}