C#读取大数据量Excel，60W行数据

caorenlong 2015-03-28 02:33:38

用了两种方式读excel，其中存到ds中，只能读到2W行；另一种效率极低，还在继续测试着。
有没有大神遇到过这种情况，能快速的读到60W行数据。

用下面这种方式读到DataSet中，最后发现ds中，只有2W多行数据。
OleDbDataAdapter adapter = new OleDbDataAdapter(string.Format("select * from [{0}]", sheetName), objConn);
adapter.Fill(ds, "XLSData");

后来又用了其他的一种方式。定义一个实体类，存到list中。但效率有些低，大约1秒读12行数据，照这种速度，即使读完了，也需要16个小时，现在读了1个多小时了，list才4W行数据，还在继续，想看一下能读到多少行。
Microsoft.Office.Interop.Excel.Application excel = new Microsoft.Office.Interop.Excel.Application();//引用Excel对象
Microsoft.Office.Interop.Excel.Workbook importWorkBook = excel.Workbooks.Open(path);//引用Excel工作簿
Microsoft.Office.Interop.Excel.Worksheet importSheet = (Microsoft.Office.Interop.Excel.Worksheet)importWorkBook.Worksheets[1];
int count = importSheet .UsedRange.Rows.Count;
for (int i = 2; i <= count ; i++)
{
string a = (Microsoft.Office.Interop.Excel.Range)CurrentSheet.Cells[i, 1]；
...
list.add(a);
}

...全文

3229 30 打赏收藏转发到动态举报

写回复

用AI写文章

30 条回复

切换为时间正序

请发表友善的回复…

发表回复

wt33401716 2016-03-01

打赏
举报

楼主是怎么解决的。学习下

caorenlong 2015-04-07

打赏
举报

Aspose.Cell 从网上下载了几个版本,添加到引用后, using的时候,出不来. 也许和系统有关, 用的Win10 试用版 64位系统.也注册不了 NOPI 也试过了, 中间出了点问题,从网上搜了些资料,也没搜到. 目前用的二维数组的方式实现的, 6列,38W行数据, 大约1分钟吧. 感谢各位大神,结贴了.

fly_lalala 2015-04-04

打赏
举报

NOPI 强烈推荐不会可以私信我

NGC3623 2015-04-03

打赏
举报

这样，先用导入MSSQL中。然后从数据库中读。
这种问题觉着没必要死脑筋，非要直接从Excel中读，想些贱办法感觉不错。

qq1746178060 2015-04-03

打赏
举报

把多个Excel文件汇总到一个Excel文件 private void btn_Gather_Click(object sender, EventArgs e) { object missing = System.Reflection.Missing.Value;//定义object缺省值 string[] P_str_Names = txt_MultiExcel.Text.Split(',');//存储所有选择的Excel文件名 string P_str_Name = "";//存储遍历到的Excel文件名 List<string> P_list_SheetNames = new List<string>();//实例化泛型集合对象，用来存储工作表名称 Microsoft.Office.Interop.Excel.Application excel = new Microsoft.Office.Interop.Excel.Application();//实例化Excel对象 //打开指定的Excel文件 Microsoft.Office.Interop.Excel.Workbook workbook = excel.Application.Workbooks.Open(txt_Excel.Text, missing, missing, missing, missing, missing, missing, missing, missing, missing, missing, missing, missing, missing, missing); Microsoft.Office.Interop.Excel.Worksheet newWorksheet = (Microsoft.Office.Interop.Excel.Worksheet)workbook.Worksheets.Add(missing, missing, missing, missing);//创建新工作表 for (int i = 0; i < P_str_Names.Length - 1; i++)//遍历所有选择的Excel文件名 { P_str_Name = P_str_Names[i];//记录遍历到的Excel文件名 //指定要复制的工作簿 Microsoft.Office.Interop.Excel.Workbook Tempworkbook = excel.Application.Workbooks.Open(P_str_Name, missing, missing, missing, missing, missing, missing, missing, missing, missing, missing, missing, missing, missing, missing); P_list_SheetNames = GetSheetName(P_str_Name);//获取Excel文件中的所有工作表名 for (int j = 0; j < P_list_SheetNames.Count; j++)//遍历所有工作表 { //指定要复制的工作表 Microsoft.Office.Interop.Excel.Worksheet TempWorksheet = (Microsoft.Office.Interop.Excel.Worksheet)Tempworkbook.Sheets[P_list_SheetNames[j]];//创建新工作表 TempWorksheet.Copy(missing, newWorksheet);//将工作表内容复制到目标工作表中 }//codego.net/ Tempworkbook.Close(false, missing, missing);//关闭临时工作簿 } workbook.Save();//保存目标工作簿 workbook.Close(false, missing, missing);//关闭目标工作簿 MessageBox.Show("已经将所有选择的Excel工作表汇总到了一个Excel工作表中！", "提示", MessageBoxButtons.OK, MessageBoxIcon.Information); CloseProcess("EXCEL");//关闭所有Excel进程 }