关于.net 读取大量Excel数据的问题

[xiaoling9]

现在有一个Excel表，内部有五张表格，每张表格的记录条数在五万条左右，现在想通过.net将其加载到dataset中，有以下要求：
一、能适用office2000,office2003,office2007几种Excle建立的文件。
二、速度要快。
有没有好的解决方案？请各位大哥帮忙。谢谢！

[xiaoling9]

还有没有更好的解决方案，要解决两方面的问题：
一、能适用office2000,office2003,office2007几种Excle建立的文件。
二、速度要快

[hery2002]

下面的例子里面附带有部分Code,试试!
Reading and Writing Excel Spreadsheets Using ADO.NET C# DbProviderFactory
David Hayden
http://davidhayden.com/blog/dave/archive/2006/05/26/2973.aspx.

[lt5225262]

关注中...

[handsome1234]

SqlConnection mysqlconnection2 = new SqlConnection(str_DotConnection);
mysqlconnection2.Open();

string str_SQLtest="insert into YourTableName select * from OPENROWSET('MICROSOFT.JET.OLEDB.4.0','Excel 8.0;HDR=YES;DATABASE=G:\\DotNetApp\\Excel2Sqlserver\\花名册.xls',sheet1$)";


SqlCommand MySQLCommand = new SqlCommand(str_SQLtest, mysqlconnection2);
MySQLCommand.ExecuteNonQuery();


还有最好把根据你excel格式把数据库字段做好调整，可能你的数据库字段都要是vchar类型，并且还要足够大才行，否则会报各种错误的。

[tanxiaolin520]

OleDbConnection conn = new OleDbConnection(System.Configuration.ConfigurationSettings.AppSettings["ConnectionString"]);
string strConn = "Provider=Microsoft.Jet.OLEDB.4.0;Data Source="+label5.Text.Trim()+";Extended Properties='Excel 8.0;IMEX=1'";
OleDbConnection olconn = new OleDbConnection(strConn);
OleDbDataAdapter oada = new OleDbDataAdapter("select * from [sheet1$]", olconn);
DataSet ds = new DataSet();
OleDbConnection oled = new OleDbConnection("provider=microsoft.jet.OLEDB.4.0;Data source=D:\\mysqlserver\\dgmk.mdb");
oled.Open();
try
{
oada.Fill(ds, "[sheet1$]");
OleDbCommand comm = new OleDbCommand("select * from 网吧名称", conn);
comm.CommandType = CommandType.StoredProcedure;
for (int i = 0; i < ds.Tables[0].Rows.Count; i++)
{
if (ds.Tables[0].Rows[0]["结算金额(元)"].ToString() != " ")
{
string o = comboBox1.Text.Trim() + "应收金额";
OleDbCommand oleddata = new OleDbCommand("Update cattle Set " + o + "='" + ds.Tables[0].Rows[i]["结算金额(元)"].ToString() + "' where 网吧名称='" + ds.Tables[0].Rows[i]["网吧名称"].ToString() + "'", oled);
oleddata.ExecuteNonQuery();
}
}
MessageBox.Show("导入完成");
}
catch (Exception)
{
MessageBox.Show("excel表格格式不对，或者数据连接失败，检查后重试", "导入失败");
}

按照这方法读取的话,5万条左右的数据,也不会超过三分钟. 你可以做一个进度条,应该客户都可以接受吧?

[林g]

关注中...

[wt3056]

操作Excel是通过COM+,速度自然会慢一些吧`
专门做个线程去导数据,不要让程序死在那.

[tanxiaolin520]

但是我们公司都用COM的哦,也不会感觉慢啊.

6楼的,你讲下,你们用线程导是怎么操作的,有代码不?

[wt3056]

[Quote=引用 7 楼 tanxiaolin520 的回复:]
但是我们公司都用COM的哦,也不会感觉慢啊.

6楼的,你讲下,你们用线程导是怎么操作的,有代码不?
[/Quote]
多线程编程不是几句代码就可以说清楚的,建议LZ再去看看这方面的资料.
System.Threading命名空间下的相关类.

[xiaoling9]

哪位大哥有好的解决方案呀！请给个解决方案。

[美丽大道]

1个表是一个DATATABLE么 ~~ ？？？ 读取每个表 把这个表整体赋值给OBJECT[,]的二维数组 ，然后把二维数组转成DATASET 几秒中就搞定

[clqdwangxz]

我就是使用9楼的方法，读取35万条记录并插入数据库中，很快

[yunfeng007]

线程加委托

using System;
using System.Collections.Generic;
using System.Text;
using System.Data;
using System.Data.SqlClient;
using System.Data.OleDb;
using System.Threading;
using System.IO;

namespace DbTools
{
    internal class DbToolFunc
    {        
        public delegate void ErrorHandler(string errorMessage);
        public event ErrorHandler errorMessage;
        public delegate void DataCompletedHandler(DataSet data);
        public event DataCompletedHandler dataCompleted;

        private Thread _threadShow;

        public DbToolFunc() { }

        public DbToolFunc(string xlsPathName)
        {
            _xlsPathName = xlsPathName;
        }       

        private string _xlsPathName = null;
        public string xlsFileName
        {
            set { this._xlsPathName = value; }
        }

        private DataSet _errordata = null;
        public DataSet ErrorData
        {
            get { return this._errordata; }
        }

        private void GetDataProc()
        {
            OleDbConnection objConn = null;
            try
            {
                DataSet ds = new DataSet();
                if (String.IsNullOrEmpty(_xlsPathName))
                {
                    if (this.errorMessage != null) { if (this.errorMessage != null) this.errorMessage("文件名没有指定!"); }
                    return;
                }
                if (!File.Exists(_xlsPathName))
                {
                    if (this.errorMessage != null) { if (this.errorMessage != null) this.errorMessage("文件不存在!"); }
                    return;
                }
                string strConn = "Provider=Microsoft.Jet.OleDb.4.0;" + "data source="
                    + _xlsPathName + ";Extended Properties='Excel 8.0; HDR=YES; IMEX=1'";

                objConn = new OleDbConnection(strConn);
                objConn.Open();
                DataTable schemaTable = objConn.GetOleDbSchemaTable(OleDbSchemaGuid.Tables, null);
                OleDbDataAdapter sqlada = new OleDbDataAdapter();
                foreach (DataRow dr in schemaTable.Rows)
                {
                    string strSql = "Select * From [" + dr[2].ToString().Trim() + "]";
                    OleDbCommand objCmd = new OleDbCommand(strSql, objConn);
                    sqlada.SelectCommand = objCmd;
                    sqlada.Fill(ds, dr[2].ToString().Trim());
                }
                objConn.Close();
                if (this.dataCompleted != null) this.dataCompleted(ds);
            }
            catch (Exception ex)
            {
                objConn.Close();
                if (this.errorMessage != null) this.errorMessage(ex.Message);
            }
        }

        public void GetDataSetFromExcel()
        {
            if (this._threadShow != null && this._threadShow.ThreadState == ThreadState.Running)
            {
                return;
            }
            this._threadShow = new Thread(new ThreadStart(GetDataProc));

            this._threadShow.Start();
        }
}

[gaoyipu]

学习

[hsxgodkiller]

用多线程同时导，会比较快的，每个线程只处理一个excel的数据，也就几秒钟……

[viki117]

http://www.cnblogs.com/Files/viki117/ExeclTool.rar
用这个人家做好的DLL吧，首先不受OFFICE的版本的限制，速度也比Execl.dll的速度快很多啊。。
RAR中有简单的使用方法说明，
DLL的代码是没有做过处理的，有兴趣的话可以反编译出来看看。。里面还有很多Execl的方法的。。。

[zhmvb]

mark

[xiaoling9]

谢谢各位了！

[heartdevil]

Mark