asp.net 如何将excel百万条数据导入到sql里面

xiaohutu626 2011-12-30 02:22:44
我刚做了一个将excel数据导入到sql里面,现在遇到了一个问题就是 将1万条数据导入是可以的,如何数据量在几十万条的话就不可以了,请问大家没有没好的解决方案,利用多线程并发还是什么方法,希望大家可以给一个具体的实现步骤,谢谢!
我写的代码如下



<html xmlns="http://www.w3.org/1999/xhtml" >
<head runat="server">
<title>无标题页</title>
</head>
<body>
<form id="form1" runat="server">
<div>
<asp:GridView ID="GridView1" runat="server">
</asp:GridView>
<input id="flashfile" runat="server" type="file" style="width: 350px" />
<asp:Button ID="Button1" runat="server" Text="Button" onclick="Button1_Click" />
</div>
</form>
</body>
</html>


CS文件

protected System.Web.UI.HtmlControls.HtmlInputFile File1;
protected System.Web.UI.WebControls.Label Label1;
protected System.Web.UI.WebControls.Button Button1;
protected System.Web.UI.WebControls.DataGrid DataGrid1;
public Random rd;
Random ObjRandom = new Random();


protected void Page_Load(object sender, EventArgs e)
{

}

protected void Button1_Click(object sender, EventArgs e)
{
//获取文件名
string flash = flashfile.PostedFile.FileName;
//获取扩展名
int j = flash.LastIndexOf(".");
string flashexname = flash.Substring(j);
//新文件名
string newflashname = DateTime.Now.ToString("ddHHmmss") + Convert.ToString(ObjRandom.Next(9999)) + flashexname;
//图片存储路径,网站的相对路径
//adsinfo.DefaultPic = "/upload/flash/" + newflashname;
string FlashUrl = "/upload/flash/" + newflashname;

//保存图片
flashfile.PostedFile.SaveAs(Server.MapPath(FlashUrl));

string conn = "Provider = Microsoft.Jet.OLEDB.4.0 ; Data Source = " + Server.MapPath("/upload/flash/") + newflashname + ";Extended Properties=Excel 8.0 ";
OleDbConnection thisconnection = new OleDbConnection(conn);
thisconnection.Open();
string Sql = "select * from [Sheet1$] ";
OleDbDataAdapter mycommand = new OleDbDataAdapter(Sql, thisconnection);
DataSet ds = new DataSet();
mycommand.Fill(ds, "[Sheet1$] ");
thisconnection.Close();
GridView1.DataSource = ds;
GridView1.DataBind();

// string strConnString = "server=127.0.0.1;database=gbdb;uid=sa;password=123 ";

// SqlConnection sqlCon = new SqlConnection(strConnString); //创建SqlConnection对象

// sqlCon.Open();//打开对象


string conn1 = "Data Source=gs;Initial Catalog=gsDB;Persist Security Info=True;User ID=sa;Password=sa";
SqlConnection thisconnection1 = new SqlConnection(conn1);
thisconnection1.Open();
int count = ds.Tables["[Sheet1$] "].Rows.Count;

for (int i = 0; i < count; i++)
{
string id_1, id_2;
//id = ds.Tables["[Sheet1$] "].Rows[i]["id"].ToString();
id_1 = ds.Tables["[Sheet1$] "].Rows[i]["NumberID"].ToString();
id_2 = ds.Tables["[Sheet1$] "].Rows[i]["CardPaw"].ToString();
//id_3 = ds.Tables["[Sheet1$] "].Rows[i]["id_3"].ToString();
string excelsql = "insert into Tab_Card (NumberID,CardPaw) values ( '" + id_1 + "', '" + id_2 + "')";
SqlCommand mycommand1 = new SqlCommand(excelsql, thisconnection1);
mycommand1.ExecuteNonQuery();
}
Response.Write("更新成功");
thisconnection1.Close();

}

...全文
247 9 打赏 收藏 转发到动态 举报
写回复
用AI写文章
9 条回复
切换为时间正序
请发表友善的回复…
发表回复
cacoda 2011-12-30
  • 打赏
  • 举报
回复
你以为你在用oracle啊,请使用批量更新模式,如1000条提交一次,像你这么干一下,数据库日志都好几G了
EnForGrass 2011-12-30
  • 打赏
  • 举报
回复
这么大数据量直接导入承受不起,bulk insert 网上说是大数据量导入,我没有试过,楼主可以到网上了解一下
jun471537173 2011-12-30
  • 打赏
  • 举报
回复
Excel最多放65536行数据(Excel2003)
jun471537173 2011-12-30
  • 打赏
  • 举报
回复
http://www.cnblogs.com/zthsn/archive/2010/07/12/1775770.html
xiaohutu626 2011-12-30
  • 打赏
  • 举报
回复
[Quote=引用 2 楼 hualilihua 的回复:]
分批次导入 一下子全塞进去肯定会吃不消的啦
[/Quote]

有没有 其他的方法呢
回头是岸 2011-12-30
  • 打赏
  • 举报
回复
[Quote=引用 1 楼 return_false 的回复:]
你可以将Excel作为数据库映射到sql数据库的对应字段里面,应该会快些
[/Quote]

自定义表类型?
回头是岸 2011-12-30
  • 打赏
  • 举报
回复
分批次导入 一下子全塞进去肯定会吃不消的啦
  • 打赏
  • 举报
回复
你可以将Excel作为数据库映射到sql数据库的对应字段里面,应该会快些
打开链接下载源码: https://pan.quark.cn/s/589796089f72 C++课程设计任务列表,涵盖以下内容:1、识别并显示10至99范围内,各位数乘积超过各位数和的数值,例如数字12不满足条件,因为1乘以2小于1加2,故不输出;而数字27满足条件,因为2乘以7大于2加7,因此需要输出该数。2、开发一个功能,用于从用户输入的任意数量实数中找出最大值与最小值:首先要求用户输入一个正整数n,代表数值的个数,随后用户可输入任意n个实数,程序需找出这n个数中的最大值和最小值并将它们展示出来。3、实现两个已排序数组的合并操作:设有数组A和B,且假设这两个数组的元素均已按照降序排列。编写程序将A和B合并成一个新的数组C,并确保C中的元素同样保持降序排列。int A[10]={123, 86,80, 49,33,15,7,0,-1,-3};int B[10]={100,64,51,50,27,19,15,12,5,2};4、设计一个函数,用于计算特定分数序列前n项的总和,该序列为1/2,1/3,1/4,1/5,1/6,1/7,...。要求在主程序中提示用户输入一个整数n,并验证输入的合法性(n需大于1方为有效),若输入合法,则调用求和函数并显示计算结果。5、编写一个程序,计算两个用户输入日期之间的天数差:用户需以year1,month1,day1和year2,month2,day2的格式输入两个日期,程序随后计算这两个日期之间的天数间隔,并将结果输出到屏幕上。要求编制具有如下原型的函数difs2Date:long GetDayDifference(int y1,int m1,int d1,int y2,int m2,int d2);并在主函数中调用此函数,将计...
代码下载地址: https://pan.quark.cn/s/ee8627e4e6d7 ABAP调试器是一种功能强大的工具,可用于在执行期间对ABAP代码进行检验。除了常规的核心功能(例如逐行运行代码以及检验变量、字段符号和引用的值)之外,它还提供了一些辅助性的特性,能够简化并压缩调试会话的时长。并非所有使用者都熟悉这些辅助特性。SAP ABAP调试器是处理和优化ABAP代码开发与维护工作的核心资源,它配备了多样的功能来协助开发人员在运行状态下进行检验和排除故障。此资源着重阐述了ABAP调试器的一些高级特性,涵盖了深入分析调用堆栈、系统级调试、更新会话调试以及提升调试效率的方法。 1. **深入分析调用堆栈**:除了常规的应用程序调试,开发人员有时需要对调用堆栈的内部层级进行深入调试,特别是在错误出现在异步执行的更新处理或系统级程序时。通过启用**系统级调试**,可以访问通常不公开的系统代码,但这也会导致调用堆栈的显著增加,因此需要审慎操作。 2. **系统级调试**:对于不含业务逻辑的系统级程序,开发人员通常无需进行调试。然而,在特定情形下,例如进行错误追踪时,可能需要进入系统代码。借助调试器的“系统调试启用/禁用”选项,可以赋予对系统程序的调试权限。 3. **更新会话调试**:在处理异步更新任务,例如持久化业务数据时,错误可能发生在更新任务内部。激活**更新会话调试**,在更新任务完成后,调试器将自动启动,展示执行路径。比如,在变更成本中心后,通过输入调试指令 "/h" 启动调试,保存后能够看到更新过程中的错误。 4. **分析调用堆栈**:在进行深入调试时,调用堆栈是至关重要的。通过分析调用堆栈,能够定位到引发问题的具体位置,如在VB_V2_NORMAL...
源码链接: https://pan.quark.cn/s/a4b39357ea24 小程序雷达 AI 驱动的小程序生态选型与风险评估工具,把微信小程序开发资源转化为可筛选、可评估、可对比的技术雷达。 线上地址 主站: Vercel: 适合谁 正在做微信小程序技术选型的产品、研发和架构团队。 需要判断 Taro、uni-app、原生小程序、组件库、云开发和 SDK 风险的团队。 需要把历史 awesome 列表转成可筛选、可对比、可验证技术雷达的维护者。 可以做什么 Radar:按推荐状态、风险等级、资源类型、分类和适用场景浏览小程序生态资源。 Quick Search:快速搜索资源并跳转常用页面。 Compare:对比 Taro、uni-app、原生小程序等核心方案。 Advisor:输入选型问题,获得推荐结论、适用/不适用条件、迁移成本、下一步和证据来源。 Doctor:粘贴小程序项目配置,识别框架依赖、过时方案和迁移风险。 Weekly:查看小程序生态周报和近期风险信号。 数据概览 当前数据集中包含 236 个小程序生态资源。 完整资源可在 Radar 页面和导出能力中查看。 核心样例 Taro ★30.6k+ - 使用 React 的方式开发小程序的框架,同时支持生成多端应用 uni-app ★36.1k+ - 使用 Vue 语法开发小程序、H5、App的统一框架 MPX ★2.1k+ - 增强型小程序框架,深度性能优化,支持跨小程序平台开发,完全兼容原生小程序组件 WePY ★21.7k+ - 支持组件化的小程序开发框架 vant-weapp ★12.3k+ - 高颜值、好用、易扩展的微信小程序 UI 库 tdesign-miniprogram ★1.3...

111,129

社区成员

发帖
与我相关
我的任务
社区描述
.NET技术 C#
社区管理员
  • C#
  • Creator Browser
  • by_封爱
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告

让您成为最强悍的C#开发者

试试用AI创作助手写篇文章吧