十万条记录，怎样插入数据库最高效

ximomomoxinei1 2011-11-19 07:42:38

我现在从log文件(txt文件可以查看)里面读取到dataTable，用的是一个嵌套的for循环将log数据一行一行放到dataTable中。
我现在想把这些log文件放到数据库中，那么我暂时想到的有两种方式

方式1：先把所有数据读到dataTable，之后一次性放到数据库中的表。
方式2：不用dataTable了，直接在嵌套的for循环中一行一行的进行插入（用传统的insert一条一条插入）。

那种方式效率更高一些呢？？？？
同时也有两个问题：

问题1：方式1中我把数据全都放在dataTable中，然后用什么sql语句进行一次性更新数据呢？（我只会一条一条的insert 有没有一次性插入许多行的sql语句）

？
问题2：我记得insert插入一条数据时open一次 close一次，如果十万条数据，那就open十万次 close十万次，这样是不是不合理？能否只open一次 close一次?

...全文

548 12 打赏收藏转发到动态举报

写回复

用AI写文章

12 条回复

切换为时间正序

请发表友善的回复…

发表回复

支持中文英文数字_- 2013-07-14

打赏
举报

秒了个球球的裤子都脱了才发现复制了一半


 DataRow row = table.NewRow(); //创建一个DataRow对象
                row["StartTelNum"] = startTelNum;//一定要在一开始创建 table.Columns.Add("StartTelNum");
                row["city"] = city;
                row["TelType"] = telType;
                //row["TelXuHao"] = xuHao;
                table.Rows.Add(row);// NewRow只是创建，没有插入
            }
            using (SqlBulkCopy bulkCopy = new SqlBulkCopy(connStr))
            {
                bulkCopy.DestinationTableName = "T_TelNum";
                bulkCopy.ColumnMappings.Add("StartTelNum", "StartTelNum");
                bulkCopy.ColumnMappings.Add("City", "TelArea");
                bulkCopy.ColumnMappings.Add("TelType", "TelType");
                //添加DataTable中列名和数据库表列名的映射
                //bulkCopy.ColumnMappings.Add("TelXuHao", "TelXuHao");
                bulkCopy.WriteToServer(table);
            }

            TimeSpan ts = DateTime.Now - starTime;
            MessageBox.Show(i1+"条数据" + ts.ToString());

        }
    }
}

支持中文英文数字_- 2013-07-14

打赏
举报

喵了个咪的我想知道为啥我发的帖子不能编辑电话格式区号没导入需要修改下才行 "号段" "所属地区" "号码类型" "区号" 1300000 "北京市" "联通" "010" 1300001 "江苏省常州市" "联通" "0519" 1300002 "安徽省巢湖市" "联通" "0565" 1300006 "江苏省南京市" "联通" "025" 1300008 "湖北省武汉市" "联通" "027" 1300010 "北京市" "联通" "010"

支持中文英文数字_- 2013-07-14

打赏
举报

送的分忧啥用？

刚学到数据库跟视频学做过是VS2012 换了2010 打不开了顺便重写下好备份以后用不知是不是你需要的

导入25W 电话号 4秒+ 把大概

---------------------------

---------------------------
258113条数据00:00:04.4687500
---------------------------
确定
---------------------------

using System;

using System.Collections.Generic;

using System.Linq;

using System.Text;

using System.Windows;

using System.Windows.Controls;

using System.Windows.Data;

using System.Windows.Documents;

using System.Windows.Input;

using System.Windows.Media;

using System.Windows.Media.Imaging;

using System.Windows.Navigation;

using System.Windows.Shapes;

using System.Configuration;

using Microsoft.Win32;

using System.IO;

using System.Data;

using System.Data.SqlClient;



namespace 手机号码导入

{

    /// <summary>

    /// MainWindow.xaml 的交互逻辑

    /// </summary>

    public partial class MainWindow : Window

    {

        public MainWindow()

        {

            InitializeComponent();

        }



        private void btnDaoRu_Click(object sender, RoutedEventArgs e)

        {

            string connStr=ConfigurationManager.ConnectionStrings["dbConnstr"].ConnectionString;

            //找到打开导入文件

            OpenFileDialog ofd = new OpenFileDialog();

            ofd.Filter = "文本文件|*.txt";

            //判断是否选择了文件

            if (ofd.ShowDialog() == false)

            {

                MessageBox.Show("请选择文件");

                return;

            }

            string[] lines = File.ReadLines(ofd.FileName,Encoding.Default).ToArray();

           

            DateTime starTime = DateTime.Now;



            DataTable table = new DataTable();

            table.Columns.Add("StartTelNum");

            table.Columns.Add("City");

            table.Columns.Add("TelType");

            int i1 = 0;

            for (int i = 1; i < lines.Length; i++)

            {

                i1++;

                string line = lines[i];

                string[] strs = line.Split('\t');



                string startTelNum = strs[0];

                string city = strs[1]; //出错点

                city = city.Trim('"');//去除元素里的“”号

                string telType = strs[2];

                telType = telType.Trim('"');//去除元素里的“”号

                string xuHao = strs[3];

                xuHao = xuHao.Trim('"');//去除元素里的“”号