db.savechange 已经满足不了我了。
至于sqlbulk（应该是这样打的吧），
我们系统也算是层层封装的比较好的。用他还会影响我们之前的一些想法
但是现在一次添加15000+的记录 而且要较快。 这个是硬需求。
求思路！！！
-
等级
本版专家分：35结帖率 86.67% -
可能需要一次性创建15000+的条记录。
db.savechange 已经满足不了我了。
至于sqlbulk（应该是这样打的吧），
我们系统也算是层层封装的比较好的。用他还会影响我们之前的一些想法
但是现在一次添加15000+的记录 而且要较快。 这个是硬需求。
求思路！！！展开阅读全文
-
等级
本版专家分：35
-
求思路啊！。
-
等级
本版专家分：187377勋章
-
- GitHub 绑定GitHub第三方账户获取
-
-
金牌
2015年9月 总版技术专家分月排行榜第一
2015年8月 总版技术专家分月排行榜第一
2015年7月 总版技术专家分月排行榜第一
2015年6月 总版技术专家分月排行榜第一
2015年5月 总版技术专家分月排行榜第一
2015年4月 总版技术专家分月排行榜第一
-
-
银牌
2016年1月 总版技术专家分月排行榜第二
2015年11月 总版技术专家分月排行榜第二
2015年10月 总版技术专家分月排行榜第二
-
- 优秀版主 优秀小版主
-
-
SqlbulkCopy这是一种方式，这个只是基于Dal一层，跟系统封装度有多高无关吧，另外这个会瞬间占用数据库大量IO
另外2008开始MSSQL又多了一种新的数据库批量插入方式，具体名字叫什么忘记了。。。。似乎这种方式比SqlbulkCopy要温和些
-
版主等级
本版专家分：15176勋章
-
- 铜牌 2013年9月 总版技术专家分月排行榜第三
-
-
红花
2013年7月 MS-SQL Server大版内专家分月排行榜第一
2009年3月 Oracle大版内专家分月排行榜第一
2009年2月 Oracle大版内专家分月排行榜第一
-
-
黄花
2013年9月 MS-SQL Server大版内专家分月排行榜第二
2013年8月 MS-SQL Server大版内专家分月排行榜第二
2009年4月 Oracle大版内专家分月排行榜第二
2009年1月 Oracle大版内专家分月排行榜第二
2004年10月 MS-SQL Server大版内专家分月排行榜第二
-
-
蓝花
2013年10月 MS-SQL Server大版内专家分月排行榜第三
2008年12月 Oracle大版内专家分月排行榜第三
2004年11月 MS-SQL Server大版内专家分月排行榜第三
-
-
EF处理这样的数据好象没什么好方法，直接用sql语句倒是有好多方法
-
等级
本版专家分：151勋章
-
-
蓝花
2009年6月 Delphi大版内专家分月排行榜第三
2008年3月 Delphi大版内专家分月排行榜第三
2008年2月 Delphi大版内专家分月排行榜第三
2008年1月 Delphi大版内专家分月排行榜第三
-
-
数据库是什么？如果是sqlserver可以先存成文本保存在本地，然后通过bc(类似DTS好像叫BC）来插入，oracle可以用sqlloader方式，特别快。
-
等级
本版专家分：50 -
SqlbulkCopy 这个还是比较快的
-
等级
本版专家分：63308 -
之前用SqlbulkCopy处理12000多的纪录，从txt解析到入库，1秒多点的样子
-
等级
本版专家分：63308
-
如果是表本身就比较大，还要注意一下数据表的碎片整理，碎片少，插入时跳的页就少，跟硬盘一样的道理
-
等级
本版专家分：35
-
已经解决了.
我在苦苦思索解决办法的时候。
回过头想了一下，会不会是我做法有问题。
于是解决了。 虽然修改的比较多。
- 一次EF批量插入多表数据的性能优化经历
最近遇到两个和数据迁移相关的项目，均遇到需要性能优化的问题，这里拿第二个项目的一个小优化过程与大家分享，技术并不高深，我注重的是解决问题的过程。我的方案是有业务背景以及技术背景限制的，不一定适合其它...
- EF大批量插入数据的性能调优思路
遇到这种情况自然是EF+WinForm开干，写完程序之后跑了一下，发现速度有点慢，因为数据急着要，所以就这么拿去用了。最后实际运行的速度大概是2W条数据10分钟左右。 后面仔细想了想，性能不应该这么低才对。首先想到...
- EF实现大批量数据库插入操作
**EF实现大批量数据库插入操作最近项目需求需要往SQL Service数据库中创建表来插入大批量数据，数据量为100万左右，因此需要考虑插入效率的问题。根据需求，主要采用EF6.0（EntityFramework）+SQL Service Express...
- 【EF】EF实现大批量数据库插入操作
通过参考http://www.itnose.net/news/171/6306259里面介绍的方法，我们可以在程序的解决方案的引用中选择NuGet管理包中添加 该扩展方法提供BulkInsert（）方法和BulkSaveChanges（）方法可以高效地进行写入操作，...
- EF批量添加数据性能慢的问题的解决方案
//EF批量添加数据性能慢的问题的解决方案 public ActionResult BatchAdd() { using (var db = new ToneRoad.CEA.DbContext.DbContext()) { //**************...
- C#大批量数据插入MySQL数据库的性能问题
2.每1000条数据提交一次 这个是sqlite数据库批量插入的解决方案，可参考思路 最近处理一个将csv内容导入到sqlite数据库中，使用了事务(BEGIN TRANSACTION; sql语句; COMMIT;) 测试发现一次1000条导入，反而...
- Asp.Net MVC + WCF (3) EF插入大量数据
添加数据的代码，这里要添加历史数据和修改实时数据，两种数据是放到两个数据库中的public bool AddPosition(Position position) { if (position == null) return false; if (Position.Ad...
- oracle 大批量删除数据分批commit
一切以代码说话，CREATE OR REPLACE PROCEDURE prc_del_big_rec(i_tablename IN VARCHAR2, i_condition IN VARCHAR2, i_count ...
- ADO.NET- 中批量添加数据的几种实现方法比较
utm_medium=referral ADO.NET- 中批量添加数据的几种实现方法比较 ...在.Net中经常会遇到批量添加数据，如将Excel中的数据导入数据库，直接在DataGridView控件中添加数据再保存到数据库等等。 方法一：...
- 压力测试工具
目录 1 性能测试... 2 2 压力测试（Stress Test）... 2 2.1 网站测试... 2 2.2 系统测试要求... 3 3 测试工具... 3 3.1 Webbench. 4 3.1.1 Ubuntu 下载安装... 5 3.1.2 ...
- 测试开发笔记
测试开发笔记 第一章 测试基础 7 什么是软件测试： 7 ★软件测试的目的、意义：（怎么做好软件测试） 7 3.软件生命周期： 7 第二章 测试过程 8 1.测试模型 8 H模型： 8 V模型 9 2.内部测试 10 ...
- 使用insert插入大量数据的个人经验总结
这篇论坛文章根据笔者的个人经验着重介绍了使用insert插入大量数据的常用技巧，更多内容请参考下文： 在很多时候，我们会需要对一个表进行插入大量的数据，并且希望在尽可能短的时间内完成该工作，这里，和大家分享...
- SqlBulkCopy批量数据导入（EF实现）
在做项目是，数据的导入是经常被客户提出的一个基础需求了，这... 项目使用的mvc模式，数据库访问使用的EF处理数据增删改查。首先你要有一个最直接的封装有SqlBulkCopy的类，如下： /// <summary> ...
- MVC中使用EF(5):在 ASP.NET MVC 程序使用Entity Framework读取关联数据
程序使用Entity Framework读取关联数据 By Tom Dykstra|July 30, 2013 Translated by litdwg Contoso University示例网站演示如何使用Entity Framework 5创建ASP.NET MVC 4应用程序。Entity Fr
- EntityFramework批量写入和修改数据
最近在工作中遇到一些性能问题，在大批量的数据写入和修改数据库时太慢了，甚至会出现操作超时。 所以去网上找了下资料，找到了一些解决方案SqlBulkCopy和SqlDataAdapter(SqlDataAdapter实测了下，批量修改数据的...
- MVC5+EF6--7 读取关联数据
近期学习MVC5+EF6，找到了Microsoft的原文，一个非常棒的系列，Getting Started with Entity Framework 6 Code First using MVC 5，网址：...
- EFCore批量操作，你真的清楚吗
背景EntityFramework Core有许多新的特性，其中一个重要特性便是批量操作。批量操作意味着不需要为每次Insert/Update/Delete操作发送单独的...
- Entity Framework 批量插入很慢
Entity Framework 批量插入很慢吗？...文章原话：EF默认会自动的跟踪数据的变化，当变更的数据量较大的时候，EF的跟踪工作量就会骤增，但指定操作变得非常缓慢（这也是部分同学怀疑EF的性能问题的一个...
- 深入剖析减少每次同步数据量的6个方法
说到同步数据，大最为较...针对大批量的数据同步，这一点是必须注意的。解决这个问题的关键点在于获取差异数据，这也就是说，我们仅仅同步变化了的数据，至于没有变化的，就不再同步。下文中，我们将介绍减少每次同步
- ES 大规模数据迁移
对于生产环境中产生的数据，可能会存在于不同的ES集群，同时随着业务迭代、数据规划改变等各种原因，可能会需要对现存ES中的数据进行迁移。 迁移方式分类 数据的迁移从操作方面可以分为以下一些主流的方式 ...
- oracle真实案例之oem大量占用cpu与内存问题的解决方法
一、介绍 ...没有见过这样高的负载，以前见过最多的就是负责1000多，java的问题 内存： 连交换内存都使用完了，物理内存就剩下71m了，太危险了 top： 发现了6个僵尸进程与大量的perl进行...
- C# 使用MySqlBulkLoader 批量导入数据到Mysql
最近做了一个导入数据的功能，需求大概是这样的，有张Excel表格，将里面的数据插入到mysql已经建好的表里面，而且字段要一一对应，之前我们用的是SqlServer数据库，实现这个批量插入的工作就很简单了，我们可以用...
- 亿级数据从 MySQL 到 Hbase 的三种同步方案与实践
1.导语大家好，我是光城，下面是我之前在gitchat上发布的一个资料，今天全部开源！源码全部存放在本人github仓库，地址：https://github.com/Light-City...
- 第八节: EF的性能篇(一) 之 EF自有方法的性能测试
一. 开发中常见的性能问题 我们在日常开发过程中，由于一些不好的习惯，经常会导致所写的代码性能低下，却毫无发觉，下面就总结一下常见的一些性能问题。... 合理的使用EF的数据加载方式 ...
- EF浅析及示例分析
数据作为软件的重要组成部分，它的存储和传递是每个软件必须考虑的事情。EF作为web应用程序开发过程中常用的数据处理解决方案，它是如何工作的，它的特点是什么？本文就此做个简单介绍。
- MATLAB图像处理
MATLAB图像处理课程 通过学习该课程系统掌握MATLAB图像处理的相关知识点。
- 精通C语言指针
指针被誉为C语言的精髓、C本质上是加了一层语法糖的汇编，引进当时先进的函数，保留了汇编强大的地址直接访问功能 —— 指针，使其高效灵活。本课程是黄强老师对于指针的一次专题讲解，相信能给大家带来收获！ a:0:{}