循环List，单条执行Update肯定是效率不会太快。
组合大一些的SQL执行好像也不是好主意。
-
千条左右的数据，保存在List中，如何批量Update到数据库中，效率会更高一些呢？？
循环List，单条执行Update肯定是效率不会太快。
组合大一些的SQL执行好像也不是好主意。展开阅读全文
-
等级
本版专家分：7225勋章
-
- GitHub
-
- 黄花 2019年8月 .NET技术大版内专家分月排行榜第二
-
-
首先 千条数据 保存在List中 就不是正确的做法， 既然这么用了， 又要保存到数据库 就只能循环update了
-
等级
本版专家分：7225勋章
-
- GitHub
-
- 黄花 2019年8月 .NET技术大版内专家分月排行榜第二
-
-
千条数据 效率上 应该没多大 提升空间吧， 怎么存 相差应该不大
-
等级
本版专家分：18559勋章
-
- 签到王者
-
- GitHub
-
-
银牌
2020年1月 总版技术专家分月排行榜第二
2019年12月 总版技术专家分月排行榜第二
-
- 铜牌 2020年2月 总版技术专家分月排行榜第三
-
-
单条执行有数据往返的延迟。
组合长SQL，有长度的限制。
用批量更新会有较好的效率。
如果你用mssql，可以用SqlBulkCopy。
如果你用oracle，可以用OracleBulkCopy等。
假设你的MSSQL下有一个Users表
CREATE TABLE [dbo].[Users] (
[Id] INT NOT NULL,
[Name] NCHAR(32) NULL
);
用SqlBulkCopy可以：
var connectionStr = "Data Source=...; Initial Catalog=...; Integrated Security=True;";
// 放1500条演示数据
var batchData = new DataTable("Users");
batchData.Columns.Add("Id");
batchData.Columns.Add("Name");
for(int i = 0; i < 1500; i++)
{
batchData.Rows.Add(i, "name" + i);
}
using (var con = new SqlConnection(connectionStr))
{
con.Open();
var sbc = new SqlBulkCopy(con)
{
DestinationTableName = "dbo.Users",
BatchSize = 1000,
};
sbc.WriteToServer(batchData);
}
-
等级
本版专家分：81614勋章
-
- 进士 2019年总版新获得的技术专家分排名前十
-
- 铜牌 2020年4月 总版技术专家分月排行榜第三
-
-
红花
2021年4月 .NET技术大版内专家分月排行榜第一
2020年11月 .NET技术大版内专家分月排行榜第一
2020年10月 .NET技术大版内专家分月排行榜第一
2020年4月 .NET技术大版内专家分月排行榜第一
-
-
黄花
2021年3月 .NET技术大版内专家分月排行榜第二
2020年8月 .NET技术大版内专家分月排行榜第二
2020年6月 .NET技术大版内专家分月排行榜第二
2019年11月 .NET技术大版内专家分月排行榜第二
2019年11月 .NET技术大版内专家分月排行榜第二
2019年2月 .NET技术大版内专家分月排行榜第二
-
-
看你这标题，我还以为老p同志又发新东西呢
-
等级
本版专家分：81614勋章
-
- 进士 2019年总版新获得的技术专家分排名前十
-
- 铜牌 2020年4月 总版技术专家分月排行榜第三
-
-
红花
2021年4月 .NET技术大版内专家分月排行榜第一
2020年11月 .NET技术大版内专家分月排行榜第一
2020年10月 .NET技术大版内专家分月排行榜第一
2020年4月 .NET技术大版内专家分月排行榜第一
-
-
黄花
2021年3月 .NET技术大版内专家分月排行榜第二
2020年8月 .NET技术大版内专家分月排行榜第二
2020年6月 .NET技术大版内专家分月排行榜第二
2019年11月 .NET技术大版内专家分月排行榜第二
2019年11月 .NET技术大版内专家分月排行榜第二
2019年2月 .NET技术大版内专家分月排行榜第二
-
-
在你们纠结这些问题的时候，应该去看php，go，python，java们是怎么玩的，人家的手段未必有你们好。
so，不必如此纠结。应该怎么办就怎么办，越纠结这些越没啥用处
-
等级
本版专家分：1440 -
List to Array , into Array
-
等级
本版专家分：17558
-
SQL Server 还可以用表变量，用存储过程更新
-
等级
本版专家分：76412勋章
-
- 进士 2019年总版新获得的技术专家分排名前十
-
- 银牌 2020年8月 总版技术专家分月排行榜第二
-
- 铜牌 2019年10月 总版技术专家分月排行榜第三
-
-
红花
2020年12月 .NET技术大版内专家分月排行榜第一
2020年8月 .NET技术大版内专家分月排行榜第一
2020年7月 .NET技术大版内专家分月排行榜第一
2020年6月 .NET技术大版内专家分月排行榜第一
2019年10月 .NET技术大版内专家分月排行榜第一
-
-
如果转datatable就可以使用sqlbulkcopy。
但是List转datatable，也不快。但是千条数据好像也还可以吧
-
等级
本版专家分：5 -
3楼的方案没问题， 如果是oracle 可以定义纯SQL插入，参数传入数组，速度很快
-
版主等级
本版专家分：35352勋章
-
- 签到王者
-
- 脉脉勋章
-
- GitHub
-
- 领英
-
-
批量操作 首选肯定是SqlBulkCopy
不过你的数据源是list所以你还要转换成datatable 然后才能执行WriteToServer
既然这样还需要转换 我觉得还不如直接循环list执行sql语句呢.
比如一次执行10条 1000条就执行100次..
不过也就几千条问题不大吧..
mysql insert ()()() 一秒轻松也插入一万条啊...
几千条数据我觉得都是瞬间的事,你不需要考虑效率..
- 一次大量数据更新的性能优化调研
工作中需要同步一些数据，大概接近百万条的量级，更新时间非常慢，需要7个多小时，更新的频率是每周一次。随着数据量的一步步增加，时间也越来越多，逐渐成为一个风险因子，于是想到要尝试做一些优化，降低同步时间...
- 干货，OLAP数仓从百万到百亿级数据量实时分析
一、有哪些类型的OLAP数仓？1.按数据量划分对一件事物或一个东西基于不同角度，可以进行多种分类方式。对数仓产品也一样。比如我们可以基于数据量来选择不同类型的数量，如下图所示：本系列文章...
- MySQL数据库如何解决大数据量存储问题
MySQL数据库如何解决大数据量存储问题 利用MySQL数据库如何解决大数据量存储问题？各位高手您们好，我最近接手公司里一个比较棘手的问题，关于如何利用MySQL存储大数据量的问题，主要是数据库中的两张历史数据表，...
- 利用MySQL数据库如何解决大数据量存储问题？
各位高手您们好，我最近接手公司里一个比较棘手的问题，关于如何利用MySQL存储大数据量的问题，主要是数据库中的两张历史数据表，一张模拟量历史数据和一张开关量历史数据表，这两张表字段设计的很简单（OrderNo，...
- 插值法补齐缺失数据_极简数据分析（上） 10分钟掌握关键数据分析方法
“数据分析作为一项未来产品及运营人员必须...好一点的情况可能只是影响产出的效率，坏一点的话可能没法得出有价值的结论，甚至错误的结论。因此本文更希望的是对我们已经在进行的数据分析行为和潜意识里存储的知识...
- 这就是数据分析之数据变换
你会觉得他成绩中等，因为在班级里这属于大部分人的情况。 为什么会有这样的认知呢？这是因为我们从小到大的考试成绩基本上都会满足正态分布的情况。 什么是正态分布呢？正态分布也叫作常态分布，就是正常的状态下，...
- 数据仓库
这里写自定义目录标题功能...数据仓库：诞生主要有两个原因 历史数据积存的需要 企业数据分析的需要热数据：使用频率较高的数据冷数据：使用频率较低的数据 数据仓库特点：1.面向主题 1. **全新的界面设计** ，
- impala刷新元数据_Impala
Impala概述Impala是什么Impala是一款针对HDFS和HBASE中的PB级别数据进行交互式实时查询工具。最大的特点就是速度快Impala优势Impala的诞生Hive与MR适合离线批处理，但是对交互式查询的场景无能为力(快速响应)，所以...
- php 批量查询数据优化_百万数据查询优化技巧三十则
快，关注这个公众号，一起涨姿势～热点推荐资料获取可直进米兜百度云盘群：https://pan.baidu.com/mbox/homepage?short=htTXaGO1.GitHub给老照片上色项目曝光：用AI修复母亲的旧照片2.如何使用dubbo做负载均衡3....
- 大数据分析与挖掘
概念：数据分析是用适当的统计分析方法，对收集来的大量数据进行分析，提取有用信息和形成结论并对数据加以详细研究和概括总结的过程。数据分析可以分为三个层次，即描述分析、预测分析和规范分析。 数据挖掘：...
- 抓包怎么看懂数据信息_一文看懂阿里文娱大数据 OLAP 选型
随着各行各业信息技术的发展，数据分析对业务的提升功不可没。数据处理大致可以分为两类：联机事务处理 OLTP、联机分析处理 OLAP。而大数据 OLAP 引擎也是百花齐放，使得业内各数据平台的架构设计各有不同，本文...
- 详解智能制造中的计算机视觉应用瓶颈问题
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达编辑丨机器视觉课堂计算机视觉在智能制造工业检测中发挥着检测识别和定位分析的重要作用，为提高工业检测的检测速率和准确率以及智能自动化程度...
- [foundation]数据结构与算法简述
数据结构是对在计算机内存中（有时候在磁盘中）的数据的一种安排。数据结构包括数组、链表、栈、二叉树、哈希表等等。数据结构有哪些用途呢？首先，可以模拟现实世界数据的存储，进行现实世界的建模，最重要的数据...
- 数据结构实验之图论一:基于邻接矩阵的广度优先搜索遍历_数据结构题库
填空题(共200空，每空1分)基础知识，易，数据物理结构1. 数据物理结构主要有两种：顺序存储 、链式存储 。基础知识，较易，广义表2.广义表A=(m,(a,b))的元素分别是 m 和 (a,b) 。基础知识，易，图3.图具体分为四类...
- 【大数据处理技术】期末复习整理
所用教材：《大数据技术原理与应用——概念、存储、处理、分析与应用（第2版）》，由厦门大学...第2章 大数据处理架构Hadoop 第二篇 大数据存储与管理 第3章 分布式文件系统HDFS 第4章 分布式数据库HBase 第5章 No
- Android版数据结构与算法(十二)：经典排序算法再回顾
提到排序大部分同学肯定第一时间想到int数组的排序，简单啊，所谓排序不就是将int数组按照从大到小或者从小到大排序吗，如果我有个数组存放的不是int数据，而是一个个对象呢？你怎么排序？所以我们首先要明确排序的...
- Microsoft Visual C++ 2015-2019 运行库合集，包含32位64位
Microsoft Visual C++ 2015-2019 运行库合集，32位64位都有，解决缺失dll包问题。
- STM32F103C8T6最小系统原理图
STM32F103C8T6最小系统原理图文件，包括电源电路、单片机等 11111111111111111111
- Spring Boot 入门
Spring Boot 入门介绍，听完这些课程你可以了解到 Spring Boot 的优势，为什么需要使用 Spring Boot ，学会使用 Spring Boot 创建一个简单的 Hello World ，并写学会使用 Spring Boot 单元测试。 了解 Spring Boot 并掌握 Spring Boot 基础开发
- 从零基础开始用Python处理Excel数据.pdf
首先学习Python的基础知识，然后使用Python来控制Excel，做数据处理。 Excel使用者、Python爱好者、数据处理人员、办公人员等 第1章 python基础 1.1 什么是python？ 1.2 为什么要学习用Python处理Excel表格？ 1.3 手把手教你安装python程序 1.3.1 下载python 1.3.2 安装python 1.3.3 验证是否安装成功 1.4 安装Python集成开发工具PyCharm 1.4.1 下载 1.4.2 安装 1.5 Python的输入与输出
- 数学建模30种算法大全
数学建模最常用的30种算法！ 全国大学生数学建模竞赛创办于1992年，每年一届，已成为全国高校规模最大的基础性学科竞赛，也是世界上规模最大的数学建模竞赛。2018年，来自全国34个省/市/区(包括香港、澳门和台湾)及美国和新加坡的1449所院校/校区、42128个队（本科38573队、专科3555队）、超过12万名大学生报名参加本项竞赛。
- 互联网+大赛商业计划书案例（慧淬 国赛金奖）.pdf
互联网+创新创业大赛国赛金奖——“慧淬”，商业计划书 互联网+创新创业大赛国赛金奖——“慧淬”，商业计划书
- Spring Boot之JPA实战视频课程
本套课程，以实际操作演示为主，代码实例详细讲解了在Spring Boot框架使用JPA的一些规则与常见套路。课程中涉及到JPA的使用规则、核心概念、实体关系使用规则和常见问题等内容。该套课程后，让你全面熟悉与掌握Spring Boot 中JPA的使用套路。Spring Boot中JPA模块主要使用Spring Data JPA一些规则，该套课程还会帮你掌握Spring Data JPA的常用规则。 帮助同学快速熟悉与掌握Spring Boot中使用JPA的常见套路与规则。 帮助同学快速掌握Spring Data JPA的常用使用规则
- matlab教程ppt(完整版).pdf
MATLAB信号处理详解 结合MATLAB最新版本系统地介绍信号处理及现代信号处理或者非平稳信号处理(包括信号处理、阵列信号处理、时频分析及高阶谱分析)的基本理论及在工程应用中的一些基本方法；详细地介绍MATlLAB工具箱函数的用法；最后结合一些应用实例，说明基于MATLAB进行分析与设计的方法。 《MATLAB信号处理》首次将信号处理涉及的各种MATLAB工具箱全面加以说明分析，简明扼要地介绍相关领域的基本概念和基本理论，重在讲述有关基本理论和物理背景，避开繁复的推导和中间过程，结合编程应用介绍工具箱函数的功能及用法，并且通过各种应用实例阐述如何利用MATLAB工具箱来解决工程应用问题。
- Python疫情大数据分析之可视化分析、GIS地图及文本挖掘代码（博客前三篇）
该资源是针对这次肺炎疫情写个Python大数据分析系列博客，包括网络爬虫、可视化分析、GIS地图显示、情感分析、舆情分析、主题挖掘、威胁情报溯源、知识图谱、预测预警及AI和NLP应用等。希望该系列线上远程教学对您有所帮助，也希望早点战胜病毒，武汉加油、湖北加油、全国加油。待到疫情结束樱花盛开，这座英雄的城市等你们来。 基础性资源，希望对您有所帮助。 详见内容： [Pyhon疫情大数据分析] 三.新闻信息抓取及词云可视化、文本聚类和LDA主题模型文本挖掘 https://blog.csdn.net/Eastmount/article/details/104698926 [Pyhon疫情大数据分析] 二.PyEcharts绘制全国各地区、某省各城市疫情地图及可视化分析 https://blog.csdn.net/Eastmount/article/details/104437215 [Pyhon疫情大数据分析] 一.腾讯实时数据爬取、Matplotlib和Seaborn可视化分析全国各地区、某省各城市、新增趋势 https://blog.csdn.net/Eastmount/article/details/104298388 --------------------------------------------------------------- By：Eastmount CSDN
- Java面试题大全（备战2021）
这本面试手册包含了Java基础、Java集合、JVM、Spring、Spring Boot、Spring Cloud、Mysql、Redis、RabbitMQ、Dubbo、Netty、分布式及架构设计等方面的技术点。内容难度参差，满足初中高级Java工程师的面试需求。
- 以太坊ETH挖矿图文教程2.0
本教程页数不多，7页，主要描述如何使用以太坊ETH挖矿，图文并茂的展示和流程细节的体现，基本看了一遍就肯定能够学会了。
- python大作业--爬虫（完美应付大作业）.zip
python大作业分享--30多个项目任你选（由于上传大小限制分多个文件上传。爬虫：https://download.csdn.net/download/weixin_43960044/12533382小游戏：https://download.csdn.net/download/weixin_43960044/12533379），应付大作业完全没问题。内涵30多个项目，随意挑选。爬虫（爬抖音视频、下载B站视频、怕天气预报等）小游戏（五子棋、坦克大战、贪吃蛇、拼图等）。
- Spring Batch批量处理数据实战教程
本课程通过讲解Spring Batch的基础知识点以及一些实际的项目示例让大家熟悉如何使用Spring Batch进行大批量数据的同步、处理及转换等。 通过学习本课程大家可以快速的掌握如何使用及优化Spring Batch。
- LABVIEW入门与实战开发100例.pdf
LABVIEW入门与实战开发100例，从基础到入门的基本实例。