具体的操作要求是： 新建6个字段，这6个字段的意义是通过关联查询得到的统计数据（求和，统计个数等），现在要求对现有数
据更新，需要的查询没有难点，现只担心性能问题，需要这个更新的操作尽可能的快，该表的数据量是百万级别。
希望有经验的兄弟更够提供一些思路，多多益善。
另外还有一个比较弱的问题。。关于存储过程，现在对存储过程基本的认识，现在主要的疑惑是不知何时应该应用存储过程。
小弟刚入门，问题比较白，见笑了。
希望大家不吝赐教，先谢过了。
-
等级
本版专家分：2055结帖率 100% -
小弟初入j2ee，工作中遇到一个任务是写一个脚本，来完成对一个表的操作，
具体的操作要求是： 新建6个字段，这6个字段的意义是通过关联查询得到的统计数据（求和，统计个数等），现在要求对现有数
据更新，需要的查询没有难点，现只担心性能问题，需要这个更新的操作尽可能的快，该表的数据量是百万级别。
希望有经验的兄弟更够提供一些思路，多多益善。
另外还有一个比较弱的问题。。关于存储过程，现在对存储过程基本的认识，现在主要的疑惑是不知何时应该应用存储过程。
小弟刚入门，问题比较白，见笑了。
希望大家不吝赐教，先谢过了。展开阅读全文
-
等级
本版专家分：1682 -
毛爷爷说：具体情况具体分析！
-
等级
本版专家分：25112 -
分表吧。
把一个表的数据分散到多个表当中试试。
-
等级
本版专家分：3529勋章
-
- 蓝花 2010年6月 多媒体/设计/Flash/Silverlight 开发大版内专家分月排行榜第三
-
-
不知道你具体需求，必不可少的是建索引！
你数据库使用是什么？SQLSERVER Oracle？建议到数据库区咨询下
-
等级
本版专家分：2055
-
mysql
-
等级
本版专家分：738 -
果断用分区表操作!
-
等级
本版专家分：2055
-
..恩。。我本想直接一个update 对那个6个字段直接给子查询的结果就完事的。。
因为考虑性能 才想的多了起来 无奈所知有限。。想不出什么
分表，恩，谢谢楼上几位给的建议。我去查查..
-
等级
本版专家分：0 -
你考虑每更新记录条数少点
-
等级
本版专家分：25112
-
我想，楼主的意思，应该是通过关联查询百万个数据，所得的结果，更新到一个拥有6个字段的表里面吧？
而不是，通过查询更新百万个数据吧？
如果是前者，想提高性能，在相关的流程后面，添加单一统计代码即可实现。
如果是后者，首先考虑能否改成单一更新操作（就是说，在某个流程里更新单个记录，而不是所有），
其次，考虑将数据分组分批更新，最后，考虑将目标表拆分成多个表逐个更新。
举例：
一、（前者情况）比如，我有百万个用户，每个用户记录都有是否在线的字段，
通过查询用户表统计所有用户的在线数量，将查询结果保存到在线数量表中。
我想，数据库中的用户在线信息也是通过用户登录和登出（还有Session释放）等操作进行同步的，
那么不妨，在这些操作中添加一些代码，直接更新在线数量表不是更好吗。
这样，就不用通过查询所有用户的数据来确定在线数量了。
二、（后者情况）比如，过年了，给每个用户的年龄字段进行加一操作
（当然，这并不是经常要做的事情，只是举个例子而已）
首先，考虑能否在用户登录操作的时候进行本字段的更改，当然，已经改过的就不改了。
同时，浏览其他用户信息的时候，也要更新其他用户的年龄信息。
如果上述不可实现，其次，可以考虑将所有用户按年龄段分组（可以一年一组，也可以五年一组），
一组一组的进行更新操作，这样，每次更新不会锁住整个表（注：有的数据库只会锁表）。
最后，考虑将用户按地区或者活跃程度进行分表，分别进行更新操作。
例如，如果我们网站活跃用户相对较少，我们把百万用户，按照最后一次登录时间进行分表，
时间跨度分别是半年，半年至一年，一年以上。
上述3个表，最后一次登录时间在半年内的用户，可能相对较少，数据更新时，对其他数据影响较大。这种情况下分表更新就有效果了。其他表虽然数据相对较多，但，与其他数据影响较小，时间长点也就无所谓了吧。
啥意思 ？ 就是说，你在更新年龄的时候，如果某个人正好要看你的年龄信息，这时候，一定要等你的年龄信息更新完毕之后，才能显示给他看。但是，你都不活跃了，基本不登录，关心你年龄的人，基本就没有了。
以上信息纯属个人意见和理解。
-
等级
本版专家分：2055
-
感谢楼上的回答，我的情况类似于后者。
一个百万级数据的表，要增加6个字段，同时要将现有数据的这6个字段的值查询出来更新上去。
这个脚本应该是在server shut down的时候执行，公司的产品每个月更新一次，需求就是希望脚本的只能能有更好的performance
再次感谢，我会参考你的宝贵建议。。
- 一次大量数据更新的性能优化调研
工作中需要同步一些数据，大概接近百万条的量级，更新时间非常慢，需要7个多小时，更新的频率是每周一次。随着数据量的一步步增加，时间也越来越多，逐渐成为一个风险因子，于是想到要尝试做一些优化，降低同步时间...
- 数据库插入或者更新大批量数据的性能优化
对于一些数据量较大的系统，数据库面临的问题除了查询效率低下，还有就是数据入库时间长。特别像报表系统，每天花费在数据导入上的时间可能会长达几个小时或十几个小时之久。因此，优化数据库插入性能是很有意义的。...
- NoSQL数据库的基础知识
关系型数据库和NoSQL数据库什么是NoSQL大家有没有听说过“NoSQL”呢...它的意义是：适用关系型数据库的时候就使用关系型数据库，不适用的时候也没有必要非使用关系型数据库不可，可以考虑使用更加合适的数据存储。 为
- SAP HANA内存数据库与oracle数据库的性能比较
oracle 体系结构中，数据库实例的系统全局区SGA（System global area） 是核心的组成部分，它是一组共享的内存结构，里面存储了oracle数据库实例（instance）的数据和控制文件信息。SGA主要包括以下几部分：共享池，...
- 解决数据库高并发访问瓶颈问题
在Web层和db层之间加一层cache层，主要目的：减少数据库读取负担，提高数据读取速度。cache存取的媒介是内存，可以考虑采用分布式的cache层，这样更容易破除内存容量的限制，同时增加了灵活性。 二、业务拆分：...
- 数据库性能的6大指标
事务查询性能用户和查询冲突容量配置NoSQL 数据库 事务 事务可以观察真实用户的行为：能够在应用交互时捕获实时性能。众所周知，测量事务的性能包括获取整个事务的响应时间和组成事务的各个部分的响应时间。...
- 关系数据库与非关系数据库的区别
当前主流的关系型数据库有Oracle、DB2、Microsoft ...1）成本：nosql数据库简单易部署，基本都是开源软件，不需要像使用oracle那样花费大量成本购买使用，相比关系型数据库价格便宜。 2）查询速度：nosql数据库将数...
- Hbase数据库与传统数据库的比较
HBase的知识点 Mycat备份机制 HMASTER动态感知HregionServer的状态。 基于行的行式数据库 ... 基于列的列式数据库 ... 面对大量的查询，复杂的查询，数据库必须被大量膨胀才能满足性能需求 ...
- 关系型数据库与非关系型数据库
当前主流的关系型数据库有Oracle、DB2、Microsoft SQL Server、... 性能NoSQL是基于键值对的，可以想象成表中的主键和值的对应关系，而且不需要经过SQL层的解析，所以性能非常高。 2. 可扩展性同样也是因为基...
- 高并发网站之解决策略
系统在正式上线后必将会面对大量用户访问，面对各种层级的高并发请求，因此我们会采用高性能的服务器、高性能的数据库、高效率的编程语言、高性能的Web容器等。但是这几个方面，还无法从根本解决大型网站面临的高...
- NoSQL数据库性能大比拼
NoSQL数据库无需保证ACID，因此都具有非常高的读写性能，尤其在大数据量下，同样表现优秀。这得益于它的无关系性，数据库的结构简单。 NoSQL无需事先为要存储的数据建立字段，随时可以存储自定义
- 关系型数据库和非关系数据库区别
关系型数据库（Mysql和Oracle） 1.表和表、表和字段、数据和数据存在着关系 优点: 1.数据之间有关系，...大量算法会降低系统的效率，会降低性能 2.面对海量数据的增删改查的时候会显的无能为力 3.海量数据对数据进行
- 关系型与非关系型数据库的优缺点
关系型数据库特点 基于单一关系模型，结构化存储，有完整性约束 通过二维表建立数据...数据读写必须经过sql解析，大量数据、高并发下读写性能不足 为保证数据一致性，需要加锁，影响并发操作 无法适应非结构化的存储
- 数据库大批量SQL插入性能优化
对于一些数据量较大的系统，数据库面临的问题除了查询效率低下，还有就是数据入库时间长。特别像报表系统，每天花费在数据导入上的时间可能会长达几个小时或十几个小时之久。因此，优化数据库插入性能是很有意义的。...
- 数据库性能需求分析及评估模型
数据库作为应用系统当中最重要的一块，也是性能测试非常关注的一块，根据我自己的项目经验，和以往对应用系统的性能需求分析和测试策略制定过程，总结一下如何开展数据库系统的性能需求分析，以及制定数据库能力评估...
- 关系型数据库与非关系型数据库的对比分析（优缺点，应用，区别等）
当前主流的关系型数据库有Oracle、DB2、Microsoft SQL Server、Microsoft Access、MySQL等。 非关系型数据库有 NoSql、Cloudant。 ==========================优缺点分析如下================================...
- 大量数据情况下单线程插入和多线程insert数据库的性能测试
大量数据情况下单线程插入和多线程insert数据库的性能测试 之前一直没有遇到过大批量数据入库的场景，所以一直没有思考过在大量数据的情况下单线程插入和多线程插入的性能情况。今天在看一个项目源代码的...
- sqlserver 发布订阅的弊端
发布数据库的大量更新或者大量插入，要么报错，或者订阅服务器的数据不一致，让很多朋友纠结，都在寻求什么更好的办法优化，其实微软Replication的机制就是逐条读取传递的，如果发布端数据变化特别快或经常有长事务...
- 实时数据库，内存数据库，关系型数据库比较
内存数据库就是将数据放在内存中直接操作的数据库，它利用内存的读写速度比磁盘快、内存是随机访问而磁盘是顺序访问这两个特点，将数据保存在内存中，在内存中模仿建立表结构和索引结构并针对内存特性进行优化，相比...
- NoSQL数据库入门概述
NoSQL数据库入门概述、包括Memcached、Redis、Tokyo Tyrant等NoSQL数据库的简单了解
- 基于内存数据库的分布式数据库架构--何坤
【摘要】 本文提出了一种通过引入内存数据库层，建立两层多分区分布式数据库架构。此方案用于解决海量高并发系统的数据存储和访问问题，尤其适用于电子商务等数据模型复杂且业务复杂的互联网站。这些年互联网站发展...
- MySql,SQLServer,SQLite性能比较
测试方法：C#编写工具，对数据库进行大量数据Insert和Selectc测试 测试结果： Insert测试 Select测试 测试结果：SQLServer 和 MySql性能相差不大,Sqlite则数据多大几万条时明显过慢 注...
- 实时数据库和关系数据库的区别、对比
数据库是指按照一定数据结构和模型来组织、 存储和管理数据的仓库。 采用 关系模型建立起来的数据库叫做关系数据库。 关系数据库是建立在集合代数基础 上， 应用数学方法来处理数据库中的数据。 现实世界中的各种...
- 数据连接池的工作机制是什么?（全）
对数据库连接的管理能显著影响到整个应用程序的伸缩性和健壮性，影响到程序的性能指标。数据库连接池正是针对这个问题提出来的。 数据库连接池负责分配、管理和释放数据库连接，它允许应用程序重复使用一个现有的...
- 使用AWR报告分析Oracle数据库性能
AWR全称Automatic Workload Repository，自动负载信息库，是Oracle 10g版本后推出的一种性能收集和分析工具，提供了一个时间段内整个系统的报表数据。通过AWR报告，可以分析指定的时间段内数据库系统的性能。 ...
- SQL数据库调优之性能监视篇
前言数据库调优的故事很多，无数的客户都曾经抱怨过数据库性能问题。什么很慢啊，CPU很高啊等等，但是当你仔细问他相关参数时候，比如CPU平常多少，内存，IO怎么算正常？大多数客户都一脸无辜的望着你说：不知道。我...
- 数据库的简介与类型
简单的说，数据库（英文Database）就是一个存放数据的仓库，这个仓库是按照一定的数据结果（数据结构是指数据的组织形式或数据之间的联系）来组织、存储的、我们可以通过数据库提供的多种方法来管理数据库里的数据更...
- DataSource数据源简单理解
DataSource数据源简单理解 因为热爱，所以拼搏。 –RuiDer 什么是数据源 JDBC2.0 提供了javax.sql.DataSource接口，它负责建立与数据库的连接，当在应用程序中访问数据库时 不必编写连接数据库的代码，...
- 如何保证缓存与数据库的双写一致性？
你只要用缓存，就可能会涉及到缓存与数据库双存储双写，你只要是双写，就一定会有数据一致性的问题，那么你如何解决一致性问题？ 面试题剖析 一般来说，如果允许缓存可以稍微的跟数据库偶尔有不一致的情况，也就是...
- Mysql数据库迁移：善用Navicat工具，事半功倍
数据库迁移 在说到数据库迁移方面，像很多开发工作一样，简单有简单的做法，复杂有复杂的做法，就看怎么做了。那么什么样子的数据库迁移方式才是最优的，在这里是没有准确的定义的...我这个库里面，有大量的表格，...