sql 排重方法-CSDN论坛

sql 排重方法

Java > Java SE

收藏回复

[问题点数：80分，结帖人boyone2009]

⋅sql 排重方法 ⋅java 利用反射对一个对象所有属性赋值 ⋅求推荐大数据优化书籍（DB2最好） 更多帖子 关注私信空间博客 无伤 等级 本版专家分：2426 结帖率 96.97%: 现在我遇到这样一个问题：数据库有一张表（User）里面有几个字段是唯一索引比方说有两个字段(name,id)是唯一索引。现在我的程序有批量导入的功能比方说一次导入1000条记录，我需要导入数据库前在程序里判断这些数据是否在数据库里已经存在。目前实现的方法有两个：
一、对每一条数据做精确查询。如：select 1 from User where name='xx' and id=123; 这种做法效率比较低，而且需要方法数据库n次；

二、将这两个索引字段拼成in里的元素使用一条sql查询。如：select 1 from User where name in ('x1','x2','x3',.......) and id in (1,2,3,.......) .这种方法可能查出来的结果集过大。

请问哪位大侠有比较好的解决办法？提示：该表数据量比较大上千万级。

2014-10-16 11:13:50

点赞只看楼主引用举报楼主收起

展开阅读全文

⋅swift集群存储不平衡 ⋅硕士程序员薪水 ⋅博客之星 更多帖子 关注私信空间博客 skyWalker_ONLY 等级 本版专家分：1914 勋章 红花 2014年12月高性能开发大版内专家分月排行榜第一 2014年11月高性能开发大版内专家分月排行榜第一 2014年10月高性能开发大版内专家分月排行榜第一: 如果是oracle数据库的话，试试merge语法

2014-10-16 11:26:00

点赞 1 只看TA 引用举报 #1得分 10

⋅sql 排重方法 ⋅java 利用反射对一个对象所有属性赋值 ⋅求推荐大数据优化书籍（DB2最好） 更多帖子 关注私信空间博客 无伤 等级 本版专家分：2426: 引用 1 楼 sky_walker85 的回复:
如果是oracle数据库的话，试试merge语法

具体能说一下怎么样吗？

2014-10-16 13:02:34

点赞只看TA 引用举报 #2得分 0

⋅swift集群存储不平衡 ⋅硕士程序员薪水 ⋅博客之星 更多帖子 关注私信空间博客 skyWalker_ONLY 等级 本版专家分：1914 勋章 红花 2014年12月高性能开发大版内专家分月排行榜第一 2014年11月高性能开发大版内专家分月排行榜第一 2014年10月高性能开发大版内专家分月排行榜第一: 引用 2 楼 boyone2009 的回复:
Quote: 引用 1 楼 sky_walker85 的回复:

如果是oracle数据库的话，试试merge语法

具体能说一下怎么样吗？

可以将导入的记录存入一个新表中，然后对新表和原表执行merge into语句，具体语法楼主百度一下吧

2014-10-16 13:11:41

点赞 1 只看TA 引用举报 #3得分 5

⋅swift集群存储不平衡 ⋅硕士程序员薪水 ⋅博客之星 更多帖子 关注私信空间博客 skyWalker_ONLY 等级 本版专家分：1914 勋章 红花 2014年12月高性能开发大版内专家分月排行榜第一 2014年11月高性能开发大版内专家分月排行榜第一 2014年10月高性能开发大版内专家分月排行榜第一: 具体如何merge可以参考这篇博客http://www.cnblogs.com/highriver/archive/2011/08/02/2125043.html

2014-10-16 13:13:20

点赞 1 只看TA 引用举报 #4得分 20

⋅NFS写文件性能很慢？ ⋅评论里的js为什么不执行 ⋅自己倒腾着玩下，还真给查出来了 更多帖子 关注私信空间博客 whos2002110 等级 本版专家分：7135: 数据库字段上加唯一索引了么？如果加了省事点就让数据库自己判断了，批量保存时如果有值冲突我就不知道会如何了
如果都回滚了还是要判断唉，不懂

2014-10-16 14:26:07

点赞只看TA 引用举报 #5得分 10

⋅Apache Openoffice文档转换问题 ⋅Apache Openoffice相关问题 ⋅Apache Openoffice问题 更多帖子 关注私信空间博客 年轻的老头-tao 等级 本版专家分：432: 引用 4 楼 sky_walker85 的回复:
具体如何merge可以参考这篇博客http://www.cnblogs.com/highriver/archive/2011/08/02/2125043.html

+1 感觉这个方法挺好的

2014-10-16 16:56:47

点赞只看TA 引用举报 #6得分 5

⋅hql语句查询参数数组的问题 更多帖子 关注私信空间博客 chen2713756 等级 本版专家分：190: merge方法是你最好的选择，具体语法：
merge into table t using (select id,name from table_tmp) t1 on t.id=t1.id
when matched then
update set t.id=t1.id, t.name=t1.name
when not matched then
insert (t.id, t.name) values (t1.id, t1.name)

2014-10-28 17:06:32

点赞只看TA 引用举报 #7得分 20

⋅你好，麻烦看下哪里有广告

⋅帮忙

⋅帮忙删贴子

更多帖子

关注私信空间博客

版主

兔子托尼啊

等级

本版专家分：67868

勋章

签到新秀 累计签到获取，不积跬步，无以至千里，继续坚持！

红花 2016年3月 Java大版内专家分月排行榜第一
2016年2月 Java大版内专家分月排行榜第一
2015年11月 Java大版内专家分月排行榜第一
2015年10月 Java大版内专家分月排行榜第一
2014年8月 Java大版内专家分月排行榜第一
2014年7月 Java大版内专家分月排行榜第一
2014年5月 Java大版内专家分月排行榜第一

黄花 2016年1月 Java大版内专家分月排行榜第二
2015年12月 Java大版内专家分月排行榜第二
2015年8月 Java大版内专家分月排行榜第二
2015年3月 Java大版内专家分月排行榜第二
2015年1月 Java大版内专家分月排行榜第二
2014年12月 Java大版内专家分月排行榜第二
2014年11月 Java大版内专家分月排行榜第二
2014年6月 Java大版内专家分月排行榜第二
2014年4月 Java大版内专家分月排行榜第二
2014年1月 Java大版内专家分月排行榜第二
2013年11月 Java大版内专家分月排行榜第二

蓝花 2015年9月 Java大版内专家分月排行榜第三
2015年6月 Java大版内专家分月排行榜第三
2015年5月 Java大版内专家分月排行榜第三
2015年2月 Java大版内专家分月排行榜第三
2014年3月 Java大版内专家分月排行榜第三
2013年12月 Java大版内专家分月排行榜第三: merge into sql server 2005 不支持该语法，2008 开始支持

2014-10-28 17:13:29

点赞只看TA 引用举报 #8得分 5

⋅java的web乱码问题 ⋅我想开发一门拥有全新的思想的编程语言，看看大家的意见 ⋅上传文件有错误 更多帖子 关注私信空间博客 lliiqiang 等级 本版专家分：2299: 我建议是先查出已经有的所有的id,然后对要导入的数据进行筛选之后，再添加.

2014-10-30 11:42:24

点赞只看TA 引用举报 #9得分 5

收起

收藏回复

无伤

等级：

关注私信 TA的帖子

大数据中hive sql两种排重方法 group by嵌套与row_number() over() 而不能用distinct: 大数据中hive sql两种排重方法 group by嵌套与row_number() over() 而不能用distinct 在hive中，面对的时分布式集群的海量数据，使用distinct会非常消耗资源（运行时间很很长且占用计算资源），所以不能用distinct。...

sql数据排重: ****************************************************...% '------------将表Contentpj排重后倒入表shopxp_product------------dim conn,mdbfile mdbfile=server.mappath("#4#2#.mdb") set conn=server....

SQL 数据排重，去掉重复数据: 在对数据排重的时候，首先想到的就是Distinct，虽然这很管用，但多数场合下不适用，因为通常排重后还要做进一步处理，比如对编号排重后要按日期统计等。无法排重的Group by ... having ... 虽然可以用Group ...

MySQL数据库面试题（2020最新版）: 文章目录数据库基础知识为什么要使用数据库什么是SQL？什么是MySQL?数据库三大范式是什么mysql有关权限的表都有哪几个MySQL的binlog有有几种录入格式？分别有什么区别？数据类型mysql有哪些数据类型引擎MySQL存储...

重SQL开发和重 Java开发比较: 先看一个例子吧。用经典的 Controller Service DAO 开发模式描述。 city表 city_name city_code student表 student_name city_code student_id ...查询出每个学生所在的城市名以及...重SQL模式 class Contro...

根据某一个字段除重的SQL方法收集: sql根据某一个字段除重的方法收集（转）相关SQL if not object_id('Tempdb..#T') is null drop table #T Go Create table #T([ID] int,[Name] nvarchar(1),[Memo] nvarchar(2)) Insert #T select 1,N'A',N'...

sql语句优化方法: 查询速度慢的原因很多，常见如下几种：　　1、没有索引或者没有用到索引(这是查询慢最常见的问题，是程序设计的缺陷) ...　6、查询出的数据量过大（可以采用多次查询，其他的方法降低数据量）

Oracle LISTAGG排重方法: 1.使用正则表达式进行排重 SELECT regexp_replace('2,2,3,4,5 ', '([^,]+)(,\1)+', '\1') AS col FROM dual查询结果： SQL> SELECT regexp_replace('2,2,3,4,5 ', '([^,]+)(,\1)+', '\1') AS col 2 FROM dual 3 ;...

mysql解决插入数据库时排重问题: INSERT INTO test1(a_id,b_id,c,d) SELECT 1,1,'5a','5d' FROM test1 m WHERE NOT EXISTS( SELECT 1 FROM ...调试方法：可以先运行后面的select语句，看是否有结果数据，和实际情况对照后调整where条件CREATE TAB...

SQL 查询速度慢原因及优化方法（转载）: 下面是网络中流传最广的一篇sql查询速度慢的原因及解决方法的文章，其对于处理mysql的慢查询有借鉴作用。由于此文转载多次，很难找到最开始的原文链接，就附送本人最先看到此文的链接:...

MySQL 面试题: MySQL 面试题 MySQL 涉及的内容非常非常非常多，所以面试题也容易写的杂乱。当年，我们记着几个一定要掌握的重心：重点的题目添加了【重点】前缀。索引。 ...因为 MySQL 还会有部分内容和运维相关度比较高，所以...

【笔记】SQL查询语句的基本使用方法: SQL查询语句的基本使用方法基本查询 SELECT查询语句 --查询所有的学生的学号和姓名 USE JXGL SELECT SNO,SNAME FROM S 简单查询 --查询所有的学生的姓名,学号,所在系 SELECT SNAME,SNO,SDEPT FROM S --查询全体...

SQL查询语句的基本使用方法: 以下通过几个实例来演示sql语句的基本查询和多表联查，以及统计查询假设目前已经创建好名成为’JXGL’的数据库，并且已经存在了三张表，分别是’S’表，保存学生的基本信息、’C’表，保存课程信息、’SC’表，...

数据库优化 - SQL优化: 以实际SQL入手，带你一步一步走上SQL优化之路！

sql高效去重重复数据方法: 方法源地址 http://bbs.csdn.net/topics/380088407 其中5楼版主的回答

SQL Server 百万级数据提高查询速度的方法: 1.应尽量避免在 where 子句中使用!=或<>操作符，否则将引擎放弃使用索引而进行全表扫描。 2.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。...

Oracle SQL查询优化方法1: 系统优化中很重要的方面是SQL语句的优化，对于海量数据，优质的SQL能够有效的提高系统的可用性。总结的有点罗嗦，列个简单的目录啦~ 目录第一部分知识准备第二部分常用sql用法和注意事项 ...

sqlserver 去重查询distinct: sqlserver

【SQL】 Lesson 1-4 金老师练习: Structured Query Language | SQL SQL Lesson 1: SELECT 查询 1011.语法2.原表3.练习SQL Lesson 2: 条件查询 (constraints) (Pt. 1)1.语法2.原表3.练习SQL Lesson 3: 条件查询(constraints) (Pt. 2)1.语法2.原表3....

SQL Server Storage: SQL Server中的哪些对象会占用磁盘空间? 看到标题的第一瞬间，让我想到的就是这个问题。下面我们就试着来讲一讲这个问题. 第一个磁盘空间使用大头肯定想到就是表。表只是一个逻辑对象，又没有想过表这个逻辑对象是...

【数据库学习】数据库总结: 常见数据库管理系统有：Access、mysql、sql server 2）特点 ①数据库数据特点永久存储、有组织、可共享。（数据的最小存取单位是数据项） ②数据库系统的特点数据结构化数据的...

SQL Server查询优化方法(查询速度慢的原因很多，常见如下几种): 今天看到一位博友的文章，觉得不错，转载一下，希望对大家有帮助，更多文章，请访问... 4、内存不足 5、网络速度慢 6、查询出的数据量过大（可以采用多次查询，其他的方法降低数据量） 7、锁或者死锁(这也是查询...

sql处理百万级以上的数据提高查询速度的方法: 处理百万级以上的数据提高查询速度的方法： 1.应尽量避免在 where 子句中使用!=或<>操作符，否则将引擎放弃使用索引而进行全表扫描。 2.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及...

sqlsever 无法获得的排它锁: 问题：执行 Transact-SQL 语句或批处理时发生了异常。 (Microsoft.SqlServer....请稍后重试该操作解决思路：使用select spid from master.sys.sysprocesses --如果是2000，替换成master

浦发银行信息科技岗大数据方向面经: 浦发银行总行信息科技部（大数据方向）面试浦发银行总行信息科技部（大数据方向）面试 8.6面试大家的面经浦发银行总行（上海）大数据岗8月6号面经一、综合面二、机试三、专业面试 ...浦发总行信息岗校招面经...

前端面试题: 前端面试题汇总 ... 你做的页面在哪些流览器测试过？这些浏览器的内核分别是什么? 21 ... 21 Quirks模式是什么？它和Standards模式有什么区别 21 div+css的布局较table布局有什么优点？...img的alt与title有何异同？...

SQL DISTINCT去掉重复的数据统计方法: SQL DISTINCT重复的数据统计方法 group by 重复数据的个数统计删除重复的数据2008-09-10 16:30DISTINCT 关键字可从 SELECT 语句的结果中除去重复的行。如果没有指定 DISTINCT，那么将返回所有行，包括重复的行。 ...

SQLServer 中提高查询性能的方法: MS SQL Server查询优化方法查询速度慢的原因很多，常见如下几种 1、没有索引或者没有用到索引(这是查询慢最常见的问题，是程序设计的缺陷) 2、I/O吞吐量小，形成了瓶颈效应。 3、没有创建计算...

测试开发笔记: 测试开发笔记第一章测试基础 7 什么是软件测试： 7 ★软件测试的目的、意义：（怎么做好软件测试） 7 3.软件生命周期： 7 第二章测试过程 8 1.测试模型 8 H模型： 8 V模型 9 2.内部测试 10 ...

Android开发入门60个小案例+源代码: 适合初学者，大量简单小例子，完整源代码。

相关热词 c#编辑 list c#泛型的协变与逆变 c# html code vs 开发c# c#注释快捷键 vs c# csv xlsx c# 新闻 c# 控件改成自定义 c# model mvc c# 为啥不弹出异常