社区
PostgreSQL
帖子详情
300多万条数据检测某字段是否重复要多久
sinat_30015057
2015-08-13 03:36:10
用group by 会死掉么
...全文
650
2
打赏
收藏
300多万条数据检测某字段是否重复要多久
用group by 会死掉么
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
2 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
zjcxc
2015-10-30
打赏
举报
回复
主要的影响因素: 1. 字段长度 , 越长肯定越慢,因为越长章法着越大的 IO 开销,在内存中,越长的也章法着内存开销越大 2. 有没有索引,如果有索引,数据已经是有序的,处理起来肯定快很多 3. 重复值的多少,重复值多,比如每个值重复一次,那就有 150万结果,这个肯定比全部都是相同值,只有一条结果的处理速度慢(单纯考虑传输结果到客户端的开销就差很多了)
huguangshanse00
2015-09-12
打赏
举报
回复
不会(除非极端情况),也可以用select count(distinct column_name) ...试下如果和select count( column) from table数值一样则说明没有重复。
php
数据
判断
是否
重复
的
数据
,PHP 批量插入的时候 判断
数据
表里面
是否
重复
怎么优化...
场景:从第三方接口获取到
数据
比如 获取到了 500 条,然后批量插入到表,但是要保证唯一。代码如果是这样的(name
字段
有索引的情况下怎么才能最大化的优化),这样的结果是有500次的I/O 这个逻辑怎么优化最佳呢;...
【Mysql
数据
库】百万级的
数据
量中删除
重复
数据
,并保留其中一条
有一个表的
数据
是从多个excel导入的,但是导入的
数据
中可能会出现
重复
数据
,整个
数据
表的
数据
量又特别大,查找于是怎么删除
重复
数据
对我来说就是个头疼的问题。网上查过很多资料,但是可能是因为我这个
数据
量太大的...
SQL查找列(
字段
)
重复
值及操作
SQL查找列(
字段
)
重复
值及操作--整理 方法一: 1、查找表中多余的
重复
记录,
重复
记录是根据单个
字段
(peopleId)来判断 select * from people where peopleId in (select peopleId from people group by...
mysql优化小技巧之去除
重复
项(百万级
数据
)
说到这个去重,脑仁不禁得一疼,尤其是出具量比较大的时候。毕竟咱不是专业的DB,所以嘞,只能自己弄一下适合自己...要是几千上万条不同
数据
重复
,那咋办。。。 完事呢,咱就考虑了,用having函数查询的时候,原始s...
一千万条
数据
去重_Mysql千万级
数据
快速去重
问题:card 表的 card_number
字段
忘记加唯一约束,造成大量
数据
重复
,需要去重。1 测试
数据
准备创建表123456CREATE TABLE `card` (`card_id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT 'ID',`card_number` ...
PostgreSQL
974
社区成员
1,472
社区内容
发帖
与我相关
我的任务
PostgreSQL
PostgreSQL相关内容讨论
复制链接
扫一扫
分享
社区描述
PostgreSQL相关内容讨论
sql
数据库
数据库架构
技术论坛(原bbs)
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章