求助！千万级MySQL去冗余数据

其他数据库开发 > MySQL
收藏 回复
[问题点数：100分，结帖人myh292857179]
更多帖子
私信 空间 博客
敲代码的胖子
等级
本版专家分：0
勋章
Blank
签到新秀 累计签到获取，不积跬步，无以至千里，继续坚持！
结帖率 100%
最近在做一个业务，数据清洗方面的。其中有一个步骤是要对表进行去冗余操作。
数据库是：MySQL5.7。
表引擎用的是：MyISAM。
数据量：两千万。
 
目前的业务是需要对这张表进行去冗余操作。不是针对某个字段，而是指除了id之外（ID在执行这一不前已经删除）其余字段值都相同。
目前采取的的sql是：
1.create table `table1` as select * from `table0` where 1=2;
    insert into tsble1 select distinct * from `table0` 

2.craeate table ` table1` as select distinct * from `table0`;

  但是，这两个方法在效率上太低了，
 第一个方法执行了差不多一天时间。
 服务器的内存够，这台服务器就是专门来跑数据的。

第二个方法还在测时间，但估计不会节省多少时间。后面还有几张大数据量的表。求大神给个解决的思路。

只看楼主 引用 举报 楼主 收起
展开阅读全文
更多帖子
私信 空间 博客
致命的西瓜
等级
本版专家分：4624
勋章
Blank
GitHub 绑定GitHub第三方账户获取
Blank
红花 2016年11月 其他数据库开发大版内专家分月排行榜第一
Blank
黄花 2016年12月 其他数据库开发大版内专家分月排行榜第二
试试group by， 先找到差异数据间的字段关系，尽量不要把所有字段都放在group by 后面，如果字段够少可以试试加索引
只看TA 引用 举报 #1得分 20
更多帖子
私信 空间 博客
敲代码的胖子
等级
本版专家分：0
勋章
Blank
签到新秀 累计签到获取，不积跬步，无以至千里，继续坚持！
引用 1 楼 wangjian0228 的回复:
试试group by， 先找到差异数据间的字段关系，尽量不要把所有字段都放在group by 后面，如果字段够少可以试试加索引


   除了id之外（ID在执行这一不前已经删除）其余字段值都相同的数据行，取其中一行，用group by的话也是需要全部字段的。而且测试过，distinct相对快点。 




只看TA 引用 举报 #2得分 0
更多帖子
私信 空间 博客
敲代码的胖子
等级
本版专家分：0
勋章
Blank
签到新秀 累计签到获取，不积跬步，无以至千里，继续坚持！
之前想过用联合索引强制去除重复数据，但是这样的话就需要用所有字段，来做这个联合索引。但是一些字段的类型是text和varchar255，这样建立的联合索引的长度超过了MySQL规定的索引长度。所以也就放弃了这个方法http://blog.csdn.net/rulev5/article/details/7572482
只看TA 引用 举报 #3得分 0
更多帖子
私信 空间 博客
zhangsheng_1992
等级
本版专家分：980
我能理解成下面的样子么
ID  col1  col2
1     a             b
2     a             b
3     b             c

实际上 1跟2是重复的  要剔除1或者2吧

这样的你可以分批处理

1. col1 group by 一下   查询字段 group_concat(id) 完整语句大致如下
select group_concat(id) as ids,col1 from table group by col1;
这步是速度最慢的一步  你可以分次查询再合并

2.然后你得到col1重复的数据id集合   比如下面的格式
ids    cols1
1,2    a
3       b

3.然后你遍历每一条 比如遍历第一条    用where in ids 查询出来 然后继续 select group_concat group by cols2  这样递归下去  最后可以得到重复的id 

4.建议用多线程脚本来执行  从第二部开始 每一个脚本执行一部分的  

希望能帮到你
只看TA 引用 举报 #4得分 80
更多帖子
私信 空间 博客
敲代码的胖子
等级
本版专家分：0
勋章
Blank
签到新秀 累计签到获取，不积跬步，无以至千里，继续坚持！
引用 4 楼 zhangsheng_1992 的回复:
我能理解成下面的样子么
ID  col1  col2
1     a             b
2     a             b
3     b             c

实际上 1跟2是重复的  要剔除1或者2吧

这样的你可以分批处理

1. col1 group by 一下   查询字段 group_concat(id) 完整语句大致如下
select group_concat(id) as ids,col1 from table group by col1;
这步是速度最慢的一步  你可以分次查询再合并

2.然后你得到col1重复的数据id集合   比如下面的格式
ids    cols1
1,2    a
3       b

3.然后你遍历每一条 比如遍历第一条    用where in ids 查询出来 然后继续 select group_concat group by cols2  这样递归下去  最后可以得到重复的id 

4.建议用多线程脚本来执行  从第二部开始 每一个脚本执行一部分的  

希望能帮到你

谢谢，我试下。
只看TA 引用 举报 #5得分 0
收起
收藏 回复
敲代码的胖子

等级：

Blank
签到新秀 累计签到获取，不积跬步，无以至千里，继续坚持！
关注 私信 TA的帖子
求助！千万级MySQL去冗余数据

MySQL管理员珍藏：十大必备工具盘点

【IT168 专稿】本文的作者Daniel Nichter是MySQL工具的开发者，他为MySQL管理员推荐了十款必备工具。以下是全文内容： 　MySQL是一套需要大量辅助工具加以修复、诊断及优化的复杂系统。幸运的是，对于管理员来说...

MySQL-十大工具

本文的作者Daniel Nichter是MySQL工具的开发者，他为MySQL管理员推荐了十款必备工具。以下是全文内容： 　MySQL是一套需要大量辅助工具加以修复、诊断及优化的复杂系统。幸运的是，对于管理员来说，MySQL的高普及度...

mysql优化案例

Mysql5.1大表分区效率测试MySQL | add at 2009-03-27 12:29:31 by PConline | view:60, comment:0mysql5.1开始支持数据表分区了，原来的分表可以不用了，分表的不足在于多表查询不方便。呵呵，下面来简单测试下表...

开源分布式数据库SequoiaDB在去哪儿网的实践

首先是短短一周内，Pingcap和SequoiaDB巨杉数据库陆续宣布了C轮的数千万美元融资，融资的消息在数据库和IT圈成功“刷屏”。此后，在杭州的云栖大会上，蚂蚁金服的Oceanbase也发布了 2.0。对于这些新消息，也侧面反映...

【巨杉数据库SequoiaDB】开源分布式数据库SequoiaDB在去哪儿网的实践

首先是短短一周内，Pingcap和SequoiaDB巨杉数据库陆续宣布了C轮的数千万美元融资，融资的消息在数据库和IT圈成功“刷屏”。此后，在杭州的云栖大会上，蚂蚁金服的Oceanbase也发布了 2.0。对于这些新消息，也侧面反映...

编程新手导论（转载）

第二部分 导论，这一部分主要是关于编程的导论， (要懂得一点思想具备一点常识)《设计，编码，，与软工》（编程与思想）这一章解释了三种思想，原语，抽象，组合，，和软件开发的二个重要过程，，软件工程的相关...

编程新手导论

第二部分 导论，这一部分主要是关于编程的导论， (要懂得一点思想具备一点常识)《设计，编码，，与软工》（编程与思想）这一章解释了三种思想，原语，抽象，组合，，和软件开发的二个重要过程，，软件工程的相关...

sql性能的优化

故事开篇：你和你的团队经过不懈...　经过紧张的调查，你发现问题出在数据库上，当应用程序尝试访问/更新数据时，数据库执行得相当慢，再次深入调查数据库后，你发现数据库表增长得很大，有些表甚至有上千万行数据，

java面试题目整理

目录Java面试题整理... - 6 -Java面向对象... - 6 -1. super()与this()的区别？... - 6 -2. 作用域public,protected,private,以及不写时的区别？... - 6 -3. 编程输出如下图形。... - 6 -4. JAVA的事件委托机制...

zhihu spark集群,书籍,论文

spark集群中的节点可以只处理自身独立数据库里的数据，然后汇总吗？ 修改 我将spark搭建在两台机器上，其中一台既是master又是slave，另一台是slave，两台机器上均装有独立的mongodb数据库。我是否可以让它们...

运维面试官喜欢问的问题

你最大的缺点是什么？ 行为问题（behavioural question），这类问题目的是看性格是否合适公司文化。主要考察：①你是否真心想做这个工作；②你性格与企业文化是否相符。所有答案都应该围绕这两点组织，即每个经历都...

空格App亿元A轮融资背后：云上多场景技术架构实践与经验

直播视频： （点击图片观看） ... 3月16日云栖社区在线实时分享顺利结束，本次由空格APP技术合伙人刘博分享了空格利用阿里云服务在搜索、推荐和数据挖掘业务场景下的探索实践。本次视频直播的整理文章...

navicat简体中文版 绿色版 （64位）

解压后安装navicat，打开navicat执行PatchNavicat即破解成功。可以正常使用啦。

Android编程经典200例

资源名称：Android编程经典200例内容简介：本书通过200个经典实例全面、系统地介绍了Android平台下的软件开发知识，重点突出、涉及面广、实用性强，在实例的讲解过程中还详细分析了开发思路及侧重点，使读者达到举一反三的效果。全书分为14章，分别为：Android简介、Android简单控件的开发及应用、Android高级控件的开发及应用、手机用户界面、手机通信服务及手机控制、手机的自动服务 资源太大，传百度网盘了，链接在附件中，有需要的同学自取。

jdk全部版本下载

java jdk全部资源下载，方便，官网下载太慢，特发此一起下载

Qt 入门中文资料 Qt从入门到精通

c++ Qt中文入门教程，从Qt入门到Qt的深入研究。

MATLAB　2018a正式版【全平台官方包+图文教程+独创破解程序】

MATLAB R2018a 于16日正式发布，其中包含一系列 MATLAB/Simulink 的新功能和新产品，还包括 94 个其他产品的更新和修补程序。 解压密码：CSDN 其他说明见：https://www.52pojie.cn/thread-713048-1-1.html

非常漂亮的100个前端案例

非常漂亮的100个前端案例，包含幻灯片切换、图片缩放、相册、放大镜、图片拖着滚动等等，只有你想不到。

Office2016专业增强版中文免费正式版(附安装教程)64位

Microsoft office 2016专业增强版是一款由官方发布的Microsoft office办公软件，而且免费开放给所有Windows用户免费使用，其中Excel、word、PPT都非常智能化，界面最新加入暗黑主题，并且按钮的设计风格开始向Windows10靠拢。本平台提供Office 2016专业增强版，需要的朋友可下载试试！ Office 2016 专业增强版安装教程 1. 下载

数据结构基础系列(2)：线性表

数据结构课程是计算机类专业的专业基础课程，在IT人才培养中，起着重要的作用。课程按照大学计算机类专业课程大纲的要求，安排教学内容，满足需要系统学习数据结构的人。系列课程包含11个部分，本课为第2部分，线性表的逻辑结构，线性表的顺序表和链表两种存储结构，以及在各种存储结构中基本运算的实现，还通过相关的应用案例介绍了相关知识的应用方法。 系列课程的目标是帮助学习者系统掌握数据结构课程的相关知识，具备利用这些知识分析问题、解决问题的能力。本课是系列课程中的第2部分，具体目标包括：掌握线性表的特征以及逻辑结构定义；掌握顺序表存储结构，及各种基本运算的实现；掌握单链表存储结构，及各种基本运算的实现；了解双链表、循环链表、有序表的存储、应用；学会用线性表解决实际问题。

智商IQ与情商EQ测试题与答案汇编.pptx

智商IQ与情商EQ测试题与答案汇编，内含智商和情商测试题目及答案，仅供参考

vs 2017最新离线安装包（全功能完整版）

vs2017最新离线安装包，将官网文件整合成4个压缩包，包含所有组件的功能，安装过程无需联网。很方便。

数学建模30种基本模型分析

文中把历年来的常见的数学建模比赛模型总结在一起，便于大家的学习，总共有30中模型，每一种模型都会有详细的分析，议论文的形式展现出来......

北大中文核心期刊汇总2020最新（更新版本）.zip

本资源为北大中文核心期刊2020年最新汇总（包括两个版本）:第一个版本为《中文核心期刊要目总览》各版核心期刊索引（1992年-2020年）,第二个版本为《北大中文核心期刊汇总2017年》,第三个版本为《北大中文核心期刊汇总2020年最新》

C#学习笔记电子书

本书由浅入深地讲解Visual C# 2005编程知识，全书内容分为6篇，共27章，第一篇介绍Visual Studio 2005开发环境和c#基础；第二篇介绍.NET与C#核心技术;第三篇主要介绍Windows窗体程序；第四篇主要介绍数据处理技术；第五篇介绍了Web程序；第6篇精选了几个能囊括本书介绍的所有理论的实例，能使读者彻底精通C#编程技术。 本书内容全面，不但适合于没有任何程序语言编程基础而欲直接学习C#技术的初学者，同时也适合于有一定C#开发基础而需要加深对C#核心技术进一步了解和掌握的程序员。

APP内置IM 系统——从入门到千万级在线

IM （即时通讯）系统是一种大型实时系统，其对技术方面的要求非常高。在APP社交化的今天，很多APP都希望为自己的应用增加IM系统，但却不得其法。本课程抽丝剥茧，搭建一套简IM 系统，先让开发者了解如何实现这类系统，然后会不断的对系统进行扩展，并详述要支撑千万级别的用户，系统架构要经过哪些方面的演变，在每个阶段需要具体考量哪些因素；其中涉及到大型网络开发、协议的制定解析、数据库的优化、负载均衡、监控、测试等方面的知识。相信通过此课程，开发者对IM 系统将有一个全面的认识。 a:0:{}

c++各种小游戏（我们老师的）

这是我们老师做的，各种小游戏，我感觉还不错，所以传上来玩玩。是c++做的，有的可以用来交作业和课程设计都行的，而且对于c++游戏初学者的话很有帮助的。

18款表白网页源代码(表白)

18款表白网页源代码(表白),集合了经典款和合并3连款，直接可以发布到网站，来进行表白！！

100个精彩网页设计案例

源自国外优秀设计师的100个设计案例，打包放送

相关热词 c# cad 坐标转换 c# 窗口内运行word c#获取当前路径的上一级 c#窗体最大化控件不变 c# 程序更新程序案例 c# 中的word类库 矩阵乘法c# c# 去空格去转义符 c#用户登录窗体代码 c# 流