MySQL source数据速度慢的问题

BI-DA-刘恒 2015-02-14 01:39:16

问题如下：

部门有一台MySQL服务器前段时间故障了，首先是系统的superblock坏了，经过SA的修复，解决了。然后在启动MySQL的时候，报了ibd文件损坏的错误。然后DBA介入，hijack的/data文件夹下的表，将表dump了出来。所以这些数据现在都是.sql，我现在的工作是将这些数据souce回MySQL。

用python写了个脚本，用threading模块开了200个session同时source数据，一开始的时候速度很快，硬盘写速度达到120+MB/S，但是写了几百G数据之后，速度就满了，硬盘写的速度只有平均40MB/S了。按照这个速度下去，整个数据库接近8T的数据，需要差不多1个月才能恢复完。

恢复的表都是innodb，有近4W张表。

请问有前辈遇到过类似的问题吗？

...全文

669 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

rucypli 2015-02-15

打赏
举报

回复

速度挺正常的 1 换配置更好的机器（io，cpu 内存） 2 优先恢复要使用的表

ACMAIN_CHM 2015-02-15

打赏
举报

回复

看一下磁盘空间，估计是在IBDATA文件自动增长时花了窗外的时间。一次性把IBDATA文件设置到需要的大小，这样可以在磁盘上获得连续的分配簇。

数据分析师，必备技能ESP，Excel，SQL，Python互联网数据应用Mysql对于数据存储，大数据分析应用有着非常重要的地位，本课程为互联网SQL技术应用Mysql实践操作，从入门知识到实践应用，每个知识都会有相应的实践操作部分，案例部分，真正做到包学包会，适应互联网对于大数据应用存储，查询，统计与分析，结果数据可视化的应用，充分将数据发挥其作用。记住实践很重要记住实操很重要记住动手能力很重要

解决MySQL导入数据量大速度慢问题

设置连接 mysql -u root -p -h 127.0.0.1 mysql>use test; Database changed mysql> set global innodb_flush_log_at_trx_commit=0; Query OK, 0 rows affected (0.03 sec) mysql> set global max_allowed_packet=1024*1024*20; Query OK, 0 rows affected (0.00 s

目前遇到一个问题，mysql使用source命令导入 *.sql 数据文件时，运行的很慢，大概一秒钟插入个一两百条左右的样子，对于大的文件来说这个太慢了，从其他博主那边搜集了一些方案，简单说就是一句话：SET GLOBAL innodb_flush_log_at_trx_commit = 2;1.登入mysqlmysql -uroot -p***2.查看mysql中对于参数 innodb_flus...

mysql source 导入导出数据为乱码一、导入数据1、确定数据库默认编码，比如编码为gbk,将读入途径编码同样设为gbk，命令为：set names gbk;2、sourced:/20080613.sql 导入数据。验证数据库中的数据是否存在乱码。3、如果仍然存在乱码问题，这时候就要考虑改变导入文件的编码，试着导入，直至没有乱码出现。网页数据存入乱码问题依照以上方法同样可以解决。可将网页编码...

56,679

社区成员

56,709

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章