我已经在从库上面关了slow log和general log，修改了innodb_flush_log_at_trx_commit=0，关闭了sync_binlog，也加大innodb_buffer_pool_size。
还有什么参数修改可以加速这个同步？
大家出出主意。
-
等级
本版专家分：279结帖率 97.83% -
我的主从之前发现有问题，修复后，发现有10个1G文件的bin-log 文件要同步，现在已经在同步了，但感觉同步的很慢，同步的速度赶不上master上生成新bin-log的速度，有没有什么办法可以加速这个同步。
我已经在从库上面关了slow log和general log，修改了innodb_flush_log_at_trx_commit=0，关闭了sync_binlog，也加大innodb_buffer_pool_size。
还有什么参数修改可以加速这个同步？
大家出出主意。展开阅读全文
-
等级
本版专家分：27843勋章
-
- 名人 年度总版至少三次排名前十即授予名人勋章
-
-
状元
2005年 总版技术专家分年内排行榜第一
2004年 总版技术专家分年内排行榜第一
-
-
进士
2006年 总版技术专家分年内排行榜第六
2003年 总版技术专家分年内排行榜第八
-
-
金牌
2005年6月 总版技术专家分月排行榜第一
2005年5月 总版技术专家分月排行榜第一
2005年4月 总版技术专家分月排行榜第一
2005年3月 总版技术专家分月排行榜第一
2005年2月 总版技术专家分月排行榜第一
2005年1月 总版技术专家分月排行榜第一
2004年12月 总版技术专家分月排行榜第一
2004年11月 总版技术专家分月排行榜第一
2004年10月 总版技术专家分月排行榜第一
2004年9月 总版技术专家分月排行榜第一
2004年8月 总版技术专家分月排行榜第一
2004年7月 总版技术专家分月排行榜第一
2004年6月 总版技术专家分月排行榜第一
2004年5月 总版技术专家分月排行榜第一
2004年4月 总版技术专家分月排行榜第一
2004年3月 总版技术专家分月排行榜第一
2004年1月 总版技术专家分月排行榜第一
2003年12月 总版技术专家分月排行榜第一
-
-
这种大量延迟不如重做了
-
等级
本版专家分：279
-
查询binlog 的内容，有大量的myisam 表的insert 和innodb表数据的更新，
调整了key_buffer_size，read_buffer_size，sort_buffer_size
因为还有长的事务导致单次执行的语句过长出现error_no=2013的问题，调整了max_allowed_packet的大小
现在复制的延迟已经赶上了
- Redis的主从复制是如何做的？复制过程中也会产生各种问题
点击上方“朱小厮的博客”，选择“设为星标”后台回复"书"，获取来源：urlify.cn/bQbeAf在Redis客户端通过info replication可以查看与复制相...
- MySQL主从复制原理、半同步操作步骤及原理
MySQL主从复制原理、半同步操作步骤及原理标签（空格分隔）： mysql1.1 企业Linux运维场景数据同步方案1.1.1 文件级别的异机同步方案 1、scp/sftp/nc 命令可以实现远程数据同步。 2、搭建ftp/http/svn/nfs 服务器...
- mysql主从同步原理，配置，同步延迟处理
Mysql的 Replication 是一个异步的复制过程，从一个 Mysql instace(我们称之为 Master)复制到另一个 Mysql instance(我们称之 Slave)。在 Master 与 Slave 之间的实现整个复制过程主要由三个线程来完成，其中两个...
- 存储（七）—— Replication
同步发表于个人独立博客上，那里没有广告，很是清净： http://blog.lanjingdejia.com/articles/2019/05/30/1559181690043.html The major difference between a thing that might go wrong and that cannot ...
- Transactional replication-如何跳过一个事务
在transactional replication, 经常会遇到数据同步延迟的情况。有时候这些延迟是由于在publication中执行了一个更新，例如update ta set col=? Where ?，这个更新包含巨大的数据量。在subscription端，这个更新会...
- MySQL Replication同步复制的延时监控
这段时间用MySQL的Master-Slave来实现位于两个不同IDC的数据同步（Master为windows，slave为CentOS），发现有时候延时比较大，而>show slave status\G;却显示Seconds_Behind_Master为0，只有stop slave和start slave...
- MySQL主从数据库同步延迟问题解决（转）
最近在做MySQL主从数据库同步测试，发现了一些问题，其中主从同步延迟问题是其中之一，下面内容是从网上找到的一些讲解，记录下来以便自己学习； MySQL的主从同步是一个很成熟的架构，优点为：①在从服务器可以执行...
- postgresql 监控 stream replication 的延迟情况
postgres=# select * from pg_stat_replication; -[ RECORD 1 ]----+------------------------------ pid | 8467 # sender的进程 usesysid | 44673 # 复制的用户id usename | replica # 复制的用户...
- 另辟蹊径，MySQL主从同步延迟，这样解决也挺好
一、canal是个啥？ canal是阿里开发的一款基于数据库增量日志解析，提供增量数据订阅与消费的框架，整个框架纯JAVA开发，目前仅支持Mysql和MariaDB（和mysql类似）。 那什么是数据库增量日志？...
- Mysql Replication同步总结
1. MysqlReplication同步原理 Mysql的 Replication 是一个异步的复制过程，从一个Mysql instace(我们称之为 Master)复制到另一个 Mysql instance(我们称之 Slave)。在 Master 与 Slave 之间的实现整个...
- MySql主从同步和延迟同步
MySql同步与延迟同步 Mysql同步 一 Mysql主服务器上操作 1 开启服务器上的log_bin功能 # vim/etc/my.cnf 增加一下两行 log_bin=mysql-bin server_id=1 2 重启mysql # service mysqldrestart 3 登录mysql建立...
- mysql同步(复制)延迟的原因及解决方案
同步延迟的本质 当从库跟不上主库的更新进度时就会出现同步(复制)延迟，这时在从库里，未同步的修改在relay_log里出现堆积，数据的版本也会渐渐跟主库差别越来越大。 同步延迟的原因 为了确定延迟的原因，我们需要...
- 彻底终结MySQL同步延迟问题
作为一名DBA，在工作中会经常遇到一些MySQL主从同步延迟的问题，这些同步慢的问题，其实原因非常多，可能是因为主从的网络问题导致，可能是因为网络带宽问题导致，可能是因为大事务导致，也可能是因为单线程复制导致...
- mysql主从同步-同步延迟状态考量（seconds_behind_master和pt-heartbea）
"提供的Seconds_Behind_Master值来衡量mysql主从同步的延迟情况。具体说明见：mysql主从同步(4)-Slave延迟状态监控，这种方法在大多数情况下确实是可行的。但是经验告诉我，仅仅依靠Seconds_Behind_Master的值来监测...
- 神奇的Redis延迟
最近在做某业务Redis的缩容工作，涉及到数据迁移，而Redis的数据迁移看起来蛮简单的，一对一的数据迁移只需要在slave行配置masterauth 和slaveof 两...在检查实例同步情况的时候发现了奇怪的现象：在迁移的540个实例中
- Mysql主从同步-Slave延迟状态监控
监控主从同步延迟，同步延迟的检查工作主要从下面两方面着手：1.一般的做法就是根据Seconds_Behind_Master的值来判断slave的延迟状态。 可以通过监控show slave status\G命令输出的Seconds_Behind_Master参数的值来...
- redis主从同步（replication）详解
ReplicationRedis 支持简单且易用的主从复制（master-slave replication）功能， 该功能可以让从服务器(slave server)成为主服务器(master server)的精确复制品。 以下是关于 Redis 复制功能的几个重要方面： ● ...
- UE4 网络同步Replicate 汇总
一、 官方说明： https://wiki.unrealengine.com/Replication ...三、《Exploring in UE4》关于网络同步的理解与思考[概念理解] https://zhuanlan.zhihu.com/p/34721113 四、《Exploring in UE4》...
- mysql 5.7 搭建 semisync replication 半同步复制
os: ubuntu 16.04 db: mysql 5.7.25 规划如下: 192.168.56.92 node1 # mysql master 192.168.56.90 node2 # ...mysql 传统的 master/slave 属于异步复制,主库的事务执行不会管备库的同步进度，如果备库落后，...
- MySql主从同步多久的延迟
<!DOCTYPE html> <html lang="en"&...
- HBase Replication详解
Replication：复制，指的是持续的将同一份数据拷贝到多个地方进行存储，是各种存储系统中常见而又重要的一个概念，可以指数据库中主库和从库的复制，也可以指分布式集群中多个集群之间的复制，还可以指分布式系统中...
- PostgreSQL 同步流复制延迟测试（二）
1主2从SR同步流复制测 搭建环境 服务器 | Role |- | :-: | -: | 10.10.56.16 | master 10.10.56.17 | slave1 10.10.56.19 | slave2 16查询状态 pocdb=# SELECT client_addr,application_name,sync_...
- mysql主从同步(4)-Slave延迟状态监控
之前部署了mysql主从同步环境（Mysql主从同步(1)-主从/主主环境部署梳理），针对主从同步过程中slave延迟状态的监控梳理如下： 在mysql日常维护工作中，对于主从复制的监控主要体现在： 1）检查数据是否一致；...
- kafka原理系列之（三）replication机制(复制原理)和ISR机制（同步机制）
Kafka的高可靠性的保障来源于其健壮的副本（replication）策略。通过调节其副本相关参数， 可以使得Kafka在性能和可靠性之间运转的游刃有余。Kafka从0.8.x版本开始提供partition级别的复制, replication的数量可以在...
- postgresql复制延迟
复制是一种机制，将来自一个数据库（“主”）的数据复制到另一个辅助数据库（“副本”或“备用数据库”），使其保持同步。 大多数数据库都具有支持此功能的内置机制。 为服务配置主PostgreSQL数据库后，应创建一个或...
- MYSQL主从不同步延迟原理及其建议
1. MySQL数据库主从同步延迟原理。 要说延时原理，得从mysql的数据库主从复制原理说起，mysql的主从复制都是单线程的操作， 主库对所有DDL和DML产生binlog，binlog是顺序写，所以效率很高，slave的Slave_IO_...
- MySQL主从数据库同步延迟问题解决
最近在做MySQL主从数据库同步测试，发现了一些问题，其中主从同步延迟问题是其中之一，下面内容是从网上找到的一些讲解，记录下来以便自己学习； MySQL的主从同步是一个很成熟的架构，优点为：①在从服务器可以...
- mysql replication 主从间如何延迟 --- 某大型互联网面试题
猛然间听到这样的问题，还是很惊讶的，因为我们讨论最多的是如何避免replication复制延迟，特别是在读写分离的环境下，主库或从库压力大的情况下，master写入的数据很难快速到slave，如这样的架构一主多从 ，特别是...
- PostgreSQL数据库Streaming Replication流复制主备延迟测试
PostgreSQL数据库流复制主库和备库之间的延迟时间是多少，无论对HA还是负载均衡来说都应该做个评估。比如单纯的HA架构，当主库发生故障时，我们允许多少时间内的数据丢失。不废话，直接进入本次实验测试。 测试环境...
- redis主从复制数据延迟解决方案
在 redis 主从复制模式下可能会出现 slave 延迟导致读写不一致的问题。 解决办法有2种 1. 修改从几点参数配置 从节点的 slave-serve-stale-data 参数也与此有关，它控制这种情况下从节点的表现 当从库同主机失去连接...