“Canal”的版本间的差异

2024年7月13日 (六) 09:58的最新版本

https://github.com/alibaba/canal/wiki/QuickStart

MySQL主备复制原理

MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志事件binary log events，可以通过 show binlog events 进行查看)
MySQL slave 将 master 的 binary log events 拷贝到它的中继日志(relay log)
MySQL slave 重放 relay log 中事件，将数据变更反映它自己的数据

canal 工作原理

canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议
MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )
canal 解析 binary log 对象(原始为 byte 流)

为 canal 配置权限

CREATE USER canal IDENTIFIED BY 'canal';  
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
-- GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ;
FLUSH PRIVILEGES;

下载

canal.deployer-1.1.7.tar.gz

canal server 的配置

下面这个配置的是 canal 接收到变更会通知到哪

canal.deployer-1.1.7\conf\canal.properties

canal.port = 11111
# tcp, kafka, rocketMQ, rabbitMQ, pulsarMQ
canal.serverMode = tcp
canal.destinations = example

destinations 对应就是下面的同步源目录名

下面这个配置是 canal 去跟踪哪个库的 binlog

canal.deployer-1.1.7\example\instance.properties

example 就是库名，如果要同时跟踪多个库，就复制除多个目录，进行对应的配置

instance.properties

canal.instance.master.address=127.0.0.1:3306
canal.instance.dbUsername=canal
canal.instance.dbPassword=canal

同步来源的 IP、端口、账号、密码

Java

示例

@@ 第12行： / 第12行： @@
 * MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )
 * canal 解析 binary log 对象(原始为 byte 流)
+[[文件:Canal原理.png|无|缩略图|900x900像素]]
 === 为 canal 配置权限 ===
@@ 第33行： / 第34行： @@
 canal.serverMode = tcp
 canal.destinations = example
-</syntaxhighlight>
+</syntaxhighlight>destinations 对应就是下面的同步源目录名
 ==== 下面这个配置是 canal 去跟踪哪个库的 binlog ====
-canal.deployer-1.1.7\example\instance.properties<syntaxhighlight lang="console">
+canal.deployer-1.1.7\example\instance.properties
+example 就是库名，如果要同时跟踪多个库，就复制除多个目录，进行对应的配置
+==== instance.properties ====
+<syntaxhighlight lang="console">
 canal.instance.master.address=127.0.0.1:3306
 canal.instance.dbUsername=canal
 canal.instance.dbPassword=canal
-</syntaxhighlight>example 就是库名，如果要同时跟踪多个库，就复制除多个目录，进行对应的配置
+</syntaxhighlight>同步来源的 IP、端口、账号、密码
+=== Java ===
+[https://github.com/alibaba/canal/wiki/ClientExample#%E4%BB%8E%E5%A4%B4%E5%88%9B%E5%BB%BA%E5%B7%A5%E7%A8%8B 示例]