canal是什么？

canal [kə\’næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费

基于日志增量订阅和消费的业务包括

数据库镜像
数据库实时备份
索引构建和实时维护(拆分异构索引、倒排索引等)
业务 cache 刷新
带业务逻辑的增量数据处理

当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x

工作原理

[]( https://github.com/alibaba/ca…

基于上面的讲解，我们在实现canal之前，先简单做一个主从复制。一主一从

首先下载mysql 镜像,并启动

docker pull mysql:latest
docker run -itd --name mysql-1 -p 23306:3306 -e MYSQL_ROOT_PASSWORD=root  mysql
docker run -itd --name mysql-2 -p 23307:3306 -e MYSQL_ROOT_PASSWORD=root  mysql

相关命令再解释一下：name xxx :xxx为容器名p 111:222 其中111是宿主机端口，222是容器端口MYSQL_ROOT_PASSWORD=root 设置root账户密码为root

进入容器测试一下，一切正常

设置 mysql-1为主，mysql-2为从库
修改一下 mysql的配置，安装vim编辑器

apt-get update
apt-get install vim

在主库创建一个mysql账户给从库使用

CREATE USER \'slave\'@\'%\' IDENTIFIED BY \'123456\';
GRANT REPLICATION SLAVE, REPLICATION CLIENT ON . TO \'slave\'@\'%\';
FLUSH PRIVILEGES；

修改一下从服务器

[mysqld]
pid-file        = /var/run/mysqld/mysqld.pid
socket          = /var/run/mysqld/mysqld.sock
datadir         = /var/lib/mysql
secure-file-priv= NULL
server_id=100
log-bin=mysql-slave-bin
relay_log=edu-mysql-relay-bin

退出重启从服务器docker
进入从服务器执行

mysql> change master to master_host=\'172.17.0.4\', master_user=\'slave\', master_password=\'123456\', master_port=3306, master_log_file=\'edu-mysql-bin.000001\', master_log_pos= 877, master_connect_retry=30;

使用docker 部署canal

参考链接

docker pull canal/canal-server:latest
# 下载脚本
wget https://raw.githubusercontent.com/alibaba/canal/master/docker/run.sh 

# 构建一个destination name为test的队列， address 对应的数据库ip 端口 ，dbUsername对应数据库用户名，dbPassword对应数据库密码，注意修改为自己的
sh run.sh -e canal.auto.scan=false \
-e canal.destinations=test \
-e canal.instance.master.address=172.17.0.4:3306  \
-e canal.instance.dbUsername=canal  \
-e canal.instance.dbPassword=canal  \
-e canal.instance.connectionCharset=UTF-8 \
-e canal.instance.tsdb.enable=true \
-e canal.instance.gtidon=false  \

启动之后可以进入容器，看一下里面的日志,如果出现了标红的信息，说明成功，否则就查看里面的报错信息吧！也不难

配合php 查看数据变化（此处不限php，java,go，python等都有接口）
多语言连接 https://github.com/alibaba/canal

php 监听数据变化

canal-php

canal-php 是阿里巴巴开源项目 Canal 是阿里巴巴mysql数据库binlog的增量订阅&消费组件的 php 客户端。为 php 开发者提供一个更友好的使用 Canal 的方式。Canal 是mysql数据库binlog的增量订阅&消费组件。

基于日志增量订阅&消费支持的业务：

数据库镜像
数据库实时备份
多级索引 (卖家和买家各自分库索引)
search build
业务cache刷新
价格变化等重要业务消息

关于 Canal 的更多信息请访问 https://github.com/alibaba/canal/wiki

应用场景

canal-php 作为Canal的客户端，其应用场景就是Canal的应用场景。关于应用场景在Canal介绍一节已有概述。举一些实际的使用例子：

1.代替使用轮询数据库方式来监控数据库变更，有效改善轮询耗费数据库资源。

2.根据数据库的变更实时更新搜索引擎，比如电商场景下商品信息发生变更，实时同步到商品搜索引擎 Elasticsearch、solr等

3.根据数据库的变更实时更新缓存，比如电商场景下商品价格、库存发生变更实时同步到redis

4.数据库异地备份、数据同步

5.根据数据库变更触发某种业务，比如电商场景下，创建订单超过xx时间未支付被自动取消，我们获取到这条订单数据的状态变更即可向用户推送消息。

6.将数据库变更整理成自己的数据格式发送到kafka等消息队列，供消息队列的消费者进行消费。

工作原理

canal-php 是 Canal 的 php 客户端，它与 Canal 是采用的Socket来进行通信的，传输协议是TCP，交互协议采用的是 Google Protocol Buffer 3.0。

工作流程

使用组件安装，此处我有一个laravel框架，直接在laravel里面安装使用了，相关代码贴出

# 安装组件canal-php
 composer require xingwenge/canal_php
# 编写脚本监听

监听结果

内容出处：，

声明：本网站所收集的部分公开资料来源于互联网，转载的目的在于传递更多信息及用于网络分享，并不代表本站赞同其观点和对其真实性负责，也不构成任何其他建议。如果您发现网站上有侵犯您的知识产权的作品，请与我们取得联系，我们会及时修改或删除。文章链接：http://www.yixao.com/share/20462.html