MySQL如何实时同步数据到ES?试试这款阿里开源的神器!

canal简介

canal主要用途是对MySQL数据库增量日志进行解析,提供增量数据的订阅和消费,简单说就是可以对MySQL的增量数据进行实时同步,支持同步到MySQL、Elasticsearch、HBase等数据存储中去。

canal工作原理

canal会模拟MySQL主库和从库的交互协议,从而伪装成MySQL的从库,然后向MySQL主库发送dump协议,MySQL主库收到dump请求会向canal推送binlog,canal通过解析binlog将数据同步到其他存储中去。

MySQL如何实时同步数据到ES?试试这款阿里开源的神器!

canal使用

接下来我们来学习下canal的使用,以MySQL实时同步数据到Elasticsearch为例。

组件下载

首先我们需要下载canal的各个组件canal-servercanal-adaptercanal-admin,下载地址:https://github.com/alibaba/canal/releases

MySQL如何实时同步数据到ES?试试这款阿里开源的神器!
  • canal的各个组件的用途各不相同,下面分别介绍下:
    • canal-server(canal-deploy):可以直接监听MySQL的binlog,把自己伪装成MySQL的从库,只负责接收数据,并不做处理。
    • canal-adapter:相当于canal的客户端,会从canal-server中获取数据,然后对数据进行同步,可以同步到MySQL、Elasticsearch和HBase等存储中去。
    • canal-admin:为canal提供整体配置管理、节点运维等面向运维的功能,提供相对友好的WebUI操作界面,方便更多用户快速和安全的操作。
  • 由于不同版本的MySQL、Elasticsearch和canal会有兼容性问题,所以我们先对其使用版本做个约定。
应用端口版本
MySQL33065.7
Elasticsearch92007.10.1
Kibanba56017.10.1
canal-server111111.1.15
canal-adapter80811.1.15
canal-admin80891.1.15

MySQL配置

由于canal是通过订阅MySQL的binlog来实现数据同步的,所以我们需要开启MySQL的binlog写入功能,并设置binlog-format为ROW模式,我的配置文件为/mydata/mysql/conf/my.cnf,改为如下内容即可:

配置完成后需要重新启动MySQL,重启成功后通过如下命令查看binlog是否启用:

再查看下MySQL的binlog模式:

接下来需要创建一个拥有从库权限的账号,用于订阅binlog,这里创建的账号为canal:canal

创建好测试用的数据库canal-test,之后创建一张商品表product,建表语句如下:

canal-server使用

将我们下载好的压缩包canal.deployer-1.1.5-SNAPSHOT.tar.gz上传到Linux服务器,然后解压到指定目录/mydata/canal-server,可使用如下命令解压:

解压完成后目录结构如下;

修改配置文件conf/example/instance.properties,按如下配置即可,主要是修改数据库相关配置:

使用startup.sh脚本启动canal-server服务:

启动成功后可使用如下命令查看服务日志信息:

启动成功后可使用如下命令查看instance日志信息:

如果想要停止canal-server服务可以使用如下命令:

canal-adapter使用

将我们下载好的压缩包canal.adapter-1.1.5-SNAPSHOT.tar.gz上传到Linux服务器,然后解压到指定目录/mydata/canal-adpter,解压完成后目录结构如下:

修改配置文件conf/application.yml,按如下配置即可,主要是修改canal-server配置、数据源配置和客户端适配器配置:

添加配置文件canal-adapter/conf/es7/product.yml,用于配置MySQL中的表与Elasticsearch中索引的映射关系:

使用startup.sh脚本启动canal-adapter服务:

启动成功后可使用如下命令查看服务日志信息:

如果需要停止canal-adapter服务可以使用如下命令:

数据同步演示

经过上面的一系列步骤,canal的数据同步功能已经基本可以使用了,下面我们来演示下数据同步功能。

首先我们需要在Elasticsearch中创建索引,和MySQL中的product表相对应,直接在Kibana的Dev Tools中使用如下命令创建即可:

MySQL如何实时同步数据到ES?试试这款阿里开源的神器!

创建完成后可以查看下索引的结构:

MySQL如何实时同步数据到ES?试试这款阿里开源的神器!

之后使用如下SQL语句在数据库中创建一条记录:

创建成功后,在Elasticsearch中搜索下,发现数据已经同步了。

MySQL如何实时同步数据到ES?试试这款阿里开源的神器!

再使用如下SQL对数据进行修改:

修改成功后,在Elasticsearch中搜索下,发现数据已经修改了。

MySQL如何实时同步数据到ES?试试这款阿里开源的神器!

再使用如下SQL对数据进行删除操作:

删除成功后,在Elasticsearch中搜索下,发现数据已经删除了,至此MySQL同步到Elasticsearch的功能完成了!

MySQL如何实时同步数据到ES?试试这款阿里开源的神器!

canal-admin使用

将我们下载好的压缩包canal.admin-1.1.5-SNAPSHOT.tar.gz上传到Linux服务器,然后解压到指定目录/mydata/canal-admin,解压完成后目录结构如下:

创建canal-admin需要使用的数据库canal_manager,创建SQL脚本为/mydata/canal-admin/conf/canal_manager.sql,会创建如下表:

MySQL如何实时同步数据到ES?试试这款阿里开源的神器!

修改配置文件conf/application.yml,按如下配置即可,主要是修改数据源配置和canal-admin的管理账号配置,注意需要用一个有读写权限的数据库账号,比如管理账号root:root

接下来对之前搭建的canal-serverconf/canal_local.properties文件进行配置,主要是修改canal-admin的配置,修改完成后使用sh bin/startup.sh local重启canal-server

使用startup.sh脚本启动canal-admin服务:

启动成功后可使用如下命令查看服务日志信息:

访问canal-admin的Web界面,输入账号密码admin:123456即可登录,访问地址:http://192.168.3.101:8089

MySQL如何实时同步数据到ES?试试这款阿里开源的神器!

登录成功后即可使用Web界面操作canal-server。

MySQL如何实时同步数据到ES?试试这款阿里开源的神器!

参考资料

canal官方文档:https://github.com/alibaba/canal/wiki

本文为转载文章,贵在分享,版权归原作者及原出处所有,如涉及版权等问题,请及时与我联系。
原文出处:macrozheng
原文链接:https://segmentfault.com/a/1190000038264508

发表评论

邮箱地址不会被公开。 必填项已用*标注