为了实现 实时同步数据,在mac环境搭建了canal,mysql,kafka的一套流程
专注于为中小企业提供成都网站制作、网站设计、外贸网站建设服务,电脑端+手机端+微信端的三站合一,更高效的管理,为中小企业囊谦免费做网站提供优质的服务。我们立足成都,凝聚了一批互联网行业人才,有力地推动了1000多家企业的稳健成长,帮助中小企业通过网站建设实现规模扩充和转变。使用canal加mysql加kafka的方式传递数据
mysql 数据源头
canal模仿slave冲mysql取数据。。是一个管道
kafka 将canal获取的数据放入kafka 。然后消费(程序获取kafka的队列。消费数据)
mysql安装
这个就不详述了。。不要安装最新版的mysql。本人亲测8.0版本和canal不一定能很好的兼容
所以。。安装了mysql5.7
安装命令(这样安装 安装的是8.0版本)
brew install mysql
2.java安装
不管是canal还是kafka都是需要java环境的。。
也不能用最新版的java,推荐使用java8也就是jdk8
最好是从官网oracle下载
安装方法:
https://blog.csdn.net/oumuv/article/details/84064169
3.canal安装
在装calal之前 确保mysql 及 java8 环境安装好了
下载地址: https://github.com/alibaba/canal/releases
下载 canal.deployer-1.1.4.tar.gz
在家目录下面新建一个canal目录.直接解压就行
官方文件已经编译好了,不需再编译
需要添加账户(canal@%及canal@local)
在canal/bin目录下有几个脚本文件,startup.sh 启动服务用的,stop.sh 停止服务用的
在canal/logs目录下放的是日志文件。
在canal/conf目录下放的是配置文件。
实例配置文件
canal/conf/example/instance.properties
实例的配置文件。。决定了 你连接哪个实例的数据库 可以精确到表
instance.properties中比较重要的参数
#实例
canal.instance.master.address = 127.0.0.1:3306
#db
canal.instance.dbUsername = canal
canal.instance.dbPassword = canal
canal.instance.defaultDatabaseName =test
canal.instance.connectionCharset = UTF-8
#table
# table regex
canal.instance.filter.regex = test.ttt
#mq topic
canal.mq.topic=test12345
上面这样配置 就代表了。。通过canal连接127.0.0.1中的test库的ttt表,放到一个叫做test12345的topic里面
验证canal是否和mysql连接 只需要在mysql的进程里面查看是否有一个复制连接(因为canal就是模仿了一个slave)
还有一个全局的文件
表示了需要连接的kafka zookeeper等
canal/conf/canal.properties
列举canal连接kafka的重要参数
canal.id= 1#如果有多个canal 这个值和集群中的canal不能冲突
canal.ip=172.17.61.113#canal的ip
canal.port= 11111
canal.zkServers=172.17.61.113:2181#zookeeper的ip:port
canal.serverMode = kafka
canal.destinations = example
#mq
canal.mq.servers = 172.17.61.113:9092#kafka的ip:port
上面有些关于kafka的参数 是 需要kafka安装好之后才能陪得(因为已经装好了 所以先列举出来)
4.kafka安装
kafka安装时需要zookeeper的。。
但是一般zookeeper会集成在kafka里面 所以不需要特别单独安装(也可以单独安装)
mac环境安装命令如下
brew install kafka
一直等安装完成就行
运行kafka是需要依赖于zookeeper的,所以安装kafka的时候也会包含zookeeper。
kafka的安装目录:/usr/local/Cellar/kafka/2.0.0/bin
kafka的配置文件目录:/usr/local/Cellar/kafka/2.0.0/bin
kafka服务的配置文件:/usr/local/etc/kafka/server.properties
zookeeper配置文件: /usr/local/etc/kafka/zookeeper.properties
# server.properties中的重要配置 需要修改的参数