otter
https://github.com/alibaba/otter

同样是阿里巴巴开源的数据同步工具

定位： 基于数据库增量日志解析，准实时同步到本机房或异地机房的mysql/oracle数据库. 一个分布式数据库同步系统
注意：基于cannal
原理


基于Canal开源产品，获取数据库增量日志数据。 什么是Canal, 请点击


典型管理系统架构，manager(web管理)+node(工作节点)
a. manager运行时推送同步配置到node节点
b. node节点将同步状态反馈到manager上


基于zookeeper，解决分布式状态调度的，允许多node节点之间协同工作.


说白了 cannal拿到binlog日志以后，处理完以后， 就交给这货，这货有管理配置页面。还做了一些关于可靠性和速度的考虑。
使用
（注意如果使用docker安装的机子上有mysql，会启动不了）

参考issue https://github.com/alibaba/otter/issues/695

因此在下面提供手动安装的方式

拉docker镜像

docker pull canal/otter-all

创建otter目录

cd /usr/local

mkdir otter

进入otter目录，运行otter镜像

curl -fsSL https://raw.githubusercontent.com/alibaba/otter/master/docker/run.sh | bash
手动安装
####manager安装

https://github.com/alibaba/otter/wiki/Manager_Quickstart


java环境  mysql等 初始化otter需要的表等  自行安装


使用docker启动zookeeper(otter依赖于zookeeper做集群管理)

docker run --name otter-zookeeper -p 2181:2181 --restart always -d zookeeper


3.下载otter manager https://github.com/alibaba/otter/releases 解压缩  修改配置  然后启动  等参考官方手册md文档
node安装
https://github.com/alibaba/otter/wiki/Node_Quickstart

官方文档已经可以满足需求了

https://blog.csdn.net/wudufeng/article/details/78688240

    

                    

                    

                    
                    
                    
这是学习笔记的第 2080 篇文章

  之前因为机房多活的需要关注了Otter,搭建这个环境算是费劲了心思，在之前准备的过程中发现GitHub上面的说明文档和实际的操作还有一些差距，有些过程也是一再中断，我不由得发出感慨，能够快速高效的尝试开源项目也是一种技术幸福感所在。
  Otter英文名是水獭，在跨机房的数据同步中使用比较广泛，它是一个web的管理服务，核心是Manger模块。当启动一个Manger服务时，可以访问它的管理界面来实现Channel、Pipleline 、数据源、数据表、zookeeper集群、主备配置。Otter就是做Canal拿到binlog日志之后做消费处理，对目标数据库进行增量日志消费，实现数据搬运工作。
 听起来有点晕，其实我的需求是能够实现跨机房的数据复制（单向，双向），但是一下子带进来一堆概念，让初学的人有些不知所措。
   我来做一些通俗的解释，首先这个项目是另外一个项目的衍生版本，那个项目就是canal,canal可以理解为一个虚拟的MySQL Slave,它可以向Master发送dump请求，然后dump根据需要推送相应的binlog，Otter算是把canal融入了一个完整的技术体系，在这里面canal可以理解为Otter体系中的一个组件。
  而跨机房的数据复制（尤其是双向复制），除了数据延迟，对于数据一致性方面的解决方案就需要严谨的多，在这里Otter有一套检验机制，而在这个过程中为了改进效率和设计的完整度，也是通过引入一些其他的组件或者概念，比如Channel,Pipeline等。
  Otter项目的架构如下：
看这个架构图就知道里面的东西不少。如果想几个小时把它搞定还是有些难度的，所以我们会分成几篇来说。
  首先是对于环境的规划，和架构设计是紧密相关的，我们需要一台独立的管理节点，管理节点可以管理多套MySQL环境，每套环境上面有独立的Otter Node节点，同时配置了Zookeeper,会由Otter统一管理。
对于服务器侧，可以根据需要来进行测试，比如我们选择两台服务也是可以的，可以把Manage和Node共同部署在一台机器上面，对于服务器的IP很可能有公网IP和内网IP，可以根据需求情况进行配置。 
Otter比较有意思的是他提供了一套WEB管理页面，在部署Manage之后就可以进入WEB页面进行配置管理了。
整个Otter的配置基本都是页面化配置。
当然开始接触的时候还是有些不适应，而且本身这个WEB页面不可定制，本身也没有太多的改进空间了。
首先是添加机器管理配置，添加了相应的Zookeeper集群，包括源端，目标端。
然后添加Node节点，整个这样的步骤有差不多10个页面。
未完待续

                
  

otter-manager作为otter同步的管理台，可以对zookeeper，otter-node进行管理

1.下载安装包，下载链接（需要积分或金币下载）：

https://download.csdn.net/download/u014642915/11389132

2.下载otter-manager库初始化sql文件，下载链接（需要积分或金币下载）：

https://download.csdn.net/download/u014642915/11389136

3.搭建MySQL数据库并创建对应的库和用户

因为otter-manage依赖MySQL数据库，所有要搭建MySQL数据库，MySQL数据库的搭建过程参考另一篇博客：

https://blog.csdn.net/u014642915/article/details/56484167 

MySQL搭建完成之后创建otter库和otter用户 （可以自己定义名称）

CREATE database otter default character set utf8;

CREATE USER 'otter'@'localhost' IDENTIFIED BY '123456';

GRANT all ON otter.* TO 'otter'@'localhost'; 

验证是否能本机通过otter数据库用户登录MySQL数据库

mysql -uotter -p123456

然后执行第二步中下载的sql文件，依次执行里面的建表语句

执行结果：



4.安装otter-manager

#mkdir /opt/otter-manager

#tar -xzvf manager.deployer-4.2.17.tar.gz -C /opt/otter-manager/

#mkdir /opt/otter-manager/logs

5.配置otter-manager

注意后面标红的是需要根据自己的实际情况进行配置的

#cd /opt/otter-manager/conf

#vim otter.properties 

## otter manager domain name

otter.domainName = 192.168.147.129    ##本机地址，用于远程机器访问是可以正常跳转

## otter manager http port

otter.port = 8080   ##访问端口，默认为8080

## jetty web config xml

otter.jetty = jetty.xml

## otter manager database config

otter.database.driver.class.name = com.mysql.jdbc.Driver

otter.database.driver.url = jdbc:mysql://127.0.0.1:3306/otter     ##otter库的连接地址

otter.database.driver.username = otter    ##数据库用户

otter.database.driver.password = 123456    ##数据库用户对应的密码

## otter communication port

otter.communication.manager.port = 1099    ##manager端口在搭建otter-node时使用

## otter communication payload size (default = 8388608)

otter.communication.payload = 8388608

## otter communication pool size

otter.communication.pool.size = 10

## default zookeeper address

otter.zookeeper.cluster.default = 127.0.0.1:2181     ##cluster默认IP和端口，默认即可

## default zookeeper sesstion timeout = 60s

otter.zookeeper.sessionTimeout = 60000

## otter arbitrate connect manager config

otter.manager.address = ${otter.domainName}:${otter.communication.manager.port}

## should run in product mode , true/false

otter.manager.productionMode = true

## self-monitor enable or disable

otter.manager.monitor.self.enable = true

## self-montir interval , default 120s

otter.manager.monitor.self.interval = 120

## auto-recovery paused enable or disable

otter.manager.monitor.recovery.paused = true

# manager email user config

otter.manager.monitor.email.host = smtp.gmail.com

otter.manager.monitor.email.username = 

otter.manager.monitor.email.password = 

otter.manager.monitor.email.stmp.port = 465

 

6.启动otter-manager服务并检查是否启动成功

#cd /opt/otter-manager/bin/

#sh start.sh

检查日志是否启动成功

#cat /opt/otter-manager/logs/manager.log 

看到日志中带有the manager server is running now 字样表示启成功

 [] INFO  com.alibaba.otter.manager.deployer.OtterManagerLauncher - ## the manager server is running now ......

 

7.登录otter-manager管理页面 

http://192.168.147.129:8080   用户名账号密码（默认）：admin/admin

出现如下界面表示登录成功



 

至此otter-manager已经搭建好了！