精华内容
下载资源
问答
  • otter

    千次阅读 2019-01-14 10:44:34
    otter https://github.com/alibaba/otter 同样是阿里巴巴开源的数据同步工具 定位: 基于数据库增量日志解析,准实时同步到本机房或异地机房的mysql/oracle数据库. 一个分布式数据库同步系统 注意:基于cannal 原理 ...

    otter

    https://github.com/alibaba/otter
    同样是阿里巴巴开源的数据同步工具
    定位: 基于数据库增量日志解析,准实时同步到本机房或异地机房的mysql/oracle数据库. 一个分布式数据库同步系统

    注意:基于cannal

    原理

    1. 基于Canal开源产品,获取数据库增量日志数据。 什么是Canal, 请点击

    2. 典型管理系统架构,manager(web管理)+node(工作节点)

      a. manager运行时推送同步配置到node节点

      b. node节点将同步状态反馈到manager上

    3. 基于zookeeper,解决分布式状态调度的,允许多node节点之间协同工作.

    说白了 cannal拿到binlog日志以后,处理完以后, 就交给这货,这货有管理配置页面。还做了一些关于可靠性和速度的考虑。

    使用

    (注意如果使用docker安装的机子上有mysql,会启动不了)
    参考issue https://github.com/alibaba/otter/issues/695
    因此在下面提供手动安装的方式
    拉docker镜像
    docker pull canal/otter-all
    创建otter目录
    cd /usr/local
    mkdir otter
    进入otter目录,运行otter镜像
    curl -fsSL https://raw.githubusercontent.com/alibaba/otter/master/docker/run.sh | bash

    手动安装

    ####manager安装
    https://github.com/alibaba/otter/wiki/Manager_Quickstart

    1. java环境 mysql等 初始化otter需要的表等 自行安装

    2. 使用docker启动zookeeper(otter依赖于zookeeper做集群管理)
      docker run --name otter-zookeeper -p 2181:2181 --restart always -d zookeeper

    3.下载otter manager https://github.com/alibaba/otter/releases 解压缩 修改配置 然后启动 等参考官方手册md文档

    node安装

    https://github.com/alibaba/otter/wiki/Node_Quickstart
    官方文档已经可以满足需求了

    展开全文
  • Otter

    2019-01-14 09:05:12
    https://blog.csdn.net/wudufeng/article/details/78688240
    展开全文
  • 阿里巴巴B2B公司,因为业务的特性,卖家主要集中在国内,买家主要集中在国外,所以衍生出了杭州和美国异地机房的需求,同时为了提升用户体验,整个机房的架构为双A,两边均可写,由此诞生了otter这样一个产品。...
  • otter源码包

    2018-03-16 10:41:11
    otter源码包,里面有otter的使用案例,透过otter源码能更好的理解和otter的用法
  • otter 基于数据库增量日志解析,准实时同步到本机房或异地机房的mysql/oracle数据库. 一个分布式数据库同步系统。 深入理解otter (偏向技术层面).pdf otter使用介绍 (偏向使用层面) .pdf
  • Otter打包文件

    2017-09-25 23:13:02
    Otter打包文件好的文件4.2.14.Otter打包文件好的文件4.2.14.Otter打包文件好的文件4.2.14.Otter打包文件好的文件4.2.14.Otter打包文件好的文件4.2.14.
  • Otter小试

    2019-08-24 23:59:46
    这是学习笔记的第2080篇文章 之前因为机房多活的需要关注了Otter,搭建这个环境算是费劲了心思,在之前准备的过程中发现GitHub上面的说明文档和实际的操作还有...
        

    这是学习笔记的第 2080 篇文章


      之前因为机房多活的需要关注了Otter,搭建这个环境算是费劲了心思,在之前准备的过程中发现GitHub上面的说明文档和实际的操作还有一些差距,有些过程也是一再中断,我不由得发出感慨,能够快速高效的尝试开源项目也是一种技术幸福感所在。

      Otter英文名是水獭,在跨机房的数据同步中使用比较广泛,它是一个web的管理服务,核心是Manger模块。当启动一个Manger服务时,可以访问它的管理界面来实现Channel、Pipleline 、数据源、数据表、zookeeper集群、主备配置。Otter就是做Canal拿到binlog日志之后做消费处理,对目标数据库进行增量日志消费,实现数据搬运工作。

     听起来有点晕,其实我的需求是能够实现跨机房的数据复制(单向,双向),但是一下子带进来一堆概念,让初学的人有些不知所措。

       我来做一些通俗的解释,首先这个项目是另外一个项目的衍生版本,那个项目就是canal,canal可以理解为一个虚拟的MySQL Slave,它可以向Master发送dump请求,然后dump根据需要推送相应的binlog,Otter算是把canal融入了一个完整的技术体系,在这里面canal可以理解为Otter体系中的一个组件。

      而跨机房的数据复制(尤其是双向复制),除了数据延迟,对于数据一致性方面的解决方案就需要严谨的多,在这里Otter有一套检验机制,而在这个过程中为了改进效率和设计的完整度,也是通过引入一些其他的组件或者概念,比如Channel,Pipeline等。

      Otter项目的架构如下:

    640?wx_fmt=png

    看这个架构图就知道里面的东西不少。如果想几个小时把它搞定还是有些难度的,所以我们会分成几篇来说。

      首先是对于环境的规划,和架构设计是紧密相关的,我们需要一台独立的管理节点,管理节点可以管理多套MySQL环境,每套环境上面有独立的Otter Node节点,同时配置了Zookeeper,会由Otter统一管理。

    640?wx_fmt=png

    对于服务器侧,可以根据需要来进行测试,比如我们选择两台服务也是可以的,可以把Manage和Node共同部署在一台机器上面,对于服务器的IP很可能有公网IP和内网IP,可以根据需求情况进行配置。 

    Otter比较有意思的是他提供了一套WEB管理页面,在部署Manage之后就可以进入WEB页面进行配置管理了。

    640?wx_fmt=png

    整个Otter的配置基本都是页面化配置。

    640?wx_fmt=png

    当然开始接触的时候还是有些不适应,而且本身这个WEB页面不可定制,本身也没有太多的改进空间了。

    首先是添加机器管理配置,添加了相应的Zookeeper集群,包括源端,目标端。

    640?wx_fmt=png

    640?wx_fmt=png然后添加Node节点,整个这样的步骤有差不多10个页面。

    640?wx_fmt=png

    640?wx_fmt=png

    未完待续

    640?

    展开全文
  • otter-manager作为otter同步的管理台,可以对zookeeper,otter-node进行管理 1.下载安装包,下载链接(需要积分或金币下载): https://download.csdn.net/download/u014642915/11389132 2.下载otter-manager库...

    otter-manager作为otter同步的管理台,可以对zookeeper,otter-node进行管理

    1.下载安装包,下载链接(需要积分或金币下载):

    https://download.csdn.net/download/u014642915/11389132

    2.下载otter-manager库初始化sql文件,下载链接(需要积分或金币下载):

    https://download.csdn.net/download/u014642915/11389136

    3.搭建MySQL数据库并创建对应的库和用户

    因为otter-manage依赖MySQL数据库,所有要搭建MySQL数据库,MySQL数据库的搭建过程参考另一篇博客:

    https://blog.csdn.net/u014642915/article/details/56484167 

    MySQL搭建完成之后创建otter库和otter用户 (可以自己定义名称)

    CREATE database otter default character set utf8;

    CREATE USER 'otter'@'localhost' IDENTIFIED BY '123456';

    GRANT all ON otter.* TO 'otter'@'localhost'; 

    验证是否能本机通过otter数据库用户登录MySQL数据库

    mysql -uotter -p123456

    然后执行第二步中下载的sql文件,依次执行里面的建表语句

    执行结果:

    4.安装otter-manager

    #mkdir /opt/otter-manager

    #tar -xzvf manager.deployer-4.2.17.tar.gz -C /opt/otter-manager/

    #mkdir /opt/otter-manager/logs

    5.配置otter-manager

    注意后面标红的是需要根据自己的实际情况进行配置的

    #cd /opt/otter-manager/conf

    #vim otter.properties 

    ## otter manager domain name
    otter.domainName = 192.168.147.129    ##本机地址,用于远程机器访问是可以正常跳转
    ## otter manager http port
    otter.port = 8080   ##访问端口,默认为8080
    ## jetty web config xml
    otter.jetty = jetty.xml

    ## otter manager database config
    otter.database.driver.class.name = com.mysql.jdbc.Driver
    otter.database.driver.url = jdbc:mysql://127.0.0.1:3306/otter     ##otter库的连接地址
    otter.database.driver.username = otter    ##数据库用户
    otter.database.driver.password = 123456    ##数据库用户对应的密码

    ## otter communication port
    otter.communication.manager.port = 1099    ##manager端口在搭建otter-node时使用

    ## otter communication payload size (default = 8388608)
    otter.communication.payload = 8388608

    ## otter communication pool size
    otter.communication.pool.size = 10

    ## default zookeeper address
    otter.zookeeper.cluster.default = 127.0.0.1:2181     ##cluster默认IP和端口,默认即可
    ## default zookeeper sesstion timeout = 60s
    otter.zookeeper.sessionTimeout = 60000

    ## otter arbitrate connect manager config
    otter.manager.address = ${otter.domainName}:${otter.communication.manager.port}

    ## should run in product mode , true/false
    otter.manager.productionMode = true

    ## self-monitor enable or disable
    otter.manager.monitor.self.enable = true
    ## self-montir interval , default 120s
    otter.manager.monitor.self.interval = 120
    ## auto-recovery paused enable or disable
    otter.manager.monitor.recovery.paused = true
    # manager email user config
    otter.manager.monitor.email.host = smtp.gmail.com
    otter.manager.monitor.email.username = 
    otter.manager.monitor.email.password = 
    otter.manager.monitor.email.stmp.port = 465
     

    6.启动otter-manager服务并检查是否启动成功

    #cd /opt/otter-manager/bin/

    #sh start.sh

    检查日志是否启动成功

    #cat /opt/otter-manager/logs/manager.log 

    看到日志中带有the manager server is running now 字样表示启成功

     [] INFO  com.alibaba.otter.manager.deployer.OtterManagerLauncher - ## the manager server is running now ......

     

    7.登录otter-manager管理页面 

    http://192.168.147.129:8080   用户名账号密码(默认):admin/admin

    出现如下界面表示登录成功

     

    至此otter-manager已经搭建好了!

    展开全文
  • 深入理解otter

    2018-03-27 15:23:01
    Otter的设计文档,里面详细介绍了otter的设计理念,解决跨国IDC数据同步问题。
  • Otter配置教程,otter从入门配置到高级配置,适合入门学习以及配置参考
  • otter基于docker安装

    万次阅读 2020-07-22 13:17:08
    名称:otter ['ɒtə(r)] 译意: 水獭,数据搬运工 语言: 纯java开发 定位: 基于数据库增量日志解析,准实时同步到本机房或异地机房的mysql/oracle数据库. 一个分布式数据库同步系统 工作原理 原理描述:...
  • otter4使用介绍

    2018-04-24 18:36:06
    otter4使用介绍otter4使用介绍otter4使用介绍otter4使用介绍otter4使用介绍otter4使用介绍otter4使用介绍otter4使用介绍otter4使用介绍otter4使用介绍otter4使用介绍otter4使用介绍otter4使用介绍otter4使用介绍
  • otter-node

    2016-05-17 22:55:18
    otter-node
  • otter自定义扩展otter支持数据处理自定义过程。Extract模块:EventProcessor : 自定义数据处理,可以改变一条变更数据的任意内容FileResolver : 解决数据和文件的关联关系目前两者都只支持java语言编写,但都支持...
  • otter安装部署

    2018-04-08 11:24:22
    otter安装部署详细步骤,实现mysql复制同步,附带两个操作实例!
  • otter搭建

    2019-06-04 16:43:48
    初始化otter http://域名/system_reduction.htm 问题1: 使用mysql 5.7版本,下载otter-manager-schema.sql文件,导入出错 ERROR 1067 (42000) at line 5: Invalid default value for 'GMT_CREATE' 解决方法: 修改....
  • Otter详解

    千次阅读 2018-11-25 14:46:04
    otter girthub链接: https://github.com/alibaba/otter 整体架构 子模块解释 zooKeeper 分布式一致性协调服务,主要用来调度配置好的node模块。 manager 管理中心,用来配置同步信息,接收node模块发来的状态...
  • 深入理解otter,利用OTTER实现准实时ETL、数据同步 1. 中美同步需求 2. otter架构&设计 如何解决"差"网络 如何避免双向回环 如何处理数据一致性 如何高效同步数据 如何高效同步文件 如何支持系统HA 如何处理特殊...
  • Added otter-browser

    2020-12-09 13:33:04
    - [ ] <a href="#crh-comment-Pull%2070c16f24c55da8d00e504c66f13b3f62d8eefc1b%20otter-browser/snapcraft.yaml%2026"></a>  ..." /></a> Can you change this to <code>desktop-qt5</code> instead?...
  • otter使用

    2018-10-22 18:23:00
    参考网址:https://github.com/alibaba/otter/wiki/QuickStart 参考网址: ... 1.zookeeper启动 参见Zookpeer集群节点 2. 创建otter manager的表数据 ...
  • alibaba-otter

    2016-09-30 20:31:37
    阿里巴巴B2B公司,因为业务的特性,卖家主要集中在国内,买家主要集中在国外,所以衍生出了杭州和美国异地机房的需求,同时为了提升用户体验,整个机房的架构为双A,两边均可写,由此诞生了otter这样一个产品。...
  • 压缩包里面有:aria2-1.17.1.tar.gz,jdk-7u79-linux-x64.tar.gz,manager.deployer-4.2.13.tar.gz,node.deployer-4.2.13.tar.gz,zookeeper-3.4.5-cdh4.3.0.tar.gz,深入理解otter.pptx,otter4使用介绍.pptx
  • otter实现数据同步,otter manger的安装

    千次阅读 2019-07-11 11:00:48
    otter node依赖于zookeeper进行分布式调度,需要安装一个zookeeper节点或者集群.zookeeper的安装可以参考我之前写的另外一篇博客docker-compose 部署zk和kafka otter环境搭建步骤:docker安装参考官网,不过我尝试...
  • otter-4.2.13

    2017-10-26 15:13:34
    包括manager.deployer-4.2.13、node.deployer-4.2.13和otter-manager-schema.sql(数据库文件),配置参考...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,628
精华内容 651
热门标签
关键字:

otter