目录

第一章：datax概述

第二章：核心模块介绍

第三章：安装datax

1、datax下载地址

2、将datax.tar.gz放到服务器，并解压

3、运行自检脚本

4、报错处理

5、出现下图结果，则表示datax安装成功

第四章 datax-web的安装

1、下载datax-web

2、将下载好的datax-web-2.1.2.tar.gz放到服务器并解压

3、进入解压后的目录，进行安装

4、修改控制器datax-admin配置文件

5、修改执行器配置文件

6、导入datax-web.sql进MySQL

7、启动datax-web

8、登录界面

第一章：datax概述

DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。

DataX本身作为离线数据同步框架，采用Framework + plugin架构构建。将数据源读取和写入抽象成为Reader/Writer插件，纳入到整个同步框架中。

Reader：Reader为数据采集模块，负责采集数据源的数据，将数据发送给Framework。
Writer： Writer为数据写入模块，负责不断向Framework取数据，并将数据写入到目的端。
Framework：Framework用于连接reader和writer，作为两者的数据传输通道，并处理缓冲，流控，并发，数据转换等核心技术问题。

第二章：核心模块介绍

1. DataX完成单个数据同步的作业，我们称之为Job，DataX接受到一个Job之后，将启动一个进程来完成整个作业同步过程。DataX Job模块是单个作业的中枢管理节点，承担了数据清理、子任务切分(将单一作业计算转化为多个子Task)、TaskGroup管理等功能。
2. DataXJob启动后，会根据不同的源端切分策略，将Job切分成多个小的Task(子任务)，以便于并发执行。Task便是DataX作业的最小单元，每一个Task都会负责一部分数据的同步工作。
3. 切分多个Task之后，DataX Job会调用Scheduler模块，根据配置的并发数据量，将拆分成的Task重新组合，组装成TaskGroup(任务组)。每一个TaskGroup负责以一定的并发运行完毕分配好的所有Task，默认单个任务组的并发数量为5。
4. 每一个Task都由TaskGroup负责启动，Task启动后，会固定启动Reader—>Channel—>Writer的线程来完成任务同步工作。
5. DataX作业运行起来之后， Job监控并等待多个TaskGroup模块任务完成，等待所有TaskGroup任务完成后Job成功退出。否则，异常退出，进程退出值非0 DataX调度流程：
6. 举例来说，用户提交了一个DataX作业，并且配置了20个并发，目的是将一个100张分表的mysql数据同步到odps里面。 DataX的调度决策思路是：DataXJob根据分库分表切分成了100个Task。 根据20个并发，DataX计算共需要分配4个TaskGroup。 4个TaskGroup平分切分好的100个Task，每一个TaskGroup负责以5个并发共计运行25个Task。

第三章：安装datax

1、datax下载地址

http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz   
源码地址： https://github.com/alibaba/DataX

2、将datax.tar.gz放到服务器，并解压

tar -zxvf datax.tar.gz #解压到当前目录
tar -zxvf datax.tar.gz -C /usr/local/ #解压到指导目录-C 后面的参数为想要解压到的目录

3、运行自检脚本

cd bin
 ./datax.py ../job/job.json

4、报错处理

[main] WARN  ConfigParser - 插件[streamreader,streamwriter]加载失败，1s后重试... Exception:Code:[Common-00], Describe:[您提供的配置文件存在错误信息，请检查您的作业配置 .]

如果需要这个错误，请进入plugin/reader 和 plugin/writer，使用ls -al 命令查看目录，删除里面所有以点开头的文件
rm -rf ./._*
再次执行步骤3)中的命令

5、出现下图结果，则表示datax安装成功

第四章 datax-web的安装

1、下载datax-web

下载官方提供的版本tar版本包
https://pan.baidu.com/s/13yoqhGpD00I82K4lOYtQhg
提取码：cpsk

2、将下载好的datax-web-2.1.2.tar.gz放到服务器并解压

tar -zxvf datax-web-2.1.2.tar.gz

3、进入解压后的目录，进行安装

进入解压后的目录，找到bin目录下面的install.sh文件，如果选择交互式的安装，则直接执行
./bin/install.sh
在交互过程中，如果服务器上存在MySQL则会出现填写MySQL信息的交互语句；如果服务器上没有安装MySQL则不显示。
在交互模式下，对各个模块的package压缩包的解压以及configure配置脚本的调用，都会请求用户确认,可根据提示查看是否安装成功，如果没有安装成功，可以重复尝试； 如果不想使用交互模式，跳过确认过程，则执行以下命令安装
./bin/install.sh --force

4、修改控制器datax-admin配置文件

首先修改./datax-web-2.1.2/modules/datax-admin/conf/application.yml

cd ./datax-web-master/datax-admin/src/main/resources
vi application.yml

server:
  port: 18010
  #port: ${server.port}
spring:
  #数据源
  datasource:
    username: datax
    password: 111111
    url: jdbc:mysql://127.0.0.1:19013/datax_web?serverTimezone=Asia/Shanghai&useLegacyDatetimeCode=false&useSSL=false&nullNamePatternMatchesAll=true&useUnicode=true&characterEncoding=UTF-8

再修改./datax-web-2.1.2/modules/datax-admin/bin/env.properties  
修改SERVER_PORT=端口，和application.yml中的保持一致即可

5、修改执行器配置文件

首先修改./datax-web-2.1.2/modules/datax-executor/conf/application.yml

 执行器配置文件原文：

cd ./datax-web-master/datax-executor/src/main/resources
vi application.yml
# web port
server:
  #port: ${server.port}
  port: 18011

# log config
logging:
  config: classpath:logback.xml
  path: ${data.path}/applogs/executor/jobhandler
  #path: ./data/applogs/executor/jobhandler

datax:
  job:
    admin:
      ### datax admin address list, such as "http://address" or "http://address01,http://address02"
      addresses: http://127.0.0.1:18010
      #addresses: http://127.0.0.1:${datax.admin.port}
    executor:
      appname: datax-executor
      ip:
      #port: 9999
      port: ${executor.port:9999}
      ### job log path
      logpath: ./data/applogs/executor/jobhandler
      #logpath: ${data.path}/applogs/executor/jobhandler
      ### job log retention days
      logretentiondays: 30
    ### job, access token
    accessToken:
  executor:
    jsonpath: /data/datax/script
    #jsonpath: ${json.path}
  pypath: /data/datax/bin/datax.py
  #pypath: ${python.path}

再修改./datax-web-2.1.2/modules/datax-executor/bin/env.properties
## 保持和datax-admin端口一致
DATAX_ADMIN_PORT=端口号
## PYTHON脚本执行位置
PYTHON_PATH=/data/datax/bin/datax.py

6、导入datax-web.sql进MySQL

在datax-web.sql文件所在目录执行
mysql -u用户名 -p密码 数据库<./datax_web.sql

     如果安装数据库后还没有创建数据库和授权可以使用下面的方法

MySQL8.0及以上版本创建数据库并分配用户授权
1）create database `datax-web` character set utf8mb4;
2）CREATE USER 'datax'@'%' IDENTIFIED BY '111111';
3）flush privileges;
4）grant all privileges on *.* to datax@'%' with grant option;
5）ALTER USER 'datax'@'%' IDENTIFIED WITH mysql_native_password BY '111111';
6）flush privileges;

7、启动datax-web

cd ./datax-web-2.1.2/bin
./start-all.sh #同时启动控制器和执行器，如果想单独启动，则使用命令 ./start.sh -m datax-admin 或 ./start.sh -m datax-executor

  

启动后使用jps命令查看，是否存在DataXAdminApplication和DataXExecutorApplication进程，存在则表示启动成功
如果存在启动失败的情况，可以进入./datax-web-2.1.2/modules/对应的目录中查看log，有详细的报错信息

 

8、登录界面

部署完成后，在浏览器中输入 http://ip:port/index.html 就可以访问对应的主界面
（ip为datax-admin部署所在服务器ip,port为为datax-admin 指定的运行端口）

输入用户名 admin 密码 123456 就可以直接访问系统

 

 

datax

datax 需要python2.+ 版本，一般centos自带。
如果是python3，会造成报错

1、进入目录，下载datax

cd /opt/software
wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

2、解压

tar -zxvf datax.tar.gz -C /opt/module

3、设置

vim /opt/module/datax/conf/core.json

将第28行改为 2000000，表示单个channel的大小改为2MB:

4、测试

cd /opt/module/datax
bin/datax.py job/job.json

但是会报错

2022-08-01 15:07:26.051 [main] WARN  ConfigParser - 插件[streamreader,streamwriter]加载失败，1s后重试... Exception:Code:[Common-00], Describe:[您提供的配置文件存在错误信息，请检查您的作业配置 .] - 配置信息错误，您提供的配置文件[/opt/module/datax/plugin/reader/._drdsreader/plugin.json]不存在. 请检查您的配置文件. 
2022-08-01 15:07:27.064 [main] ERROR Engine - 

经DataX智能分析,该任务最可能的错误原因是:
com.alibaba.datax.common.exception.DataXException: Code:[Common-00], Describe:[您提供的配置文件存在错误信息，请检查您的作业配置 .] - 配置信息错误，您提供的配置文件[/opt/module/datax/plugin/reader/._drdsreader/plugin.json]不存在. 请检查您的配置文件.
        at com.alibaba.datax.common.exception.DataXException.asDataXException(DataXException.java:26)
        at com.alibaba.datax.common.util.Configuration.from(Configuration.java:95)
        at com.alibaba.datax.core.util.ConfigParser.parseOnePluginConfig(ConfigParser.java:153)
        at com.alibaba.datax.core.util.ConfigParser.parsePluginConfig(ConfigParser.java:125)
        at com.alibaba.datax.core.util.ConfigParser.parse(ConfigParser.java:63)
        at com.alibaba.datax.core.Engine.entry(Engine.java:137)
        at com.alibaba.datax.core.Engine.main(Engine.java:204)

怎么处理呢，执行以下命令

cd /opt/module/datax/plugin/reader
rm -rf  ./._*
cd /opt/module/datax/plugin/writer
rm -rf  ./._*

再次启动

cd /opt/module/datax
bin/datax.py job/job.json

看到以下界面 代表执行成功

datax连接mysql8

默认的datax连接mysql驱动为5，所以当需要连接mysql8的时候会报错
可以通过下载源码，修改mysql驱动包版本
可以参考：https://blog.csdn.net/Carson073/article/details/126037927
源码下载地址：https://github.com/alibaba/DataX
当然在源码编译过程中会出现各种少包情况，需要自行百度手动下载，也可以联系我提供jar包

最省事的就是使用现成编译好的mysql包，替换即可
链接: https://pan.baidu.com/s/1Uj15QriC9rilySKNUkEguw 提取码: q6uc
下载下来之后，删除原本的插件，然后解压到对应目录就可以了

datax-web

源码地址：https://github.com/WeiYe-Jing/datax-web
https://github.com/WeiYe-Jing/datax-web/blob/master/doc/datax-web/datax-web-deploy.md

下载完成后进行解压

tar -zxvf datax-web-2.1.2.tar.gz -C /opt/module

进入解压后的目录，找到bin目录下面的install.sh文件，如果选择交互式的安装，则直接执行

./bin/install.sh

前面选yes，根据提示录入数据库信息，自动初始化数据库脚本

配置datax-web
在项目目录下/modules/datax-execute/bin/env.properties 指定PYTHON_PATH的路径

# 进入到安装目录
cd /opt/module/datax/data-web-2.1.2
# 编辑配置
vim modules/datax-executor/bin/env.properties
### 执行datax的python脚本地址
PYTHON_PATH=/opt/datax/datax/bin/datax.py

启动服务

cd /opt/module/datax/data-web-2.1.2
./bin/start-all.sh

访问(换成自己的ip地址) http://q1:9527/index.html
账号admin 密码123456

运行日志

部署完成之后，在modules/对应的项目/data/applogs下(用户也可以自己指定日志，修改application.yml中的logpath地址即可)，用户可以根据此日志跟踪项目实际启动情况。

如果执行器启动比admin快，执行器会连接失败，日志报"拒绝连接"的错误，一般是先启动admin,再启动executor,30秒之后会重连，如果成功请忽略这个异常。

Datax 是阿里开源的数据同步工具，  Datax-web 是开源的Datax界面操作工具， Datax-web由国内的开发者编写， 非常感谢！

Datax下载地址：

https://github.com/alibaba/DataXhttps://github.com/alibaba/DataX

Datax-web源码下载地址： GitHub - WeiYe-Jing/datax-web: DataX集成可视化页面，选择数据源即可一键生成数据同步任务，支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源，批量创建RDBMS数据同步任务，集成开源调度系统，支持分布式、增量同步数据、实时查看运行日志、监控执行器资源、KILL运行进程、数据源信息加密等。https://github.com/WeiYe-Jing/datax-web

第一步： 软件包下载及环境准备

    1： 可在线或离线下载 Datax.tar.gz  软件包

    2：下载 Datax-web  源码。 【重要】， 本地idea 打开后需要修改环境变量，  不能下载打包

         好的压缩包， 有坑-_-.

   3： 新建datax文件夹   

   datax,   根文件夹,

      datax/admin,     存放  datax-admin

      datax/executor   存放   datax-executor,    datax.tar.gz

      datax/mysql     存放数据库脚本

 mkdir -p datax/admin

 mkdir -p datax/executor

 mkdir -p datax/mysql

 目录截图： 

     4: Datax-web  用idea打开， 修改配置变量的参数名

          4.1： 后端校验修改： 将 jobDesc 描述的校验去除给个默认值， 不然后面操作有问题

        

        4.2： 配置变量名修改       

   如下两个文件中的环境变量修改， 从docker-compose.yml中传入， 不改的话会有问题

  1： 改为大写

  2： .点改为下划线_

            datax-admin  application.ynl 修改

           修改之后的： 如果有QQ邮箱的也要改，在文件下面一点

           datax-executor  application.ynl 修改

               修改之后的：  注意： ip地址要改为参数名， 从docker-compose中指定

    4.3： Datax-web 编译 打包， 记得maven 库地址修改， 改为国内的仓库，不然会很慢

   root 下  clean  install  进行打包

  打完包： 将build下的这个包上传至datax文件下：

上传后将datax-web-2.1.2.tar.gz解压 ： tar -zxvf  datax-web-2.1.2.tar.gz

目录如图所示：

解压后， 进入目录下，

将admin copy到 datax/admin文件夹中

将executor copy到 datax/executor 文件夹中

4.4：  admin目录

 Dockerfile 文件： 从Datax-web 官网获取删改的

FROM java:8-jdk

##设置默认语言环境
ENV LANG=C.UTF-8
ENV DATA_WEB=2.1.2
ENV DATAX_VERSION=2.1.2_1
ENV DATAX_NAME=datax-admin

ADD wait-for-it.sh /etc/init.d/
ADD ${DATAX_NAME}_${DATAX_VERSION}.tar.gz /opt/

RUN chmod +x  /etc/init.d/wait-for-it.sh

ENV TimeZone=Asia/Shanghai
RUN ln -snf /usr/share/zoneinfo/$TimeZone /etc/localtime && echo $TimeZone > /etc/timezone

ARG DATA_PATH=/opt/${DATAX_NAME}/data

ARG SERVER_PORT
ARG DB_USERNAME
ARG DB_PASSWORD
ARG DB_HOST
ARG DB_PORT
ARG DB_DATABASE
ARG MAIL_USERNAME
ARG MAIL_PASSWORD

ENV SERVER_PORT=${SERVER_PORT} \
    DB_USERNAME=${DB_USERNAME} \
    DB_PASSWORD=${DB_PASSWORD} \
    DB_HOST=${DB_HOST} \
    DB_PORT=${DB_PORT} \
    DB_DATABASE=${DB_DATABASE} \
    MAIL_USERNAME=${MAIL_USERNAME} \
    MAIL_PASSWORD=${MAIL_PASSWORD} \
    DATA_PATH=${DATA_PATH}:. \
    CLASSPATH=/opt/${DATAX_NAME}/lib/*:/opt/${DATAX_NAME}/conf:.

EXPOSE ${SERVER_PORT}
WORKDIR /opt
ENTRYPOINT ["java","-Dlogging.config=/opt/datax-admin/conf/logback.xml","com.wugui.datax.admin.DataXAdminApplication"]
 

wait-for-it.sh 文件： 从Datax-web 官网获取的

#!/usr/bin/env bash
# Use this this script to test if a given TCP host/port are available

WAITFORIT_cmdname=${0##*/}

echoerr() { if [[ $WAITFORIT_QUIET -ne 1 ]]; then echo "$@" 1>&2; fi }

usage()
{
    cat << USAGE >&2
Usage:
    $WAITFORIT_cmdname host:port [-s] [-t timeout] [-- command args]
    -h HOST | --host=HOST       Host or IP under test
    -p PORT | --port=PORT       TCP port under test
                                Alternatively, you specify the host and port as host:port
    -s | --strict               Only execute subcommand if the test succeeds
    -q | --quiet                Don't output any status messages
    -t TIMEOUT | --timeout=TIMEOUT
                                Timeout in seconds, zero for no timeout
    -- COMMAND ARGS             Execute command with args after the test finishes
USAGE
    exit 1
}

wait_for()
{
    if [[ $WAITFORIT_TIMEOUT -gt 0 ]]; then
        echoerr "$WAITFORIT_cmdname: waiting $WAITFORIT_TIMEOUT seconds for $WAITFORIT_HOST:$WAITFORIT_PORT"
    else
        echoerr "$WAITFORIT_cmdname: waiting for $WAITFORIT_HOST:$WAITFORIT_PORT without a timeout"
    fi
    WAITFORIT_start_ts=$(date +%s)
    while :
    do
        if [[ $WAITFORIT_ISBUSY -eq 1 ]]; then
            nc -z $WAITFORIT_HOST $WAITFORIT_PORT
            WAITFORIT_result=$?
        else
            (echo > /dev/tcp/$WAITFORIT_HOST/$WAITFORIT_PORT) >/dev/null 2>&1
            WAITFORIT_result=$?
        fi
        if [[ $WAITFORIT_result -eq 0 ]]; then
            WAITFORIT_end_ts=$(date +%s)
            echoerr "$WAITFORIT_cmdname: $WAITFORIT_HOST:$WAITFORIT_PORT is available after $((WAITFORIT_end_ts - WAITFORIT_start_ts)) seconds"
            break
        fi
        sleep 1
    done
    return $WAITFORIT_result
}

wait_for_wrapper()
{
    # In order to support SIGINT during timeout: http://unix.stackexchange.com/a/57692
    if [[ $WAITFORIT_QUIET -eq 1 ]]; then
        timeout $WAITFORIT_BUSYTIMEFLAG $WAITFORIT_TIMEOUT $0 --quiet --child --host=$WAITFORIT_HOST --port=$WAITFORIT_PORT --timeout=$WAITFORIT_TIMEOUT &
    else
        timeout $WAITFORIT_BUSYTIMEFLAG $WAITFORIT_TIMEOUT $0 --child --host=$WAITFORIT_HOST --port=$WAITFORIT_PORT --timeout=$WAITFORIT_TIMEOUT &
    fi
    WAITFORIT_PID=$!
    trap "kill -INT -$WAITFORIT_PID" INT
    wait $WAITFORIT_PID
    WAITFORIT_RESULT=$?
    if [[ $WAITFORIT_RESULT -ne 0 ]]; then
        echoerr "$WAITFORIT_cmdname: timeout occurred after waiting $WAITFORIT_TIMEOUT seconds for $WAITFORIT_HOST:$WAITFORIT_PORT"
    fi
    return $WAITFORIT_RESULT
}

# process arguments
while [[ $# -gt 0 ]]
do
    case "$1" in
        *:* )
        WAITFORIT_hostport=(${1//:/ })
        WAITFORIT_HOST=${WAITFORIT_hostport[0]}
        WAITFORIT_PORT=${WAITFORIT_hostport[1]}
        shift 1
        ;;
        --child)
        WAITFORIT_CHILD=1
        shift 1
        ;;
        -q | --quiet)
        WAITFORIT_QUIET=1
        shift 1
        ;;
        -s | --strict)
        WAITFORIT_STRICT=1
        shift 1
        ;;
        -h)
        WAITFORIT_HOST="$2"
        if [[ $WAITFORIT_HOST == "" ]]; then break; fi
        shift 2
        ;;
        --host=*)
        WAITFORIT_HOST="${1#*=}"
        shift 1
        ;;
        -p)
        WAITFORIT_PORT="$2"
        if [[ $WAITFORIT_PORT == "" ]]; then break; fi
        shift 2
        ;;
        --port=*)
        WAITFORIT_PORT="${1#*=}"
        shift 1
        ;;
        -t)
        WAITFORIT_TIMEOUT="$2"
        if [[ $WAITFORIT_TIMEOUT == "" ]]; then break; fi
        shift 2
        ;;
        --timeout=*)
        WAITFORIT_TIMEOUT="${1#*=}"
        shift 1
        ;;
        --)
        shift
        WAITFORIT_CLI=("$@")
        break
        ;;
        --help)
        usage
        ;;
        *)
        echoerr "Unknown argument: $1"
        usage
        ;;
    esac
done

if [[ "$WAITFORIT_HOST" == "" || "$WAITFORIT_PORT" == "" ]]; then
    echoerr "Error: you need to provide a host and port to test."
    usage
fi

WAITFORIT_TIMEOUT=${WAITFORIT_TIMEOUT:-15}
WAITFORIT_STRICT=${WAITFORIT_STRICT:-0}
WAITFORIT_CHILD=${WAITFORIT_CHILD:-0}
WAITFORIT_QUIET=${WAITFORIT_QUIET:-0}

# Check to see if timeout is from busybox?
WAITFORIT_TIMEOUT_PATH=$(type -p timeout)
WAITFORIT_TIMEOUT_PATH=$(realpath $WAITFORIT_TIMEOUT_PATH 2>/dev/null || readlink -f $WAITFORIT_TIMEOUT_PATH)

WAITFORIT_BUSYTIMEFLAG=""
if [[ $WAITFORIT_TIMEOUT_PATH =~ "busybox" ]]; then
    WAITFORIT_ISBUSY=1
    # Check if busybox timeout uses -t flag
    # (recent Alpine versions don't support -t anymore)
    if timeout &>/dev/stdout | grep -q -e '-t '; then
        WAITFORIT_BUSYTIMEFLAG="-t"
    fi
else
    WAITFORIT_ISBUSY=0
fi

if [[ $WAITFORIT_CHILD -gt 0 ]]; then
    wait_for
    WAITFORIT_RESULT=$?
    exit $WAITFORIT_RESULT
else
    if [[ $WAITFORIT_TIMEOUT -gt 0 ]]; then
        wait_for_wrapper
        WAITFORIT_RESULT=$?
    else
        wait_for
        WAITFORIT_RESULT=$?
    fi
fi

if [[ $WAITFORIT_CLI != "" ]]; then
    if [[ $WAITFORIT_RESULT -ne 0 && $WAITFORIT_STRICT -eq 1 ]]; then
        echoerr "$WAITFORIT_cmdname: strict mode, refusing to execute subprocess"
        exit $WAITFORIT_RESULT
    fi
    exec "${WAITFORIT_CLI[@]}"
else
    exit $WAITFORIT_RESULT
fi
 

4.5： executor 目录： 

 DockerFile :  从Datax-web 官网获取删改的

FROM java:8-jdk

## 设置默认语言环境
ENV LANG=C.UTF-8
ENV DATA_WEB=2.1.2
ENV DATAX_VERSION=2.1.2_1
ENV DATAX_NAME=datax-executor

ADD ${DATAX_NAME}_${DATAX_VERSION}.tar.gz /opt/
ADD wait-for-it.sh /etc/init.d/

ADD datax.tar.gz /opt/

RUN chmod +x /etc/init.d/wait-for-it.sh

ENV TimeZone=Asia/Shanghai

RUN ln -snf /usr/share/zoneinfo/$TimeZone /etc/localtime && echo $TimeZone > /etc/timezone

ARG SERVER_PORT
ARG DATAX_ADMIN_HOST
ARG DATAX_ADMIN_PORT
ARG EXECUTOR_PORT
ARG DATA_PATH

ARG PYTHON_PATH=/opt/datax/bin/datax.py
ARG SERVICE_LOG_PATH=/opt/${DATAX_NAME}/logs
ARG JSON_PATH=/opt/${DATAX_NAME}/json

ENV SERVER_PORT=${SERVER_PORT} \
    DATAX_ADMIN_HOST=${DATAX_ADMIN_HOST} \
    DATAX_ADMIN_PORT=${DATAX_ADMIN_PORT} \
    EXECUTOR_PORT=${EXECUTOR_PORT} \
    CLASSPATH=/opt/${DATAX_NAME}/lib/*:/opt/${DATAX_NAME}/conf:.  \
    JSON_PATH=${JSON_PATH} \
    PYTHON_PATH=${PYTHON_PATH} \
    DATA_PATH=${DATA_PATH} \
    SERVICE_LOG_PATH=${SERVICE_LOG_PATH}
RUN mkdir    /opt/${DATAX_NAME}/json /opt/${DATAX_NAME}/python /opt/${DATAX_NAME}/data /opt/${DATAX_NAME}/logs

EXPOSE ${SERVER_PORT}
WORKDIR /opt
ENTRYPOINT exec java com.wugui.datax.executor.DataXExecutorApplication
 

wait-for-it.sh 文件： 从Datax-web 官网获取的

#!/usr/bin/env bash
# Use this this script to test if a given TCP host/port are available

WAITFORIT_cmdname=${0##*/}

echoerr() { if [[ $WAITFORIT_QUIET -ne 1 ]]; then echo "$@" 1>&2; fi }

usage()
{
    cat << USAGE >&2
Usage:
    $WAITFORIT_cmdname host:port [-s] [-t timeout] [-- command args]
    -h HOST | --host=HOST       Host or IP under test
    -p PORT | --port=PORT       TCP port under test
                                Alternatively, you specify the host and port as host:port
    -s | --strict               Only execute subcommand if the test succeeds
    -q | --quiet                Don't output any status messages
    -t TIMEOUT | --timeout=TIMEOUT
                                Timeout in seconds, zero for no timeout
    -- COMMAND ARGS             Execute command with args after the test finishes
USAGE
    exit 1
}

wait_for()
{
    if [[ $WAITFORIT_TIMEOUT -gt 0 ]]; then
        echoerr "$WAITFORIT_cmdname: waiting $WAITFORIT_TIMEOUT seconds for $WAITFORIT_HOST:$WAITFORIT_PORT"
    else
        echoerr "$WAITFORIT_cmdname: waiting for $WAITFORIT_HOST:$WAITFORIT_PORT without a timeout"
    fi
    WAITFORIT_start_ts=$(date +%s)
    while :
    do
        if [[ $WAITFORIT_ISBUSY -eq 1 ]]; then
            nc -z $WAITFORIT_HOST $WAITFORIT_PORT
            WAITFORIT_result=$?
        else
            (echo > /dev/tcp/$WAITFORIT_HOST/$WAITFORIT_PORT) >/dev/null 2>&1
            WAITFORIT_result=$?
        fi
        if [[ $WAITFORIT_result -eq 0 ]]; then
            WAITFORIT_end_ts=$(date +%s)
            echoerr "$WAITFORIT_cmdname: $WAITFORIT_HOST:$WAITFORIT_PORT is available after $((WAITFORIT_end_ts - WAITFORIT_start_ts)) seconds"
            break
        fi
        sleep 1
    done
    return $WAITFORIT_result
}

wait_for_wrapper()
{
    # In order to support SIGINT during timeout: http://unix.stackexchange.com/a/57692
    if [[ $WAITFORIT_QUIET -eq 1 ]]; then
        timeout $WAITFORIT_BUSYTIMEFLAG $WAITFORIT_TIMEOUT $0 --quiet --child --host=$WAITFORIT_HOST --port=$WAITFORIT_PORT --timeout=$WAITFORIT_TIMEOUT &
    else
        timeout $WAITFORIT_BUSYTIMEFLAG $WAITFORIT_TIMEOUT $0 --child --host=$WAITFORIT_HOST --port=$WAITFORIT_PORT --timeout=$WAITFORIT_TIMEOUT &
    fi
    WAITFORIT_PID=$!
    trap "kill -INT -$WAITFORIT_PID" INT
    wait $WAITFORIT_PID
    WAITFORIT_RESULT=$?
    if [[ $WAITFORIT_RESULT -ne 0 ]]; then
        echoerr "$WAITFORIT_cmdname: timeout occurred after waiting $WAITFORIT_TIMEOUT seconds for $WAITFORIT_HOST:$WAITFORIT_PORT"
    fi
    return $WAITFORIT_RESULT
}

# process arguments
while [[ $# -gt 0 ]]
do
    case "$1" in
        *:* )
        WAITFORIT_hostport=(${1//:/ })
        WAITFORIT_HOST=${WAITFORIT_hostport[0]}
        WAITFORIT_PORT=${WAITFORIT_hostport[1]}
        shift 1
        ;;
        --child)
        WAITFORIT_CHILD=1
        shift 1
        ;;
        -q | --quiet)
        WAITFORIT_QUIET=1
        shift 1
        ;;
        -s | --strict)
        WAITFORIT_STRICT=1
        shift 1
        ;;
        -h)
        WAITFORIT_HOST="$2"
        if [[ $WAITFORIT_HOST == "" ]]; then break; fi
        shift 2
        ;;
        --host=*)
        WAITFORIT_HOST="${1#*=}"
        shift 1
        ;;
        -p)
        WAITFORIT_PORT="$2"
        if [[ $WAITFORIT_PORT == "" ]]; then break; fi
        shift 2
        ;;
        --port=*)
        WAITFORIT_PORT="${1#*=}"
        shift 1
        ;;
        -t)
        WAITFORIT_TIMEOUT="$2"
        if [[ $WAITFORIT_TIMEOUT == "" ]]; then break; fi
        shift 2
        ;;
        --timeout=*)
        WAITFORIT_TIMEOUT="${1#*=}"
        shift 1
        ;;
        --)
        shift
        WAITFORIT_CLI=("$@")
        break
        ;;
        --help)
        usage
        ;;
        *)
        echoerr "Unknown argument: $1"
        usage
        ;;
    esac
done

if [[ "$WAITFORIT_HOST" == "" || "$WAITFORIT_PORT" == "" ]]; then
    echoerr "Error: you need to provide a host and port to test."
    usage
fi

WAITFORIT_TIMEOUT=${WAITFORIT_TIMEOUT:-15}
WAITFORIT_STRICT=${WAITFORIT_STRICT:-0}
WAITFORIT_CHILD=${WAITFORIT_CHILD:-0}
WAITFORIT_QUIET=${WAITFORIT_QUIET:-0}

# Check to see if timeout is from busybox?
WAITFORIT_TIMEOUT_PATH=$(type -p timeout)
WAITFORIT_TIMEOUT_PATH=$(realpath $WAITFORIT_TIMEOUT_PATH 2>/dev/null || readlink -f $WAITFORIT_TIMEOUT_PATH)

WAITFORIT_BUSYTIMEFLAG=""
if [[ $WAITFORIT_TIMEOUT_PATH =~ "busybox" ]]; then
    WAITFORIT_ISBUSY=1
    # Check if busybox timeout uses -t flag
    # (recent Alpine versions don't support -t anymore)
    if timeout &>/dev/stdout | grep -q -e '-t '; then
        WAITFORIT_BUSYTIMEFLAG="-t"
    fi
else
    WAITFORIT_ISBUSY=0
fi

if [[ $WAITFORIT_CHILD -gt 0 ]]; then
    wait_for
    WAITFORIT_RESULT=$?
    exit $WAITFORIT_RESULT
else
    if [[ $WAITFORIT_TIMEOUT -gt 0 ]]; then
        wait_for_wrapper
        WAITFORIT_RESULT=$?
    else
        wait_for
        WAITFORIT_RESULT=$?
    fi
fi

if [[ $WAITFORIT_CLI != "" ]]; then
    if [[ $WAITFORIT_RESULT -ne 0 && $WAITFORIT_STRICT -eq 1 ]]; then
        echoerr "$WAITFORIT_cmdname: strict mode, refusing to execute subprocess"
        exit $WAITFORIT_RESULT
    fi
    exec "${WAITFORIT_CLI[@]}"
else
    exit $WAITFORIT_RESULT
fi
 

4.6： mysql 目录

1：进入解压的 datax-web-2.1.2文件夹/bin目录下

cd datax-web-2.1.2/bin

2：复制 db文件夹到 mysql文件夹

cp -R db/ /software/datax/mysql/

mysql目录及文件显示：

4.6： docker-compose 文件内容: 从 Datax-web官网获取删改：

version: '3.7'
services:
  mysql:
    image: mysql:5.7
    restart: always
    environment:
      MYSQL_ROOT_PASSWORD: root95271@2022!
      #MYSQL_USER: root
      MYSQL_DATABASE: dataxweb
      TZ: Asia/Shanghai
      character-set-server:  utf8mb4
      collation-server: utf8mb4_unicode_ci
    ports:
      - 3307:3306
    volumes:
      - ./mysql/data:/var/lib/mysql
      - ./mysql/conf:/etc/mysql/conf.d
      - ./mysql/logs:/logs
      - ./mysql/db:/docker-entrypoint-initdb.d/
    container_name: mysql

  datax_admin:

    #本地镜像，下一步build的镜像
    image: datax-admin
    restart: always
    ports:
      - 9527:9527
    environment:
      SERVER_PORT: 9527
      DB_USERNAME: root
      DB_PASSWORD: root95271@2022!
      DB_HOST: mysql
      DB_PORT: 3306
      DB_DATABASE: dataxweb
      MAIL_USERNAME: email_name
      MAIL_PASSWORD: email_password
    depends_on:
      - mysql
    container_name: admin

  datax_executor:

    #本地镜像，下一步build的镜像
    image: datax-executor
    restart: always
    volumes:
      - ./datax_web/executor/python:/opt/datax-executor/python
      - ./datax_web/executor/json:/opt/datax-executor/json
      - ./datax_web/executor/data:/opt/datax-executor/data
    ports:
      - 8085:8081
    environment:
      SERVER_PORT: 8081
      DATAX_ADMIN_HOST: admin
      DATAX_ADMIN_PORT: 9527
      EXECUTOR_PORT: 9999
      DATA_PATH: ./data
    #此处检测 dataxWebAdmin是否成功启动，如果将container_name和container_name.SERVER_PORT改变，请将下面的命令做响应该改变
    entrypoint: "/etc/init.d/wait-for-it.sh dataxWebAdmin:9527 --  java com.wugui.datax.executor.DataXExecutorApplication"
    depends_on:
      - mysql
      - datax_admin
    container_name: executor

    

4.7：镜像制作及 docker-compose 启动服务及验证

     admin 镜像：

   1: cd datax/admin

  2: docker build -t datax-admin .

  成功截图：

   executor: 镜像：

   

   1: cd datax/executor

  2: docker build -t datax-executor .

成功截图： 

 docker-compose 启动服务：

   在datax目录下执行：

  docker-compose up -d

  成功截图： 

mysql启动确认：

  docker logs -f mysql

 admin启动确认：

  docker logs -f  admin

executor 启动确认：

   docker logs -f  executor

成功截图： 

界面访问确认：

至此就完成了，  Datax-web步骤：

1： 创建数据源，

2：创建Datax任务模版

3： 构建任务

4： 执行任务

6： 查看执行任务日志。