部署ETL工具

ETL代表提取、转换和加载，可以将多个数据库中的数据组合到单个数据库。本工具将创建ETL插件，包含以下能力：

将指定数据库的数据迁移到会众云私有化平台
向数据库发送自定义命令，可以实现对目标数据库增删改查的操作
所有数据库操作均采用http接口调用方式

Microsoft SQL Server数据库版本

支持的 Microsoft SQL Server 版本通常包括以下版本，前提是这些版本仍然支持使用 TDS (Tabular Data Stream) 协议进行通信：

Microsoft SQL Server 2000 (最低支持级别，但功能有限，建议升级到更新版本)
Microsoft SQL Server 2005
Microsoft SQL Server 2008 和 2008 R2
Microsoft SQL Server 2012
Microsoft SQL Server 2014
Microsoft SQL Server 2016
Microsoft SQL Server 2017
Microsoft SQL Server 2019
Microsoft SQL Server 2022

MySQL数据库版本

支持MySQL版本：MySQL 8 及以上

1.运行ETL插件

特别说明

插件运行端口：2111

启动服务

注意

必须使用 --network host 模式启动容器，否则无法被docker服务器访问

bash

docker run --privileged -e TZ=Asia/Shanghai -itd --restart always --network host -v /etc/hzy:/root/conf registry.cn-hangzhou.aliyuncs.com/hzy0code/hzy-utils:etl.x86.1.1.0

2.安装ETL应用

点击下载ETL应用，下载完成后，将应用导入到组织中

ETL应用功能1：数据迁移任务

提示

可以查询指定数据库数据，并将数据发送到指定的webhook地址，webhook工作流接收数据并执行自定义的工作流程

注意

目标URL是通过会众云平台webhook工作流自动生成的地址，节点json参数结构由数据库字段确定

假设：同步的数据字段为name、phone，则参数结构如下（单次同步最大记录数量为：1000条）：

json

[{
  "name": "名字",
  "phone": "18000000000"
}]

ETL应用功能2：执行自定义SQL语句

提示

可以让指定数据库执行任意SQL语句，并获取到语句执行结果（如果是查询命令，则可以获取到查询的数据）

3.执行数据迁移

当需要迁移指定数据库数据到会众云私有化平台，流程如下

注意

需要正确填写的数据库配置，每个字段均包含了详细的描述信息，请按照描述信息填写

检查连接

检查对应数据的连接是否正确

开始迁移

如果数据连接正确，则会显示开始迁移按钮，点击按钮执行迁移任务

查询结果

开始迁移任务后，点击查询结果按钮可以查看任务进度

中止迁移

开始迁移任务后，点击中止迁移按钮可以停止正在迁移的任务

4.自定义SQL语句

当需要增删改查数据库的数据时，可以使用自定义SQL进行测试

注意

当前应用仅仅作为演示使用，使用者可以根据业务场景灵活调整工作流的调用方式，以满足特定业务需求

示例：更新指定表数据

5.实现原理

所有数据的操作，均使用HTTP接口调用的方式访问ETL插件服务，具体实现方式请查看业务流程

部署ETL工具 ​

1.运行ETL插件 ​

2.安装ETL应用 ​

3.执行数据迁移 ​

4.自定义SQL语句 ​