2.5. 多发比对网关部署说明

本章节介绍比对服务网关的部署方法,以及微服务伪多发的配置注意事项。

2.5.1. 多发比对网关简介

多发比对网关是基于 OpenResty 的服务,支持将请求发送给多个对接不同数据库的微服务;这些微服务正确集成了伪多发后,将 SQL 执行数据汇报给比对服务,实现多个异构库微服务的数据比对。

../_images/%E7%BD%91%E5%85%B3%E7%AE%80%E4%BB%8B.png

多发网关支持的特性包括:

  • 支持配置多个目标端

  • 支持多目标端 Session 保持

  • 以业务请求为维度生成 TraceID

2.5.2. 多发比对网关部署

2.5.2.1. 安装docker环境

多发比对网关的部署依赖于docker环境,需要先安装docker环境。如果系统已有docker环境,可跳过此步骤。

安装docker环境的方法请参考官方文档: https://docs.docker.com/engine/install/

内网环境不能连外网的情况下,可依据以下官方文档说明,下载离线安装包安装: https://docs.docker.com/engine/install/binaries/

2.5.2.2. 配置docker环境

需要通过配置docker环境,允许从从公司配置库: package.hundsun.com 拉取镜像。

sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
"insecure-registries":["package.hundsun.com"]
}
EOF
sudo systemctl daemon-reload
sudo systemctl restart docker

执行命令 sudo docker login package.hundsun.com ,输入用户名密码登录。

用户名为您的域账号, 密码为api-key (您可以在效能平台的右上角个人信息中,查看或重新生成api-key)。

2.5.2.3. 拉取LightDB网关镜像

从LightDB的docker制品库: lightdb1.0-docker-release-local(正式版本库), lightdb1.0-docker-test-local(测试版本库,需单独申请权限)。 可以查看LightDB网关程序的镜像名称及版本。

执行docker pull命令拉取镜像,样例如下:

sudo docker pull \
        package.hundsun.com/lightdb1.0-docker-test-local/01standard/lightdb1-0-v202503/lightdb1.0.v202503.01.000/lightdb-gateway:v202503-01-000

2.5.2.4. 获取网关配置

网关配置脚本在发布物中的 /config 目录下,需要将其复制到本地。通过下面命令可将配置脚本拷贝至当前用户的 $HOME/config 目录下。

sudo docker run -it --rm \
        -v $HOME:/configout <镜像名称> /bin/bash -c "cp -r  /config /configout/ "

2.5.2.5. 修改端口与 host 配置

用户需要编辑 conf/nginx.conf ,以修改以下配置:

  • 监听地址

  • 监听端口

要使用网关,一定需要一个 host ,否则与各个微服务的 Session 会无法处理。假设用户使用 example.com 为 host ,需要找到 server { 下面的 server_name 进行修改。

备注

如果没有 DNS 服务,则可能需要配置 hosts 才可以访问网关,需要将 example.com 绑定到网关所在的地址。 方法示例 (Windows):编辑 C:\Windows\System32\drivers\etc\hosts 文件,添加如下内容: 10.20.30.40 example.com

默认端口为 8081 ,如果用户需要修改端口,需要找到 server { 下面的 listen 8081; ,修改为对应端口即可。

2.5.2.6. 修改配置文件

修改 conf/config.lua ,在网关上配置多发到哪些节点,以及 UUID 处理服务的请求地址。

配置示例:

-- 主节点
_M.PRIMARY_NODE = { scheme = "http", host = "10.20.191.231", port = 8081 }

-- 多发节点列表 shadow_servers
_M.SHADOW_NODES = {
        { scheme = "http", host = "10.20.30.217", port = 8081 },
        { scheme = "http", host = "10.20.199.58", port = 8081 },
}

-- UUID 插入类功能 uri 清单
_M.UUID_SERVICE_TIMEOUT_MILLIS = 10000
_M.UUID_SERVICE_ADDR = "http://10.20.191.231:9091/ukagent/getLastSyncUuidStatus"
_M.UUID_INSERT_FUNCTIONS = {
        { uri = "/acm/dssp/script/save.json" },
        { uri = "/acm/dssp/product/mulUploads.json" },
}

用户需要修改 PRIMARY_NODE SHADOW_NODES UUID_SERVICE_ADDR 这三项配置。

  • PRIMARY_NODE: 主节点配置,推荐配置为连 MySQL 或 Oracle 的微服务的地址

  • SHADOW_NODES: 多发节点列表,配置为需要多发到节点的微服务地址

  • UUID_SERVICE_ADDR: UUID 处理服务地址,配置为 UUID 处理服务地址;UUID 服务的部署方式参考下一节的说明

2.5.3. 伪多发配置注意事项

微服务需要配置伪多发,才能与网关正确配合,实现数据比对;配置伪多发时有一些注意事项:

  1. 需要在 jrescloud.properties 中配置 UUID 服务地址,参数为 multi.uuidServiceUrl ,如 multi.uuidServiceUrl=http://10.20.191.231:9091/ukagent/putSyncUuid

  2. 需要注意 unisql.conf 中配置正确的元数据 Schema ,否则伪多发可能因无法找到元数据而失败;配置参数为 unisql.table.column.metadata.schemas ,如 SEE 需要配置 unisql.table.column.metadata.schemas = 'acm','acm_job','sys'

备注

由于业务系统可能采用自动生成的 UUID 作为主键插入到数据库中,所以引入了 UUID 服务专门来处理这种情况,使得主库微服务与所有其他目标库微服务的数据保持 ID 一致,避免后续业务无法进行。

2.5.4. 多发比对网关启停

查看 config 目录(从镜像中拷贝出来的)下的lightdb-gateway.sh脚本, 执行 ./lightdb-gateway.sh --help ,可以查看脚本的帮助信息。

执行脚本相应命令,传入镜像名称,配置文件目录(例如: $HOME/config/see) 可以启动网关服务