TDS 发布中心如何跨环境迁移任务流发布包

  数据迁移, 使用配置
内容纲要

概要描述


本文介绍 TDS 发布中心中发布包的创建、导出、目标环境配置、上传与导入流程,适用于将 Workflow 任务流及其关联资源从源环境迁移到同版本目标环境的场景。

适用产品和版本:TDS 4.3 及以上版本。

详细说明


1. 适用场景

当开发、测试、生产等 TDS 环境之间需要迁移任务流配置时,可以通过“一键发布”的发布包能力完成资源打包和导入。发布包会围绕已选择的任务流自动收集关联资源,避免只迁移任务流本身导致依赖缺失。

发布包详情中会展示以下关联资源:

  • 任务流及被引用的嵌套任务流
  • SQL 文件
  • Shell 文件
  • 数据加载任务
  • 数据同步任务
  • 数据质量任务
  • 数据核验任务
  • 事件对象
  • 数据源

被关联的嵌套任务流不能单独从发布包中删除,只能通过删除引用它的任务流来移除。

2. 创建发布包

进入路径:

file

file

右上角发布中心 > 导出管理中心 > 发布包管理

创建发布包时需要填写发布包名称和描述。其中发布包名称长度限制为 250 个字符,描述长度限制为 255 个字符。

选择任务时,当前版本主要支持选择任务流任务;外部任务不能单独选择,只能随关联任务流一起导出。选择任务时可以:

  • 一键选择当前工作区内全部任务流
  • 单个或批量添加任务流
  • 按业务标签或任务名称关键字筛选任务流

保存发布包后,可以在发布包列表中查看。

3. 生成和导出发布包

保存发布包后,需要点击“生成发布包”生成实际发布包文件。生成成功后,该发布包内容不能继续编辑。

file

file

如果生成失败,可以查看报错日志,排查资源依赖、权限、数据源等问题后重新生成。

发布包支持两种交付方式:

  • 在线导出:将发布包在线传输到目标环境,成功后目标环境中发布包获取方式显示为“在线传输”,状态为“未导入”。
  • 手动下载和上传:从源环境下载发布包文件,再在目标环境手动上传。

如果需要基于已有发布包创建相似包,可以使用“复制并新建发布包”,系统会自动生成带 _1 后缀的新发布包名称。

4. 配置目标环境

进入路径:

file

右上角发布中心 > 导出管理中心 > 目标环境管理

新建目标环境时需要配置:

  • 目标环境名称
  • 目标环境地址,即目标 TDS 环境的 foundation-web 地址
  • Token,可在目标 TDS 环境登录后的个人中心生成并复制

配置完成后应先执行“测试连接”,测试成功后再保存目标环境。

5. 导入发布包

同集群导入和跨集群导入都要求资源版本一致。导入任务流时会保留任务流的发布或下线状态,但导入会覆盖当前任务流配置。若希望新配置参与调度,需要重新发布版本。

file

导入时需要关注同名资源策略,支持:

  • 全部放弃
  • 全部替换
  • 自动重命名

重名判断依据为导出的绝对路径加资源名称。

6. 数据源替换策略

导入时数据源按以下逻辑处理:

file

  1. 优先匹配相同 UUID 的数据源。
  2. 如果数据源不存在且配置了数据源替换规则,则按替换规则映射到目标环境数据源。
  3. 如果数据源不存在且未配置替换规则,则默认自动创建数据源,并默认创建一条数据源替换规则。

建议在目标环境提前进入:

配置 > 数据源列表 > 数据源替换规则

将发布包中涉及的数据源映射到目标环境已有数据源,避免导入后生成不可用或配置不完整的数据源。

7. 注意事项

  • 导入用户必须拥有目标环境工作区中任意一个工作组的一键发布相关操作权限,否则权限校验不通过。
  • 发布包生成成功后不能继续编辑内容,需要修改时应复制或重新创建发布包。
  • 导入会覆盖当前任务流配置,生产环境导入前应确认同名策略和目标任务流影响范围。
  • 数据源映射建议在导入前完成,尤其是跨集群、跨网络或开发到生产迁移场景。

这篇文章对您有帮助吗?

平均评分 0 / 5. 次数: 0

尚无评价,您可以第一个评哦!

非常抱歉,这篇文章对您没有帮助.

烦请您告诉我们您的建议与意见,以便我们改进,谢谢您。