内容纲要
概要描述
本文介绍 TDS Transporter 数据加载任务中源端表结构变更检查的开启方式、支持范围和告警配置，用于在源端表字段、类型等元数据发生变化时及时发现并按策略处理。
适用产品和版本：TDS 4.1 及以上版本。
详细说明
1. 功能说明
Transporter 支持在数据库数据加载任务执行时，对源端表结构变化进行检查，并在发生变化时提供告警提示和处理策略。
该能力适用于数据库数据加载任务的以下执行方式：
- 手动执行
- 系统调度
默认情况下，结构变化检查为关闭状态，需要在数据加载任务的全局配置中开启。
2. 支持范围
源端表结构变更策略主要面向数据库数据加载任务。不同 DDL 类型支持的处理策略不同，需要根据实际页面配置项选择。
以下场景不支持 DDL 变更处理，也不会发送变更通知：
- 自定义 SQL 模式
- 数据出湖场景，即 TDH 数据同步到第三方数据库，如 MySQL 等
3. 开启变更策略
在数据加载任务配置中进入全局配置，开启源端结构变化检查或变更策略。
开启后，任务执行时会检查源端表结构是否发生变化，并根据配置的 DDL 类型处理策略进行处理。
建议在以下场景开启：
- 源端业务库表结构变更频繁
- 加载任务依赖自动建表或字段映射
- 下游对字段完整性、字段类型一致性要求较高
- 需要在调度失败前提前发现源端元数据变化
4. 配置告警通知
进入通知中心新增通知规则：
- 新建通知规则。
- 资源类型选择“数据加载”。
- 触发方式勾选“源端元数据更新”。
- 按需配置通知接收人、通知方式和生效范围。
配置完成后，当数据加载任务检测到源端元数据更新时，会按通知规则发送告警。
5. 建议处理流程
收到源端表结构变更告警后，建议按以下顺序处理：
- 确认源端 DDL 变更内容，例如新增字段、删除字段、字段类型或精度变化。
- 检查数据加载任务中的字段映射、类型映射和目标端建表配置是否仍然符合预期。
- 如使用自动建表或自动字段映射，确认自动处理策略是否会影响目标表结构。
- 如变更会影响下游任务，先暂停相关调度或在低峰期重新发布任务版本。
- 调整任务配置后执行调试或手动运行，确认加载结果正常。
6. 注意事项
- 源端结构变化检查默认关闭，需要显式开启。
- 自定义 SQL 模式不支持 DDL 变更处理。
- 数据出湖到第三方数据库的场景不支持 DDL 变更处理和通知。
- 告警只提示源端元数据变化，仍需要人工确认变更是否符合业务预期。