概要描述

本文介绍 TDS Transporter 离线数据加载任务的数据核验能力，包括适用范围、任务开关、基本配置和核验规则类型，用于检查源端与目标端加载结果是否符合预期。

适用产品和版本：TDS 4.0 及以上版本。

详细说明

1. 功能说明

TDS 从 4.0 版本开始支持数据核验任务。数据核验用于离线加载场景，对源端和目标端已加载的数据表按照配置的检查规则进行比对或校验，从而判断加载任务执行效果。

数据核验适合以下场景：

• 验证离线加载后源端和目标端记录数是否一致
• 校验关键字段聚合值是否符合预期
• 抽样检查加载后的数据内容
• 对单条关键业务数据进行精确校验

2. 开启数据核验

在数据加载任务配置中开启数据核验任务开关。

需要注意，针对 TDT 加载任务，数据核验开关只是是否启用核验的入口，并不是完整的核验任务配置。开启后仍需要继续配置基础信息和核验规则。

3. 配置基本信息

开启数据核验后，需要配置核验任务的基本信息。建议至少确认：

• 核验任务名称
• 关联的数据加载任务
• 源端和目标端数据范围
• 核验执行方式
• 失败后的告警或处理策略

具体配置项以页面展示为准。

4. 配置核验规则

数据核验规则支持以下类型。

记录数检查

用于检查源端和目标端记录数是否一致，适合大多数全量或增量加载后的基础校验。

建议用于：

• 全表加载
• 分区加载
• 批量表加载
• 需要快速判断是否漏数的任务

数据型集合计算

用于对数值型字段进行集合计算，例如求和、最大值、最小值等。适合校验金额、数量、余额等关键数值字段是否一致。

建议用于：

• 金额类字段
• 统计类字段
• 计数类字段
• 对账场景

单条数据检查

用于对指定条件下的单条或少量关键数据进行检查。适合验证核心业务主键记录是否正确加载。

建议用于：

• 关键客户或账户记录
• 指定业务单据
• 重要维表记录

采样数据检查

用于抽样检查加载结果，适合数据量较大且无需全量逐行比对的场景。

建议用于：

• 大表加载后的质量抽查
• 开发和测试环境验证
• 对性能影响敏感的加载任务

批量添加规则

当多个表或多个字段需要使用相似核验规则时，可以使用批量添加规则减少重复配置。

5. 运维建议

• 对重要生产加载任务，至少配置记录数检查。
• 对金额、余额、交易量等关键字段，建议增加数据型集合计算。
• 对业务要求高的任务，可组合使用记录数、集合计算和采样检查。
• 核验失败后应先确认源端数据范围、过滤条件、分区处理和目标端写入策略是否一致。
• 批量表加载场景建议使用批量添加规则，降低配置遗漏风险。