TDS 4.x 开启Quark血缘功能

  使用配置
内容纲要

概要描述

本文主要描述如何在 TDS 4.x 中启用 Quark 的血缘。本文中的 Quark 是单实例 Quark ,不是 Quark Gateway ,如果是 Quark Gateway (后端对应多个 Quark 实例)开启血缘,请参考这篇文档

详细说明

页面开启 Quark 血缘插件

file

在 Manager 页面上,进入需要开启血缘的 Quark 服务,点击插件按钮,可以看到catalog1插件,确认其插件状态是否已开启,如未开启需要手动点击操作中的开启按钮。

注意,开启插件过程中涉及重启Quark,请务必在允许重启的时间段操作。

确认 TDS 血缘插件状态

file

血缘插件开启后,就可以在TDS的治理场景->血缘->血缘插件这边看到这个 Quark 的血缘插件了,默认插件名即为服务名。插件状态为健康时可以正常采集到血缘。

点击查看详情按钮,可以看到该血缘插件的更多信息。

file

Hook插件和Kafka状态也可在此处确认,如果插件异常可以针对性排查。

测试血缘是否配置成功

关于TDS中的数据血缘原理可以参考这篇文档。可以通过在 Quark 中简单执行以下这段SQL测试血缘功能。

drop table IF EXISTS default.blood1;
drop table IF EXISTS default.blood2;
drop table IF EXISTS default.blood3;
drop table IF EXISTS default.blood4;
drop table IF EXISTS default.blood5;
create table default.blood1(id int, name string, age int, address string) CLUSTERED BY (age) INTO 2 BUCKETS STORED AS ORC TBLPROPERTIES ("transactional"="true");
insert into table default.blood1 values(1, "jack", 18, "shanghai");
create table default.blood2 as select id,name,age,address from default.blood1;
create table default.blood3 as select id,name,age,address from default.blood2;
create table default.blood4 as select id,name,age,address from default.blood3;
create table default.blood5 as select id,name,age,address from default.blood4;

注意,需要等TDS的库表信息中包含这些表才可查看血缘关系。如果之前库中没有这几张表,还需要手动采集一下该数据源对应连接的元数据,或等元数据自动采集。

file

此时在血缘-血缘分析页面已经可以看到这几张测试表的血缘关系了。

file

这篇文章对您有帮助吗?

平均评分 0 / 5. 次数: 0

尚无评价,您可以第一个评哦!

非常抱歉,这篇文章对您没有帮助.

烦请您告诉我们您的建议与意见,以便我们改进,谢谢您。