7.5 ETL数据流管理
7.5.1 整体概览
对ETL数据流的管理分为两块:
输出前管理:编辑与设置,主要体现在编辑界面与详情界面
输出与维护:“运行”输出数据集以及后续的维护
进入数据中心-数据流,可查看有对应权限的ETL处理流,列表中有简要的信息如:“输入/输出”、“运行次数/成功率”、“上次运行时间”等
点击鼠标停滞所在行后面的可以显示具体的操作项:详情、编辑、运行、删除。
详情:进入详细的ETL数据流操作界面,里面可以查看此ETL流详尽的信息。同样也有编辑、运行、删除的入口(详细界面的右上角),详情界面的进入方式还有:直接点击行,即可默认进入详情。
编辑:重新进入ETL的数据流编辑界面。
运行:点击运行,即生成“输出数据集”,获得用户需要的ETL处理后的数据集。
7.5.2 详情界面
在7.5.1整体概览中,已介绍了如何进入详情、如何运行等,下面我们主要对详情界面进行介绍,点击进入目标ETL处理流的详情界面,可以看到两个页签
页签一:数据集,显示所有的输入输出数据集,点击各数据集可以跳转其预览界面
页签二:设置,显示所有输入数据集,勾选/取消勾选后,点击应用,可以更改当前数据流更新的触发条件
同时,在详情界面的右上角,依然提供两个按钮可以进行编辑、运行、删除等操作
7.5.3 运行与维护
ETL处理流保存后,需要运行才可输出数据集;上面两个小节已对如何“运行”进行了介绍,用户可以直接去数据流中找到对应的ETL处理流运行,也可进入详情界面再运行。
与“运行”相关的意义与要点:
- 只有通过运行,才可以输出数据集
- 在必要的时候,可手动更新输出数据集
- 运行失败,则表明该ETL处理流存在问题,需要进一步做排查、完善
- 自动运行可以使得从输入数据集到输出数据集的自动执行
- 对运行次数、成功率、运行时间等要素的统计,可对后续的ETL流维护工作提供帮助