7.5 ETL数据流管理

7.5.1 整体概览

对ETL数据流的管理分为两块:

输出前管理:编辑与设置,主要体现在编辑界面与详情界面
输出与维护:“运行”输出数据集以及后续的维护

进入数据中心-数据流,可查看有对应权限的ETL处理流,列表中有简要的信息如:“输入/输出”、“运行次数/成功率”、“上次运行时间”等

FAQ1

点击鼠标停滞所在行后面的setting可以显示具体的操作项:详情、编辑、运行、删除。

setting-2

详情:进入详细的ETL数据流操作界面,里面可以查看此ETL流详尽的信息。同样也有编辑、运行、删除的入口(详细界面的右上角),详情界面的进入方式还有:直接点击行,即可默认进入详情。
编辑:重新进入ETL的数据流编辑界面。
运行:点击运行,即生成“输出数据集”,获得用户需要的ETL处理后的数据集。

7.5.2 详情界面

7.5.1整体概览中,已介绍了如何进入详情、如何运行等,下面我们主要对详情界面进行介绍,点击进入目标ETL处理流的详情界面,可以看到两个页签

页签一:数据集,显示所有的输入输出数据集,点击各数据集可以跳转其预览界面
页签二:设置,显示所有输入数据集,勾选/取消勾选后,点击应用,可以更改当前数据流更新的触发条件

bookmark-1

bookmark-2

同时,在详情界面的右上角,依然提供两个按钮setting-3可以进行编辑、运行、删除等操作

7.5.3 运行与维护

ETL处理流保存后,需要运行才可输出数据集;上面两个小节已对如何“运行”进行了介绍,用户可以直接去数据流中找到对应的ETL处理流运行,也可进入详情界面再运行。

与“运行”相关的意义与要点:

  1. 只有通过运行,才可以输出数据集
  2. 在必要的时候,可手动更新输出数据集
  3. 运行失败,则表明该ETL处理流存在问题,需要进一步做排查、完善
  4. 自动运行可以使得从输入数据集到输出数据集的自动执行
  5. 对运行次数、成功率、运行时间等要素的统计,可对后续的ETL流维护工作提供帮助

results matching ""

    No results matching ""