由于构建之间的依赖关系,运作数据存储作业中的构建需要按顺序运行。
所有作业都在
Jobs 文件夹下定义,运作数据存储作业根据受支持的产品进行组织。
大多数运作数据存储作业支持对数据结构相同的数据源复用 ETL 作业,因此这些作业具有类似的结构,如下所示:
- init node:用于获取数据源中具有指定类别的资源组并且高速缓存结果。
- preparevar:用于在运行构建前填充当前资源组的变量。
- 其他节点构成一个循环,并对每个资源组按顺序运行。
- hasMore,这是一个条件节点,用于确定是否存在更多资源组。
如果有更多资源组,将继续下一个循环;否则,作业完成。
某些作业包含名为
SetFinishedTime 的节点,此节点在数据仓库中的
config.ETL_INFO 表中记录作业结果。