ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

【Azure Data Platform】ETL工具(14)——ADF控制流简介

2022-02-27 18:59:04  阅读:313  来源: 互联网

标签:14 控制流 ADF 管道 Azure 活动 变量


本文属于【Azure Data Platform】系列。
接上文:【Azure Data Platform】ETL工具(13)——ADF并行加载多个文件
本文介绍ADF 的控制流

前言

上一文已经引入了“查找(lookup)”这个活动,那么现在应该开始引入其他的一些控制流活动。

Append Variable(追加变量):用于添加一个变量到定义在管道中的现有的数据变量中。"追加变量"活动可用于向数据工厂管道中定义的现有数组变量添加值。
在这里插入图片描述

Set Variable(设置变量): "设置变量"活动可用于设置在数据工厂管道中定义的字符串、Bool 或数组类型的现有变量的值。
在这里插入图片描述

Execute Pipeline(执行管道): 用于在管道中执行另外一个管道。
在这里插入图片描述

Get Metadata(获取元数据): 用于查找ADF中的元数据。
在这里插入图片描述

Filter(筛选): 将筛选器表达式应用于输入数组。
在这里插入图片描述
Wait(等待): 跟很多编程语言的wait,waitfor类似。
在这里插入图片描述

Web: 从管道中调用一个自定义的REST endpoint。
在这里插入图片描述

Azure Function: 在管道中运行Azure 函数。

在这里插入图片描述

从上面可以看到,ADF的控制流主要由活动组成,其活动的种类很多通常集中在【常规】这部分:
在这里插入图片描述
除此之外,还有【迭代和条件】:
在这里插入图片描述

这些活动,用于控制其他活动比如复制数据等的数据流的方向和行为中。比如上文中的ForEach,可以轮询配置表中的数据并读取。

我们现在常用的已经是ADF v2,在V1时,ADF主要集中在对大数据进行分析和操作,而V2, 真正引入了控制流的实现,如parameterization(参数化), conditional execution(按条件执行), loops(循环) 和 if conditions。

下面简要介绍一下它们。

If condition

ADF中的活动大概等于SSIS中的任务。IF 条件在过去多数使用编码实现,在ADF中可以使用下面的活动来完成:
在这里插入图片描述
它是一个布尔值,分为ifTrue和ifFalse两个逻辑,True时执行某个对应的活动,False则执行另外一个:
在这里插入图片描述
官方网站有详细的说明:Azure 数据工厂和 Synapse Analytics 管道中的 If 条件活动

Loops

循环有两类,一类是直到达到某种条件才执行(也称Do-Until,截止),一类是遍历所有条件并判断是否满足(也称ForEach)。它体现在重复操作上面。

在这里插入图片描述
截止类似于编程语言中的While, 而ForEach类似于编程语言中的For。

参数

参数是很常用的功能,用来满足较为复杂的情况和使得管道可以重复使用。使用参数的例子在前面几篇文章已经演示过很多次,这里就不累赘了。

因为前面用到了lookup(查找)这个活动,我打算下一文进行详细一点的介绍。

标签:14,控制流,ADF,管道,Azure,活动,变量
来源: https://blog.csdn.net/DBA_Huangzj/article/details/123124743

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有