标签：Load 区别 Transform ELT 数据 ETL 加载
0、前言
当你第一次看到这两个词的时候会以为写错了或者ELT是不是其他高大上的概念，但是实质他们两只是顺序调换。虽然表面看只是顺序调换了，但是两者处理数据的方式也是不一样。
ETL 是Extract（抽取）、Transform（转换）、Load（加载）
ELT 是Extract（抽取）、Load（加载）、Transform（转换）
一、ETL
ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。
ETL是构建数据仓库的重要一环，从业务系统搬数据到ODS（Extract抽取），然后像流水线一样，处理一个环节（Transform转换），再放到一个框里（Load加载），再处理一个环节，再放到一个框里（数仓某一层）。
这就是DWD、DWB、DWS、DM等数仓各层的建设，就这样一层层的先处理数据，再加载到本层数仓，然后下一层再处理数据，再加载到过去。
所以，整个数据处理和流转的过程就是 ETL ，也就是先Extract（抽取），再Transform（转换），最后Load（加载）了。
流水线最大的好处是在固定的处理环节前提下，建设效率最快，成本最优，建好之后基本上只需要维护就行了。
ETL 很好用，自动处理所有数据，把数据规规整整的码放在数据仓库里供各方调取。
ETL 也很简单，基本上都是可视化、低代码的形式，设计好流程就行了。
ETL 的成本很低，一次性建设，之后就不用重复投入，只需要每天看看跑批任务有没有问题就行了。所以很多人的重点工作都是运维。
二、ELT
2.1 出现背景
ETL虽然好用，逻辑清晰，但是 ETL 也有非常致命的缺点：流程太长、太笨重、时间太长，改起来成本太高了！！！
ETL 程序通常是把 E 和 L 放在一起做，这就导致单个程序中的逻辑经常非常非常复杂的。
按照以上图的调度程序，维护起来难道不崩溃。
如果业务或者底层数据要动一下， ETL 流程就要随之进行调整。简单的逻辑还好处理，一旦遇到图上的局面，别的不说，光找节点就得找死人。
所以， ETL 开发很简单，但是维护成本奇高无比！复杂度奇高无比！工作难度奇高无比！
业务的频繁变化，再加上 ETL 的时间成本和吞吐量限制（堵塞），所以导致 ETL 这种数据加工的方式不能满足于现在的企业发展需要啊。
2.2 形式
ETL 之所以这么复杂，是因为 Transform （转换）和 Load （加载）两个环节耦合过紧导致的。
从而我们需要把 Transform （转换）和 Load （加载）拆开，这样处理数据的部分就专心计算就行了，搬运数据的部分就专心搬运。
所以， ETL 工具就变成了搬运组件、计算引擎和调度引擎。
搬运组件专门负责搬运数据，不做任何数据处理的操作；
计算引擎专门负责进行数据处理，其他事情跟我没关系；
调度引擎专门负责做流程编排，其他事情也跟我没关系。
这里需要将ETL和ETL工具区分开，这里的 ETL 特指数据处理流程。
在上面的步骤中，也是可以用 ETL 工具代替的。既然是整个工作流都拆开了，那流程也自然就有变化了。第一步没啥变化，但是之后的事情就不太一样了，整体就变成：
需要注意的是：上面这个架构只是示意哈，里面的所有具体的组件都是可以换的。
比如说抽取这个动作，你可以用 ETL 工具，可以用 Kafka，这种神奇的东西最大的好处就是吞吐量极大，任你来多少数据都能吃的下。
ODS 可以是数仓的 ODS，也可以是数据湖，奇葩一些用 Kafka 也没问题，别重复了就行。
加载这个动作也可以用 Kafka 或者啥 ETL 工具都行；
计算引擎你用 Spark 还是 Flink 还是 MR 都随意，反正只要能跑任务就行，最后直接输出到 HBase 也行，扔到 Kafka 或者 Redis 都可以。
你现在再看看对比一下两张图就会发现为啥是 ETL 和 ELT 了。
2.3 作用
最底层的改变是E、T、L彻底的解耦了。解耦之后好处多多，比如突破性能瓶颈、程序简化、组件替换、维护成本降低等等。
不过最重要的还是解耦导致的极致的灵活，可以适应当前复杂多变的市场环境。
因为在复杂多变的环境下， ETL 这种传统的数据处理套路是极度不适应的。
等你慢慢分主题域、抽取实体、建好模型、写各种代码、各种调试，好不容易出一张报表的时候，业务过来跟你说：哥，咱的打法变了，APP 都迭代了 3 轮了，这是新需求。你上哪哭去？
所以现在很多大厂的新业务中，都在弱化建模，强化效率，用的其实就是 ELT 的逻辑。
数据直接入湖，然后写个脚本扔 Spark 里跑，直接拖张宽表扔库里，然后怼到一个报表展示工具完事了
参考资料：
1.微信公众号（谈数据）- 《ETL和ELT到底有啥区别》
2.ETL的两种架构（ETL架构和ELT架构） - Jesse_Li - 博客园
标签：Load,区别,Transform,ELT,数据,ETL,加载 来源： https://blog.csdn.net/u011487470/article/details/121228566
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。