kettle常用功能

2021-10-29 17:05:26 阅读：252 来源： 互联网

标签：常用转换 kettle 功能回刷 char yyyymmdd DATE ETL

Kettle

Kettle是一款开源的ETL工具，纯Java编写，工作中经常用到一些转换，特此记录。

1. 回刷历史数据

如果历史数据需要大批量回刷，按照时间段跑数据，动辄几亿甚至千亿的数据操作会造成数据库断连，Select的时间可以达到十几分钟，按日跑需要不断地进行改参数，循环脚本可解决。

job中对ETL参数做初始设置：

在这里插入图片描述

select  		to_number(to_char(date('20210731'),'yyyymmdd')) as P_SYSDATE_NUM,
                to_number(to_char(ETL_DATE,'yyyymmdd')) as P_ETL_DATE_NUM,
				to_char(ETL_DATE,'yyyymmdd') AS P_ETL_DATE
				 from tmp.ETL_INCREMENTAL

ETL日期经过转换，到字段检验
在这里插入图片描述
如果值小于设置的结束日期，进入循环。

select        jobname, trans_name, table_name, etl_frequency,
              ETL_DATE+1  as P_NEXT_ETL_DATE
			from tmp.ETL_INCREMENTAL

对ETL日期更新，更新之后执行转换。

2. 血缘关系解析

在这里插入图片描述
资源导出成xml文件

从xml中获取到步骤和转换，转换和转换，作业和转换之间的关系，方便追踪血缘关系，为下一步数据治理打好基础。

数据质量监控

在这里插入图片描述
ETL同步在实际过程中，往往会遇见上游回刷，每日监控同步数据量及重要指标

标签：常用,转换,kettle,功能,回刷,char,yyyymmdd,DATE,ETL
来源： https://blog.csdn.net/weixin_39344732/article/details/121037833

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

kettle常用功能

Kettle