ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

ETL工具-KETTLE教程专栏1----术语和定义

2019-12-24 11:52:24  阅读:247  来源: 互联网

标签:教程 转换 KETTLE 作业 保存 Job 资源库 执行 ETL


1-资源库

资源库是用来保存转换任务的,用户通过图形界面创建的的转换任务可以保存在资源库中。
        资源库可以使多用户共享转换任务,转换任务在资源库中是以文件夹形式分组管理的,用户可以自定义文件夹名称。
        资源库有两种形式:
        一、Kettledatabase repository,即保存在各种常见的数据库资源库类型,用户通过用户名/密码来访问资源库中的资源,默认的用户名/密码是admin/admin和guest/guest。
        二、Kettle filerepository,保存在服务器硬盘文件夹内的资源库类型,此类型的资源库无需用户进行登录,直接进行操作。

下图为资源库的创建方式

 

 

2-转换

转换步骤,可以理解为将一个或者多个不同的数据源组装成一条数据流水线。然后最终输出到某一个地方,文件或者数据库等

3-作业

作业,可以调度设计好的转换,也可以执行一些文件处理(比较,删除等),还可以ftp上传,下载文件,发送邮件,执行shell命令等

3.1         转换连接

主要表示数据的流向。从输入,过滤等转换操作,到输出

3.2         作业连接

可设置执行条件: 

1)     无条件执行

2)     当上一个Job执行结果为true时执行

3)     当上一个Job执行结果为false时执行

4  连接线

连接转换步骤或者连接Job(实际上就是执行顺序)的连线

 

5  Chef

它是一个图形用户界面,使用SWT开发,用来设计一个作业,转换,SQL,FTP,邮件,检查表存在,检查文件存在,执行SHELL脚本

6  Kitchen

作业执行引擎,用来进行转换,校验,FTP上传。可以执行xml格式定义的任务以及保存在数据库上的

 

7  Spoon

Spoon是Kettle的另一个图形用户界面,用来设计数据转换过程

8  Pan

Pan是一个数据转换引擎,负责从不同的数据源读写和转换数据。

pan.sh -file="/PRD/Customer Dimension.ktr" -level=Minimal

标签:教程,转换,KETTLE,作业,保存,Job,资源库,执行,ETL
来源: https://www.cnblogs.com/dalaba/p/12090710.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有