首页 > 其他分享> 文章详细

数据全量、增量、比较更新

2021-01-25 09:04:11 阅读：1466 来源： 互联网

标签：输出 JavaScript 更新实验全量增量组件双击输入

【实验目的】
1.利用Kettle的“表输入”，“表输入出”，”JavaScript代码”组件，实现数据全量更新。
2.熟练掌握“JavaScript代码”，“表输入”，“表输入出”组件的使用，实现数据全量更新。

【实验原理】
通过“表输入”对MySQL表格的数据读入，然后通过“JavaScript代码”更新抽取数据的时间，再通过“表输入出”保存表格到MySQL数据库。

【实验环境】
操作系统：Windows10
Kettle版本：7.1.0.0
jdk版本：1.8.0及以上版本

【实验步骤】

一、建立转换

双击spoon.bat打开kettle。（1）点击新建按钮，在下拉菜单中点击选择"转换"即可创建；（2）然后点击"保存"重命名该转换文件，保存在某个指定的路径；（3）选择输入步骤、输出步骤和跳。
在这里插入图片描述

二、各组件的配置

1.使用Navicat向数据库mysql导入数据表：‘课程信息表’，导入结果如下：
在这里插入图片描述

2.“表输入”的配置：
Step1：双击‘表输入’组件，新建数据库的连接并进行测试，
在这里插入图片描述

Step2：连接成功后，获取表的字段名称
在这里插入图片描述

2.“JavaScript代码”的配置：
双击“HTTP client”组件，编写Script1的代码，并获取其相应字段名称和类型。
在这里插入图片描述

3.“表输出”的配置：
双击‘表输出’组件，选择目标表的名称，并使用SQL语句进行创建：
在这里插入图片描述

4.“表输出2”的配置：
双击‘表输出2’组件，选择目标表的名称，并使用SQL语句进行创建：
在这里插入图片描述

三、执行转换

点击按钮，执行转换，结果如下：
在这里插入图片描述

四、实验结果:

输入文件‘课程信息表.xlsx’：
在这里插入图片描述

输出文件‘test4_tableout’：
在这里插入图片描述

输出文件‘test4_tableout2’：
在这里插入图片描述

五、实验中遇到的困难：

表输入和表输出的数据库连接前后要一致（实验过程中，因不经意间改变了表输入步骤的数据库连接名称，致使表输出一直报错）

六、实验总结

本次试验主要是通过一个表输入，两个表输出来实现数据全量更新。一条经过JavaScript代码的处理，在数据表里添加表输出时的时间字段，另一条直接进行表输出，这两条过程的输出结果形成一个对比，实现数据的比较更新。

附件：

在这里插入图片描述

标签：输出,JavaScript,更新,实验,全量,增量,组件,双击,输入
来源： https://blog.csdn.net/weixin_44727274/article/details/113102328

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9