ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

第六章 数据转换课后操作题

2021-10-20 20:02:11  阅读:142  来源: 互联网

标签:控件 单击 操作题 配置 所示 课后 按钮 第六章 如图


  1. 实现对文本文件personnel_data.txt中的数据进行数据粒度的转换,即将文本文件personnel_data.txt中字段为household_register的数据统一成省份(直辖市),并输出到文本文件personnel_data_new.txt中。

(1)打开Kettle工具,新建转换

使用Kettle工具,创建一个转换generalization,并添加文本文件输入控件、表输入控件、字段选择控件、排序记录控件、记录集连接控件、表输出控件以及Hop跳连接线,具体效果如图1所示。

 

  1. 创建转换generalization

(2)配置文本文件输入控件

双击图6-1中的“文本文件输入”控件,进入“文本文件输入”界面,单击【浏览】按钮,选择要抽取personnel_data.txt文件;单击【增加】按钮,将要抽取的personnel_data.txt文件添加到generalization转换中。

 

  1. 配置“文件”选项卡

在图6-2中,单击“内容”选项卡,在分隔符处清除默认分隔符“;”,单击【Insert TAB】按钮,在分隔符处插入一个制表符;取消勾选“头部”复选框。“内容”选项卡的配置具体效果如图6-3所示。

 

  1. “内容”选项卡的配置

在图6-3中,单击“字段”选项卡,根据personnel_data.txt文件的内容添加对应的字段名称,并指定数据类型。“字段”选项卡的配置,如图6-4所示。

 

  1. “字段”选项卡的配置

在图6-4中,单击【确定】按钮,完成“文本文件输入”控件的配置。

(3)配置字段选择控件

双击图6-1中的“字段选择”控件,进入“选择/改名值”界面,在“选择和修改”选项卡处添加字段名称,具体如图6-5所示。

 

  1. 添加字段

在图6-5中,单击【确定】按钮,完成“字段选择”控件的配置。

(4)配置排序记录控件

双击图6-1中的“排序记录”控件,进入“排序记录”界面,并在“字段”框中添加字段household_register,对其进行排序,具体如图6-6所示。

 

  1. 配置“排序记录”控件

在图6-6中,单击【确定】按钮,完成“排序记录”控件的配置。

(5)配置表输入控件

双击图6-1中的“表输入”控件,进入“表输入”界面,如图6-7所示。

 

  1. “表输入”界面

在图6-7中,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,具体如图6-8所示。

 

  1. 配置MySQL数据库连接

在图6-75中的SQL框中编写SQL语句,用于查询city数据表(注:该表需提前创建,读者执行本书提供的data.sql脚本文件可生成city数据表)中字段city和pid的数据,用于与personnel_data.txt文件中household_register字段进行合并连接,具体如图6-9所示。

 

编写SQL语句

在图6-9中,单击【确定】按钮,完成“表输入”控件的配置。

(6)配置排序记录2控件

双击图6-1中的“排序记录 2”控件,进入“排序记录”界面,在“字段”框中添加字段city,并对其进行排序,具体如图6-10所示。

 

配置“排序记录2”控件

在图6-10中,单击【确定】按钮,完成“排序记录2”控件的配置。

(7)配置记录集连接控件

双击图6-1中的“记录集连接”控件,进入“合并排序”界面,在“第一个步骤”处的下拉框中选择“排序记录”,“第二个步骤”处的下拉框中选择“排序记录2”;在“第一个步骤的连接字段”和“第二个步骤的连接字段”处添加连接字段,这里添加的连接字段是household_register和city;在“连接类型”处的下拉框选择连接类型,这里选择的LEFT OUTER,即左外连接,具体如图6-11所示。

 

配置记录集连接控件

在图6-11中,单击【确定】按钮,完成记录集连接控件的配置。

(8)配置字段选择2控件

双击图6-1中的“字段选择2”控件,进入“选择/改名值”界面,在“选择和修改”选项卡处添加字段名称,这里添加的是记录集连接流中的字段household_register和pid,具体如图6-12所示。

 

  1. 添加字段

在图6-12中,单击【确定】按钮,完成“字段选择2”控件的配置。

(9)配置排序记录3控件

双击图6-1中的“排序记录 3”控件,进入“排序记录”界面,在“字段”框中添加字段pid,并对其进行排序,具体如图6-13所示。

 

  1. 配置“排序记录3”控件

在图6-13中,单击【确定】按钮,完成排序记录3控件的配置。

(10)配置表输入2控件

双击图6-1中的“表输入2”控件,进入“表输入2”界面,如图6-14所示。

 

  1. “表输入2”界面

在图6-14中,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,具体如图6-15所示。

 

  1. 配置MySQL数据库连接

在图6-14中的SQL框中编写SQL语句,用于查询provincial数据表(注:该表需提前创建,读者执行本书提供的data.sql脚本文件可生成provincial数据表)中字段Provincial和pid的数据,用于与household_register字段进行合并连接,具体如图6-16所示。

 

  1. 编写SQL语句

在图6-16中,单击【确定】按钮,完成“表输入2”控件的配置。

 

(11)配置排序记录4控件

双击图6-1中的“排序记录 4”控件,进入“排序记录”界面,在“字段”框中添加字段pid,并对其进行排序,具体如图6-17所示。

 

  1. 配置“排序记录4”控件

在图6-17中,单击【确定】按钮,完成“排序记录4”控件的配置。

(12)配置记录集连接2控件

双击图6-1中的“记录集连接2”控件,进入“合并排序”界面,在“第一个步骤”处的下拉框中选择“排序记录3”,“第二个步骤”处的下拉框中选择“排序记录4”;在“第一个步骤的连接字段”和“第二个步骤的连接字段”处添加连接字段,这里添加的连接字段是pid;在“连接类型”处的下拉框选择连接类型,这里选择的LEFT OUTER,即左外连接,具体如图6-18所示。

 

  1. 配置记录集连接2控件

在图6-18中,单击【确定】按钮,完成“记录集连接2”控件的配置。

(13)配置字段选择3控件

双击图6-1中的“字段选择3”控件,进入“选择/改名值”界面,在“选择和修改”选项卡处添加字段名称,这里添加的是记录集连接2流中的字段household_register和Provincial,具体如图6-19所示。

 

  1. 添加字段

在图6-19中,单击【确定】按钮,完成“字段选择3”控件的配置。

(14)配置表输出控件

双击图8-1中的“表输出”控件,进入“表输出”配置界面,如图6-20所示。

 

  1. “表输出”界面

在图6-20中,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,具体如图8-20所示。

 

  1. 配置数据库连接

在图6-20中,单击目标表右侧的【浏览】按钮,选择输出的目标表,即临时数据表personnel;勾选“指定数据库字段”的复选框,具体如图8-21所示。

 

  1. 指定输出的目标表

在图6-22中,单击【输入字段映射】按钮,弹出“映射匹配”对话框,依次选中“源字段”选项框的字段和“目标字段”选项框的字段,再单击【Add】按钮,将一对映射字段添加至“映射”选项框中,若“源字段”选项框的字段和“目标字段”选项框的字段相同,则可以单击【猜一猜】按钮,让Kettle自动实现映射,具体如图6-23所示。

 

  1. 设置映射匹配

在图6-23中,单击映射匹配对话框的【确定】按钮,“表输出”界面最终显示的效果如图8-24所示,单击【确定】按钮,完成“表输出”控件的配置。

 

“表输出”控件配置的效果图

 

(15)打开Kettle工具,新建转换

使用Kettle工具,创建一个转换generalization_merge,并添加表输入控件、字段选择控件、排序记录控件、记录集连接控件、文本文件输出控件以及Hop跳连接线,具体效果如图6-25所示。

  1. (16)配置表输入控件

    双击图6-25中的“表输入”控件,进入“表输入”界面,如图6-7所示。

    在图6-26中,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL在图6-26中的SQL框中编写SQL语句,用于查询数据表personnel中的数据,具体如图6-28所示。数据库连接的配置,具体如图6-27所示。 

    在图6-28中,单击【确定】按钮,完成“表输入”控件的配置。 

    (17)配置字段选择控件

    双击图6-25中的“字段选择”控件,进入“选择/改名值”界面,在“选择和修改”选项卡处添加字段名称,具体如图6-29所示。                                                                                                                                                                                                                                                                                                    在图6-29中,单击【确定】按钮,完成“字段选择”控件的配置。                                                

    (18)配置排序记录控件

    双击图6-25中的“排序记录”控件,进入“排序记录”界面,并在“字段”框中添加字段id,对其进行排序,具体如图6-30所示。                                                                                                         

    在图6-30中,单击【确定】按钮,完成“排序记录”控件的配置。

    (19)配置文本文件输入控件

    双击图6-25中的“文本文件输入”控件,进入“文本文件输入”界面,单击【浏览】按钮,选择要抽取personnel_data.txt文件;单击【增加】按钮,将要抽取的personnel_data.txt文件添加到generalization_merge转换中,如图6-31所示。                                                                              

    在图6-31中,单击“内容”选项卡,在分隔符处清除默认分隔符“;”,单击【Insert TAB】按钮,在分隔符处插入一个制表符;取消勾选“头部”复选框。“内容”选项卡的配置具体效果如图6-32所示。                                                                                                                                    

  2. “内容”选项卡的配置
  3. 在图6-32中,单击“字段”选项卡,根据文本文件personnel_data.txt的内容添加对应的字段名称,并指定数据类型。“字段”选项卡的配置,如图6-33所示。                                                         

    在图6-33中,单击【确定】按钮,完成“文本文件输入”控件的配置。                                         

    (20)配置字段选择2控件

    双击图6-25中的“字段选择2”控件,进入“选择/改名值”界面,在“选择和修改”选项卡处添加字段名称,具体如图6-34所示。                                                                                                        

     

    在图6-34中,单击【确定】按钮,完成“字段选择”控件的配置。

    (21)配置排序记录2控件

    双击图6-25中的“排序记录”控件,进入“排序记录”界面,并在“字段”框中添加字段id,对其进行排序,具体如图6-35所示。                                                                                                         

     

    在图6-35中,单击【确定】按钮,完成“排序记录2”控件的配置。

    (22)配置记录集连接控件

    双击图6-25中的“记录集连接”控件,进入“合并排序”界面,在“第一个步骤”处的下拉框中选择“排序记录”,“第二个步骤”处的下拉框中选择“排序记录2”;在“第一个步骤的连接字段”和“第二个步骤的连接字段”处添加连接字段,这里添加的连接字段是id;在“连接类型”处的下拉框选择连接类型,这里选择的LEFT OUTER,即左外连接,具体如图6-36所示。                            

     

    在图6-36中,单击【确定】按钮,完成“记录集连接”控件的配置。

    (23)配置字段选择3控件

    双击图6-25中的“字段选择3”控件,进入“字段选择”界面,在“选择和修改”选项卡处添加字段名称,并将字段household_register_new改为household_register,具体如图6-37所示。             

     

    在图6-37中,单击【确定】按钮,完成“字段选择3”控件的配置。

    (24)配置文本文件输出控件

    双击图6-25中的“文本文件输出”控件,进入“文本文件输出”界面,单击“文件名称”右侧的【浏览】按钮,选择输出文件,即文本文件personnel_data_new,如图6-38所示;单击“内容”选项卡,进入“内容”界面,清除分隔符处的默认分隔符,单击【插入Tab】按钮,插入Tab分隔符。并在编码处的下拉框选择“UTF-8”编码,如图6-39所示;单击“字段”选项卡,进入“字段”界面,添加要输出的字段,如图6-40所示。                                                                                 

     

    在图6-40中,单击【确定】按钮,完成“文本文件输出”控件的配置。

    (25)打开Kettle工具,新建作业

    使用Kettle工具,创建一个作业generalization,并添加Start控件、转换控件、成功控件以及Hop作业项连接线,具体效果如图6-41所示。                                                                                

     

    (26)配置转换控件

    双击图6-41中的“转换”控件,进入“转换”界面,单击“Transformations”处的【浏览】按钮,选择添加转换generalization,具体如图6-42所示。                                                                        

    在图6-42中,单击【确定】按钮,完成“转换”控件的配置。

    (27)配置转换2控件

    双击图6-41中的“转换2”控件,进入“转换”界面,单击“Transformations”处的【浏览】按钮,选择添加转换generalization_merge,具体如图6-43所示。                                                         

     

    在图6-43中,单击【确定】按钮,完成“转换2”控件的配置。

    (28)运行作业generalization

    单击作业工作区顶部的按钮,运行作业generalization,实现将文本文件personnel_data.txt中字段为household_register的数据统一成省份(直辖市),并输出到文本文件personnel_data_new.txt中。运行作业generalization的效果如图6-44所示。                             

  4. 运行作业generalization的效果
  5. 从图6-44中的执行结果来看,即每个控件的右上角均有“√”,则说明作业generalization执行成功。

    (29)查看文本文件personnel_data_new.txt中的数据

    通过文本编辑器工具,查看文本文件personnel_data_new.txt中的数据,查看结果如图6-45所示。                                                                                                                                              

    从图6-45可以看出,文本文件personnel_data_new.txt中字段为household_register的数据均统一成省份(直辖市)。                                                                                                            2.对文本文件personnel_data_new.txt中字段为salary的数据进行商务规则计算,即计算每个人的月薪(以22天工作日计算),最终输出到文本文件personnel_data_monthly_salary.txt中。

  6. (1)打开Kettle工具,新建转换

    使用Kettle工具,创建一个转换monthly_salary,并添加文本文件输入控件、增加常量控件、计算器控件、文本文件输出控件以及Hop跳连接线,具体效果如图6-46所示。                            

     

    (2)配置文本文件输入控件

    双击图6-46中的“文本文件输入”控件,进入“文本文件输入”界面,单击【浏览】按钮,选择要抽取personnel_data_new.txt文件;单击【增加】按钮,将要抽取的personnel_data_new.txt文件添加到转换monthly_salary中。                                                                                          

     

    在图6-47中,单击“内容”选项卡,在分隔符处清除默认分隔符“;”,单击【Insert TAB】按钮,在分隔符处插入一个制表符。“内容”选项卡的配置具体效果如图6-48所示。                           

     

    在图6-48中,单击“字段”选项卡,根据personnel_data_new.txt文件的内容添加对应的字段名称,并指定数据类型。“字段”选项卡的配置,如图6-49所示。                                                      

    在图6-49中,单击【确定】按钮,完成“文本文件输入”控件的配置。

    (3)配置增加常量控件

    双击图6-46中的“增加常量”控件,进入“增加常量”界面,在字段框中添加一个字段days,并给定一个值22。增加常量控件的配置,如图6-50所示。         

  7.  

  8. 在图6-50中,单击【确定】按钮,完成“增加常量”控件的配置。

    (4)配置计算器控件

    双击图6-46中的“计算器”控件,进入“计算器”界面,在字段框中添加一个字段monthly_salary,用于存储月薪,该字段是由字段days和salary进行相乘所得。计算器控件的配置,如图6-51所示。                                                                                                                   

    在图6-51中,单击【确定】按钮,完成“计算器”控件的配置。

    (5)配置文本文件输出控件

    双击图6-46中的“文本文件输出”控件,进入“文本文件输出”界面,单击“文件名称”右侧的【浏览】按钮,选择输出文件,即文本文件personnel_data_monthly_salary,如图6-52所示;单击“内容”选项卡,进入“内容”界面,清除分隔符处的默认分隔符,单击【插入Tab】按钮,插入Tab分隔符,并在编码处的下拉框选择“UTF-8”编码,如图6-53所示;单击“字段”选项卡,进入“字段”界面,添加要输出的字段,如图6-54所示。

           

     

     

     

    在图6-54中,单击【确定】按钮,完成“文本文件输出”控件的配置。

    (6)运行转换monthly_salary

    单击转换工作区顶部的按钮,运行转换monthly_salary,实现将文本文件personnel_data_new.txt中字段为salary的数据进行商务规则计算,即计算每个人的月薪(以22天工作日计算),最终输出到文本文件personnel_data_monthly_salary.txt中。                   

     

    从图6-55中的执行结果来看,即每个控件的右上角均有“√”,则说明转换monthly_salary执行成功。

    (7)查看文本文件personnel_data_monthly_salary.txt中的数据

    通过文本编辑器工具,查看文本文件personnel_data_monthly_salary.txt中的数据,查看结果如图6-56所示。                                                                                                                                    

     

    从图6-56可以看出,文本文件personnel_data_monthly_salary.txt中字段为monthly_salary存储着月薪。

                                                                                                                                                                                                                                                                                                                                                                               

标签:控件,单击,操作题,配置,所示,课后,按钮,第六章,如图
来源: https://blog.csdn.net/qq_48881139/article/details/120872849

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有