标签：文件 map res 编程 RDD 初级 txt 数据 lambda
目录
1、需求描述
在数据大爆炸的年代，随着数据的日益增长，数据的分析变得尤为重要。所谓数据分析就是将产品相关的数据收集整合，然后利用特定的方法去分析这些数据，从中发现规律或是得到结论。这些特定的方法可以包括专业的统计学、数学建模等，也可以从数据的维度和广度出发，数据收集或对比、总结相似数据的相同性、异常数据出现的可能原因，这类分析比较偏人文学科，可能数学难度不高，但是利用独特的数据角度，同样可以得到非常有价值的结果。在校园的日常生活学习中通常需要统计大量的学生个人数据，传统的处理数据方法中，数据的利用效率尤其得低下。这个时候就需要利用RDD编程去管理这些数据，这样既方便又迅捷。
2、环境介绍
在本设计中，主要介绍的是如何去利用RDD编程去管理大量的数据，本设计全程在Ubuntu16.04系统中实现。Ubuntu是一个以桌面应用为主的Linux操作系统，完全遵从开源软件开发的原则;并且鼓励人们使用、完善并传播开源软件。ubuntu系统基于Debian发行版和GNOME桌面环境。Ubuntu的目标在于为一般用户提供一个最新的、同时又相当稳定的主要由自由软件构建而成的操作系统，它可免费使用，并带有社团及专业的支持。
配置环境变量：
3、数据来源描述
本次的数据主要来自于日常作业中的数据，其中数据文件data.txt，该数据集包含了某大学计算机系的成绩，数据文件A.txt和B.txt包含了每门课的成绩，数据文件Algorithm.txt、Database.txt、Python.txt每个输入文件表示班级学生某个学科的成绩，每行内容由两个字段组成，第一个是学生名字，第二个是学生的成绩。全部数据文件均是txt文件格式，方便上传和读取。
4、数据上传及上传结果查看
1.数据上传：
将准备好的数据通过u盘的方式分别放进usr/local/spark等目录中。
2.数据读取：
（1）读取data.txt中的数据：
（2）读取A.txt和B.txt中的数据
（3）读取Algorithm.txt、Database.txt和Python.txt中的数据
5、数据处理过程描述
1.pyspark交互式编程
本作业提供分析数据data.txt，该数据集包含了某大学计算机系的成绩，数据格式如下所示：
Tom,DataBase,80
Tom,Algorithm,50
Tom,DataStructure,60
Jim,DataBase,90
Jim,Algorithm,60
Jim,DataStructure,80
……
请根据给定的实验数据，在pyspark中通过编程来计算以下内容：
（1）该系总共有多少学生；
lines = sc.textFile(“file:///usr/local/spark/spark/data.txt”)//读取data.txt文件
res = lines.map(lambda x:x.split(”,")).map(lambda x:x[0])//拆分该文件中第0列数据
distinct_res=res.distinct() //去除重复数据
distinct_res.count()//显示distinct_res中的数据
（2）该系共开设了多少门课程；
res = lines.map(lambda x:x.split(”,")).map(lambda x:x[1])//拆分该文件中第1列数据
distinct_res = res.distinct()//去除重复命令并赋值给distinct_res
distinct_res.count()//显示distinct_res中的数据
（3）Tom同学的总成绩平均分是多少；
score = res.map(lambda x:int(x[2]))//将数据中的第2列数据赋值给score
num=res.count()//计算课程总数
sum_score= score.reduce(lambda x,y:x+y) //累加所有成绩
avg = sum_score/num//将总成绩除以课程总数并将值赋予avg
print(avg)//输出avg
（4）求每名同学的选修的课程门数；
res = lines.map(lambda x:x.split(",")).map(lambda x:(x[0],1))//拆分该文件中第0列数据，并以(x[0],1)的格式排列
each_res = res.reduceByKey(lambda x,y:x+y)//累加所有所选课程
each_res.foreach(print)//输出打印数据
（5）该系DataBase课程共有多少人选修；
res = lines.map(lambda x:x.split(",")).filter(lambda x:x[1]==’DataBase’)//拆分该文件中第1列数据，过滤除了名为DataBase的数据
res.count()//输出res
（6）各门课程的平均分是多少；
res = lines.map(lambda x:x.split(",")).map(lambda x:(x[1],(int(x[2]),1)))//拆分该文件中第1列数据
temp = res.reduceByKey(lambda x,y:(x[0]+y[0],x[1]+y[1]))//计算各学科的平均分
avg = temp.map(lambda x:(x[0],round(x[1][0]/x[1][1],2)))//计算各学科的平均分
avg.foreach(print)//输出avg中的数据
（7）使用累加器计算共有多少人选了DataBase这门课。
res = lines.map(lambda x:x.split(",")).filter(lambda x:(x[1]=’DataBase’)//拆分该文件中第1列数据，并过滤除了DataBase以外的数据
accum = sc.accumulator(0) //使用累加器并将数据写入accu
res.foreach(lambda x:accum.add(1)) //逐行统计，满足条件则往accu中加1
accum.value //输出accum.value中的值
2.编写独立应用程序实现数据去重
对于两个输入文件A和B，编写Spark独立应用程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新文件C。本文给出门课的成绩（A.txt、B.txt）下面是输入文件和输出文件的一个样例，供参考。
输入文件A的样例如下：
20200101 x
20200102 y
20200103 x
20200104 y
20200105 z
20200106 z
输入文件B的样例如下：
20200101 y
20200102 y
20200103 x
20200104 z
20200105 y
根据输入的文件A和B合并得到的输出文件C的样例如下：
20200101 x
20200101 y
20200102 y
20200103 x
20200104 y
20200104 z
20200105 y
20200105 z
20200106 z
1.在当前目录下新建一个remdup.py文件
2.编写remdup.py文件
3.在目录/usr/local/spark/mycode/remdup/result下即可得到结果文件part-00000。
3.编写独立应用程序实现求平均值问题
每个输入文件表示班级学生某个学科的成绩，每行内容由两个字段组成，第一个是学生名字，第二个是学生的成绩；编写Spark独立应用程序求出所有学生的平均成绩，并输出到一个新文件中。本文给出门课的成绩（Algorithm.txt、Database.txt、Python.txt），下面是输入文件和输出文件的一个样例，供参考。
Algorithm成绩：
小明 92
小红 87
小新 82
小丽 90
Database成绩：
小明 95
小红 81
小新 89
小丽 85
Python成绩：
小明 82
小红 83
小新 94
小丽 91
平均成绩如下：
(小红,83.67)
(小新,88.33)
(小明,89.67)
(小丽,88.67）
1.在当前目录下新建一个avgscore.py
2.编写avgscore.py文件
3在目录/usr/local/spark/mycode/avgscore/result下即可得到结果文件part-00000
标签：文件,map,res,编程,RDD,初级,txt,数据,lambda 来源： https://blog.csdn.net/g_zihao/article/details/117789566
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。