标签：映射 单词 RDD 词频 Spark 文本 sparkConf lambda
1、实验要求
对给定的一个英文文本，使用Spark完成文本内容的读取并转换成RDD，然后使用RDD的算子统计每个单词出现的次数，将统计结果按从大到小的顺序打印到控制台上。
2、实验代码
import findspark
findspark.init()
from pyspark import SparkContext, SparkConf
sparkConf = SparkConf()
sparkConf.setAppName("wordcount")
sparkConf.setMaster("local")
sparkContext = SparkContext(conf=sparkConf)
txtFile = r'C:\Users\LYW\Desktop\英文文档.txt' # 文件路径
rdd = sparkContext.textFile(txtFile)
rdd.flatMap(lambda x: x.split()).map(lambda x: (x, 1)).reduceByKey(lambda x, y: x + y).sortBy(keyfunc=(lambda x: x[1]),ascending=False).foreach(lambda x: print(x))
3、编程思路
既然我们要统计单词出现的次数，那么就要先把数据导入，可以用sc.txtFile()方法来加载文件数据，该方法把文件的URI作为参数，要分割单词，就可以使用rdd中的flatMap方法，它会遍历textFile中的每行文本内容，当遍历到其中一行文本内容时，会把文本内容赋值给变量x，并执行lamda表达式。接着执行x.split()).map(lambda x: (x, 1))会得到一个映射map，这个映射中包含了很多个(key,value)，针对这个映射，执行reduceByKey(lambda x, y: x + y)操作，这个操作会把映射中的所有(key,value)按照key进行分组，然后使用sortBy函数进行按照词频降序排序，最后使用foreach遍历打印结果，这样就计算得到了这个单词的词频。
标签：映射,单词,RDD,词频,Spark,文本,sparkConf,lambda 来源： https://www.cnblogs.com/ywyc/p/15470954.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。