标签:文件 python RDD 实例 词频 操作 spark 统计
一、词频统计
A. 分步骤实现
1、准备文件
1、下载小说或长篇新闻稿
2、上传到hdfs上
2、读文件创建RDD
3、分词
4、 排除大小写lower(),map()
标点符号re.split(pattern,str),flatMap(),
长度小于2的词filter()
5、统计词频
6、按词频排序
7、输出到文件
8、查看结果
B. 一句话实现:文件入文件出
C.和作业2的“二、Python编程练习:英文文本的词频统计 ”进行比较,理解Spark编程的特点。
在spark中读取数据后数据是一条字符串/一行字符串可叫做一个rdd对象(每个转换算子的操作都会形成新的rdd对象),spark中词频统计需要先用flatMap进行切分并压平,然后处理切分的字符串后形成新的键值对,再对形成的键值对进行词频的统计,然后再排序输出。而在python中,则没有压平等这类操作。而spark中有个特点就是在spark中有着区块数的概念,是多个任务同时进行,而python是按顺序进行的,所以spark主要是对分布式的数据进行处理,而python是对单数据进行处理。
二、求Top值
网盘下载payment.txt文件,通过RDD操作实现选出最大支付额的用户。
标签:文件,python,RDD,实例,词频,操作,spark,统计 来源: https://www.cnblogs.com/lvhaoxun/p/16115105.html
本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享; 2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关; 3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关; 4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除; 5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。