一、 RDD创建
1.从本地文件系统中加载数据创建RDD
2.从HDFS加载数据创建RDD
加载
停止hdfs
3.通过并行集合（列表）创建RDD
输入列表、字符串、生成数组
二、 RDD操作
转换操作
1. filter(func)
传入lambda匿名函数
显式定义函数
2.map(func)
显式定义函数
lambda函数
字符串分词
数字加100
客串加固定前缀
3.flatMap(func)
分词
单词映射成键值对
4.reduceByKey()
统计词频，累加
乘法规则
5.groupByKey()
单词分组
查看分组的内容
分组之后做累加 m
6.sortByKey()
词频统计按单词排序
7.sortBy()
词频统计按词频排序
标签：分组,函数,补交,RDD,词频,func,操作,加载 来源： https://www.cnblogs.com/wjp11/p/16330016.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。