标签：知识点 df 天气 blog 52970 122530 spark 数据 details
一. 实验内容和要求
给定气象数据集（ftp://ftp.ncdc.noaa.gov/pub/data/noaa上2018年中国地区监测站的数据）cndcdata.zip，编写spark程序实现以下内容：
1、从每一条气象数据中提取到记录时间、经度、纬度、温度、湿度、气压等信息组成一条新的记录。（数据说明见附录）
2、找出温差最大的观测点。
二.分析
1.数据分析
1.原始数据
第一条数据：
0169501360999992018010100004+52970+122530FM-12+043399999V0201401N00101026001C9004700199-02041-02321102941ADDAA124001531AJ100003100000099GA1081+026001101GA2999+999999101GA3999+999999101GE19MSL+99999+99999GF108991081999026001999999MA1999999097051MD1210061-0101REMSYN004BUFR
第二条数据：
0089501360999992018010318004+52970+122530FM-12+043399999V0203601N0000199999999008000199-02681-02991103291ADDAA106999999AA224999999AY101061AY201061MA1999999097371MD1710071+9999MW1051REMSYN004BUFR
第三条数据：
0148501360999992018010509004+52970+122530FM-12+043399999V0202901N0010122000199030000199-01741-02171102081ADDAA106999999AA224999999GA1011+026001101GA2999+999999101GA3999+999999101GE19MSL+99999+99999GF101991011999026001999999MD1710011+9999REMSYN004BUFR
形式为如图：每行代表一条数据
2.对数据分析
提取出关键数据
分析数据得：
每行数据的信息有以下规律：
日期 在第15-23个字符
经度 在第35-41
维度 在第29-34
温度 在第89-92 其符号位在：87
湿度 在第95-98 其符号位在：93
大气压值 在第99-104
3.数据提取后的数据形式
日期 经度 纬度 温度 湿度 大气压值
(20180101,122530,52970,-204,-232,10294)
(20180101,122530,52970,-165,-205,10292)
(20180101,122530,52970,-127,-178,10284)
2.利用spark与scala进行数据分析
（1）对数据进行过滤---filter算子
（2）利用表格型数据结构DataFrame存储数据
df.orderBy(-df("col2")).show ---按第二列数据的大小进行降序排列
df.orderBy(df("col2")).show ---按第二列数据的大小进行升序排列
（3)groupByKey()算子按键的大小
https://blog.csdn.net/weixin_38963816/article/details/80284727
https://blog.csdn.net/dkl12/article/details/80961981
https://blog.csdn.net/weixin_38963816/article/details/80284727
标签：知识点,df,天气,blog,52970,122530,spark,数据,details 来源： https://www.cnblogs.com/Aiahtwo/p/12801447.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。