标签：DataFrame RDD json SparkSQL SQL Spark 数据 spark

 1.分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。

->SparkSQL的前身Shark对于Hive的太多依赖（如采用Hive的语法解析器、查询优化器等等），制约了Spark的One Stack Rule Them All的既定方针，制约了Spark各个组件的相互集成，所以提出了SparkSQL项目。

->SparkSQL抛弃原有Shark的代码，汲取了Shark的一些优点，如内存列存储（In-Memory Columnar Storage）、Hive兼容性等，重新开发了SparkSQL代码；由于摆脱了对Hive的依赖性，SparkSQL无论在数据兼容、性能优化、组件扩展方面都得到了极大的提升。

->SparkSQL的出现，解决了对不同数据源和不同数据的操作，例如结构化和非结构化数据。还有可以支持融合关系查询和复杂分析算法。

 2. 简述RDD 和DataFrame的联系与区别。

Spark RDD
->RDD是一种弹性分布式数据集，是一种只读分区数据。它是spark的基础数据结构，具有内存计算能力、数据容错性以及数据不可修改特性。

Spark Dataframe
->Dataframe也是一种不可修改的分布式数据集合，它可以按列查询数据，类似于关系数据库里面的表结构。可以对数据指定数据模式（schema）。

共同点

->RDD、DataFrame、Dataset全都是spark平台下的分布式弹性数据集，在处理超大型数据提供便利。

->都会根据spark的内存情况自动缓存运算，这样即使数据量很大，也不担心会内存溢出。

->都有惰性机制，在进行创建、转换，如map方法时，不会立即执行，只有在遇到Action如foreach时，三者才会开始遍历运算，极端情况下，如果代码里面有创建、转换，但是后面没有在Action中使用对应的结果，在执行时会被直接跳过。

不同点

->RDD不支持sparkSQL操作。

->RDD总是搭配spark mlib使用。

->DataFrame每一行的类型固定为Row，只有通过解析才能获取各个字段的值。

->DataFrame总是搭配spark ml使用。

->DataFrame支持一些特别方便的保存方式，比如保存成csv，可以带上表头，这样每一列的字段名一目了然。

 3. DataFrame的创建与保存

PySpark-DataFrame创建：

spark.read.text(url)

spark.read.json(url) 

spark.read.format("text").load("people.txt")

spark.read.format("json").load("people.json")

描述从不同文件类型生成DataFrame的区别。

->

用相同的txt或json文件，同时创建RDD，比较RDD与DataFrame的区别。

->

 

DataFrame的保存:

df.write.text(dir)

df.write.json(dri)

df.write.format("text").save(dir)

df.write.format("json").save(dir)

df.write.format("json").save(dir)

 

 4. 选择题

 

标签：DataFrame,RDD,json,SparkSQL,SQL,Spark,数据,spark
来源： https://www.cnblogs.com/animabread/p/16197611.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。