ICode9

精准搜索请尝试: 精确搜索
首页 > 数据库> 文章详细

7.Spark SQL

2022-05-11 23:02:00  阅读:82  来源: 互联网

标签:people df DataFrame RDD Hive SQL Spark spark


------------恢复内容开始------------

1.请分析SparkSQL出现的原因,并简述SparkSQL的起源与发展。

  Shark提供了类似于Hive的功能,与Hive不同的是,Shark把SQL语句转换成Spark作业,而不是MAPreduce作业。为了实现Hive的兼容,Shark重用了Hive中的Hive SQL解析、逻辑执行计划翻译、执行计划优化等逻辑。可以近似的认为,Sark仅仅将物理执行计划从Map Reduce作业替换成了Spark作业,也就是通过Hive的HiveSQL解析功能,把Hive SQL翻译成Spark上的RDD操作。Shark的出现,使得SQL-on-Hadoop的性能比Hive有了10~100倍的提高。

2.简述RDD 和DataFrame的联系与区别?

  Rdd是分布式的Java对象的集合,但是,对象内部的结构对于RDD来说是不可知的。Data Frame是一种以RDD为基础的分布式数据集,提供详细的结构信息,就相当于关系数据库的一张表。

3.DataFrame的创建

  spark.read.text(url)

  spark.read.json(url) 

  spark.read.format("text").load("people.txt")

  spark.read.format("json").load("people.json")

  描述从不同文件类型生成DataFrame的区别。

  用相同的txt或json文件,同时创建RDD,比较RDD与DataFrame的区别

  区别:RDD是直接输出对象,DataFrame是以对象里面的的详细结构进行输出

4.PySpark-DataFrame各种常用操作

  4.1基于df的操作

    打印数据 df.show()默认打印前20条数据

    打印概要 df.printSchema()

    查询总行数 df.count()

    df.head(3) #list类型,list中每个元素是Row类

    输出全部行 df.collect() #list类型,list中每个元素是Row类

    查询概况 df.describe().show()

    取列 的三种方式 df[‘name’], df.name, df[1]

    选择 df.select() 每个人的年龄+1

    筛选 df.filter() 20岁以上的人员信息

    筛选年龄为空的人员信息

    分组df.groupBy() 统计每个年龄的人数

    排序df.sortBy() 按年龄进行排序

 

 

  4.2基于spark.sql的操作:

    创建临时表虚拟表 df.registerTempTable('people')

    spark.sql执行SQL语句 spark.sql('select name from people').show()

5.Pyspark中DataFrame与pandas中DataFrame

  分别从文件创建DataFrame 

 

 

 

 

  pandas中DataFrame转换为Pyspark中DataFrame

  Pyspark中DataFrame转换为pandas中DataFrame 

  从创建与操作上,比较两者的异同

    pandas DataFrame有索引生成,而spark DateFrame没有索引

 

 

6.从RDD转换得到DataFrame

  6.1 利用反射机制推断RDD模式

    创建RDD sc.textFile(url).map(),读文件,分割数据项

    每个RDD元素转换成 Row

    由Row-RDD转换到DataFrame

 

 

 

  6.2 使用编程方式定义RDD模式

    #下面生成“表头” 

      schemaString = "name age"
      fields = [StructField(field_name, StringType(), True) for field_name in schemaString.split(" ")]
      schema = StructType(fields)

    #下面生成“表中的记录” 

      lines = spark.sparkContext.textFile("file:///home/hadoop/people.txt")
      parts = lines.map(lambda x :x.split(","))
      people = parts.map(lambda p:Row(p[0],p[1].strip()))

    #下面把“表头”和“表中的记录”拼装在一起

      schemaPeople = spark.createDataFrame(people, schema)

 

 

 

 

7. DataFrame的保存

  df.write.text(dir)

 

  df.write.json(dri)

  df.write.format("text").save(dir)

  df.write.format("json").save(dir)

  df.write.format("json").save(dir)

 

标签:people,df,DataFrame,RDD,Hive,SQL,Spark,spark
来源: https://www.cnblogs.com/tanhaven/p/16260338.html

专注分享技术,共同学习,共同进步。侵权联系[admin#icode9.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有