标签：load read 创建 DataFrame json Spark csv spark

前言

DataFrame是Spark中对带模式(schema)行列数据的抽象。DateFrame广泛应用于使用SQL处理大数据的各种场景。

DataFrame 创建

法一 、从不同类型的文件中加载数据创建DataFrame，spark.read 操作

• spark.read.json(“testJson.json”) 或者spark.read.format(“json”).load(“testJson.json”)
  json文件

{"name":"min","age":20,}
{"name":"ho", "age":19}
{"name":"zi", "age":21}

代码：

val dfJson = spark.read.format("json").load("/Users/testJson.json")
dfJson.show()

• spark.read.csv(“testCsv.csv”) 或者spark.read.format(“json”).load(“testCsv.csv”)
  csv文件

name,age,phone
min,20
ho,19
zi,21

代码

val dfCsv = spark.read.format("csv").option("header", true).load("/Users/testCsv.csv")
dfCsv.show()

• spark.read.parquet(“testParquet.parquet”) 或者spark.read.format(“parquet”).load(“testParquetparquet”)
  parquet文件、代码

val dfCsv = spark.read.format("parquet").option("header", true).load("/Users/testParquet.parquet")
dfCsv.show()

法二、 通过Seq + oDF创建DataFrame

val spark = SparkSession
  .builder()
  .appName("test")
  .master("local")
  .getOrCreate()

val df = spark.createDataFrame(Seq(
  ("min", 20),
  ("ho", 19),
  ("zi", 21)
)) toDF("name", "age")
df.show()

DataFrame 保存

法一 、从不同类型的文件中加载数据保存DataFrame，spark.write 操作

标签：load,read,创建,DataFrame,json,Spark,csv,spark
来源： https://blog.csdn.net/weixin_45063703/article/details/120168505

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。