【Spark】Spark常用方法总结1-创建编程入口（Python版本）

2020-01-29 19:09:00 阅读：422 来源： 互联网

标签：__ SparkContext Python SparkSession 编程 DataFrame dataframe Spark spark

前言

今天有时间，将自己的笔记分享出来，方便同僚查阅。不断详细与更新中。为了方便，例子都是以Python写的，后续也会有其他语言的版本。

创建编程入口

SparkContext入口

from pyspark import SparkConf, SparkContext

if __name__ == '__main__':
    conf = SparkConf().setAppName("test").setMaster("local")
    sc = SparkContext(conf=conf)
    rdd1 = sc.parallelize([1, 2, 3, 4, 5])
    rdd2 = rdd1.map(lambda x: x + 1)
    print(rdd2.collect())

SparkSession入口

from pyspark.sql import SparkSession, DataFrame

if __name__ == '__main__':
    spark: SparkSession = SparkSession.builder
                              .appName('test')
                              .master('local')
                              .enableHiveSupport()
                              .getOrCreate()
    # 创建list的list
    lists = [['a', 1], ['b', 2]]
    # 构建具有默认生成的列_1、_2的DataFrame
    dataframe: DataFrame = spark.createDataFrame(lists)
    dataframe.show()

SparkConext和SparkSession的关系

context是session的一个属性

spark: SparkSession = SparkSession.builder.appName('test').master('local').enableHiveSupport().getOrCreate()
sc: SparkContext = spark.sparkContext

DataFrame和RDD的关系

DataFrame是严格的表格关系
RDD是相对松散的关系(其中pairRDD稍微严格一点, 所以有一些特殊的操作)

RDD转dataFrame

dataframe = spark.createDataFrame(rdd, schema=None, samplingRatio=None)

dataFrame转RDD

dataframe = spark.createDataFrame([Row(col1='a', col2=1), Row(col1='b', col2=2)])
rdd = dataframe.rdd

SparkStreaming入口

spark = SparkSession.builder.appName('test').master('local[*]').getOrCreate()
ss = StreamingContext(spark.sparkContext, 10)

refbit 发布了6 篇原创文章 · 获赞 0 · 访问量 140 私信关注

标签：__,SparkContext,Python,SparkSession,编程,DataFrame,dataframe,Spark,spark
来源： https://blog.csdn.net/refbit/article/details/104109002

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9