ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

初窥Spark

2021-01-13 23:59:03  阅读:13  来源: 互联网

标签:化到 持久 content persist sc Spark StorageLevel


Hadoop

一、HDFS —— 分布式文件系统

img

二、MapReduce —— 分布式计算系统

img

h:1

h;1

h:<1,1>

h :2

img


这里写图片描述

三、Yarn —— 资源调度系统

Resource Manager 和 NodeManager

wps56E5.tmp

Spark

一、spark集群结构

RDD —— 弹性分布式数据集

rdd = sc.parallelize([1,2,3,4,5,6])
 
rdd.collect()
 
-->  [1,2,3,4,5,6]

    rows = sc.textFile('/user/hadoop/hello.txt')
 
    rows = sc.textFile('/user/hadoop/*')

RDD的计算方式(俩类算子):

1. 变换(Transformations):
特点: 懒执行,变换只是一些指令集并不会去马上执行,需要等到有Actions操作的时候才会真正的据算结果
比如: map()    flatMap()    groupByKey    reduceByKey

2. 操作(Actions):

特点: 立即执行

比如: count()    take()    collect()   top()    first()
content = sc.parallelize([1,2,3,4])
content.persist()


content.is_cached

content.unpersist()

StorageLevel.MEMORY_AND_DISK
StorageLevel.MEMORY
StorageLevel.DISK


rdd的持久化算子有三种:

1、cache:将数据持久化到内存

2、persist:可以将数据持久化到磁盘,也可以将数据持久化到内存

3、checkpoint:将数据持久化到磁盘。

persist的几个参数:

标签:化到,持久,content,persist,sc,Spark,StorageLevel
来源: https://blog.csdn.net/weixin_44663889/article/details/112597443

专注分享技术,共同学习,共同进步。侵权联系[admin#icode9.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有