标签：框架 Hadoop 介绍 RDD 线程 内存 Spark 数据
一、Spark是什么
一、定义
Apache Spark是用于大规模数据处理的统一分析引擎
二、Spark更快的原因
-
数据结构（编程模型）：Spark框架核心
-
RDD：弹性分布式数据集，认为是列表List
-
Spark 框架将要处理的数据封装到集合RDD中，调用RDD中函数处理数据
-
RDD 数据可以放到内存中，内存不足可以放到磁盘中
-
-
Task任务运行方式：以线程Thread方式运行
-
MapReduce中Task是以进程Process方式运行，当时Spark Task以线程Thread方式运行。
-
线程Thread运行在进程Process中，启动和销毁是很快的（相对于进程来说）。
-
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tF6JyHBy-1644111477332)(C:\Users\EuropeanSheik\AppData\Roaming\Typora\typora-user-images\image-20220125142329172.png)]
二、Spark和Hadoop的对比
一、二者各方面比较
| Hadoop | Spark | |
|---|---|---|
| 类型 | 基础平台，包含计算、存储、调度 | 分布式计算工具 |
| 场景 | 大规模数据集上的批处理 | 迭代计算，交互式计算，流计算 |
| 价格 | 对机器要求低，便宜 | 对内存有要求，相对较贵 |
| 编程范式 | Map+Reduce，API较为底层，算法适应性差 | RDD组成DAG有向无环图，API较为顶层，方便使用 |
| 数据存储结构 | MapReduce中间计算结果在HDFS磁盘上，延迟大 | RDD中间运算结果在内存中，延迟小 |
| 运行方式 | Task以进程方式维护，任务启动慢 | Task以线程方式维护，任务启动快 |
二、Spark不能完全替代Hadoop的原因
- Spark主要用于替代Hadoop中的MapReduce计算模型。存储依然可以使用HDFS，但是中间结果可以存放在内存中；
- Spark已经很好地融入了Hadoop生态圈，并成为其中的重要一员，它可以借助于YARN实现资源调度管理，借助于HDFS实现分布式存储。
三、Hadoop基于进程计算和Spark基于线程计算的优缺点
Hadoop中的MR中每个map/reduce task都是一个java进程方式运行，好处在于进程之间是互相独立的，每个task独享进程资源，没有互相干扰，监控方便，但是问题在于task之间不方便共享数据，执行效率比较低。比如多个map task读取不同数据源文件需要将数据源加载到每个map task中，造成重复加载和浪费内存。而基于线程的方式计算是为了数据共享和提高执行效率，Spark采用了线程的最小的执行单位，但缺点是线程之间会有资源竞争。
四、Spark处理数据与MapReduce处理数据的不同点
- Spark处理数据时，可以将中间处理结果数据存储到内存中
- Spark Job调度以DAG方式，并且每个任务Task执行以线程(Thread)方式，并不是像MapReduce以进程(Process)方式执行
三、Spark的特点
一、速度快
由于Apache Spark支持内存计算，并且通过DAG（有向无环图）执行引擎支持无环数据流，所以官方宣称其在内存中的运算速度要比Hadoop的MapReduce快100倍，在硬盘中要快10倍。
二、易于使用
Spark 的版本已经更新到 Spark 3.1.2（截止日期2021.06.01），支持了包括 Java、Scala、Python 、R和SQL语言在内的多种语言。为了兼容Spark2.x企业级应用场景，Spark仍然持续更新Spark2版本。
三、通用性强
在 Spark 的基础上，Spark 还提供了包括Spark SQL、Spark Streaming、MLib 及GraphX在内的多个工具库，我们可以在一个应用中无缝地使用这些工具库。
四、运行方式
Spark 支持多种运行方式，包括在 Hadoop 和 Mesos 上，也支持 Standalone的独立运行模式，同时也可以运行在云Kubernetes（Spark 2.3开始支持）上。
四、Spark框架的模块
一、Spark Core
- 实现了 Spark 的基本功能，包含RDD、任务调度、内存管理、错误恢复、与存储系统交互等模块。
- 数据结构：RDD
二、Spark SQL
- Spark 用来操作结构化数据的程序包。通过 Spark SQL，我们可以使用 SQL操作数据。
- 数据结构：Dataset/DataFrame = RDD + Schema
三、Spark Streaming
- Spark 提供的对实时数据进行流式计算的组件。提供了用来操作数据流的 API。
- 数据结构：DStream = Seq[RDD]，DStream离散化流
四、Spark GraphX
- Spark中用于图计算的API，性能良好，拥有丰富的功能和运算符，能在海量数据上自如地运行复杂的图算法。
- 数据结构：RDD或者DataFrame
五、Spark MLlib
- 提供常见的机器学习(ML)功能的程序库。包括分类、回归、聚类、协同过滤等，还提供了模型评估、数据导入等额外的支持功能。
- 数据结构：RDD或者DataFrame。
标签：框架,Hadoop,介绍,RDD,线程,内存,Spark,数据 来源： https://blog.csdn.net/feizuiku0116/article/details/122795784
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。