标签：环境 RDD 集群 内存 命令行 Spark 节点 搭建
一. 背景
1. 介绍
- 至少需要6大技术栈:[mysql + Linux, scala, java, Hadoop, Hive, Kafka]
- Spark是处理大规模数据的统一分析引擎
- Spark从数据的输入到结果的输出之间所有数据结构都是基于[RDD]的.
- RDD这个数据集的元素是分布式的存储在集群的多节点上的.
- 一台机器的内存计算是有限的,但是集群的多节点的内存
2. Spark特点
3. Spark的组件
4. Spark运行方式
二. 理论
1. Spark应用架构
三. 实操
1. 安装local本地单机版(命令行测试)
2. 安装集群版(命令行测试)
3. 基于IDEA开发Spark应用 [重点]
标签：环境,RDD,集群,内存,命令行,Spark,节点,搭建 来源： https://www.cnblogs.com/zi-shuo/p/15734152.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。