原文链接：https://www.cnblogs.com/houblog/p/7605860.html 一、虚拟机安装 1、镜像：CentOS 6.5镜像即可，CentOS-6.5-i386-minimal.iso。 2、创建虚拟机：打开Virtual Box，点击“新建”按钮，点击“下一步”，输入虚拟机名称为spark2upgrade01，选择操作系统为Linux，
目录 1、新特性之易用性 2、新特性之高性能 3、新特性之智能化 1、新特性之易用性 （1）在标准化SQL支持方面，引入了新的ANSI-SQL解析器，提供标准化SQL的解析功能，而且还提供了子查询的支持。Spark现在可以运行完整的99个TPC-DS查询，这就要求Spark包含大多数SQL 2003标准的特性。这么做
Spark2什么是RDD 1.RDD 1.1RDD定义 让开发者大大降低开发分布式应用程序的门槛以及提高执行效率 Resilient Distributed Dataset(RDD) 也就是弹性分布数据集 弹性体现在计算之上,代表的是spark可以做到在做分布式计算的时候可以容错,比如说某个节点挂了,或者是某个节点数据
一分钟内部署jupyterlab + pyspark2 + hive，前提是spark2是可以在yarn上正常运行的。最近甲方打着滚的向乙方要求装 jupyterlab，然后还要用spark2，所以，也是没辙，谁让人家是金主爸爸呢。搁我自己是绝不想在生产集群里装jupyter的。Terminal潜在危险性还是有的，按说是不符合甲方的安全小组
1、Spark2.2快速入门（本地模式） 1.1 Spark本地模式 学习Spark，先易后难，先从最简单的本地模式学起。 本地模式（local），常用于本地开发测试，解压缩Spark软件包就可以用，也就是所谓的“开封即用” 1.2 安装JDK8 （1）下载 登录Oracle官网http://www.oracle.com/technetwork/java/javase/down
一：当有需要CDH安装Apache Spark 2时： 老规矩，从官网开始： https://www.cloudera.com/documentation.html https://www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html 注意几个重要的提示： 二：按步骤进行安装： 2.1:查看自己需要安装的版本： a:To download
