标签：虚拟机 ping hadoop 学习 寒假 spark Spark 下载

1.下载安装文件：

　　Spark安装包下载地址： http://spark.apache.org

　　进入下载页面后，点击主页右侧的“Download Spark”按钮进入下载页面，下载页面中提供了几个下载选项，主要是Spark release及Package type的选择，如下图所示。第1项Spark release一般默认选择最新的发行版本，第2项package type则选择“Pre-build with user-provided Hadoop [can use with most Hadoop distributions]”，可适用于多数Hadoop版本。选择好之后，再点击第3项给出的链接就可以下载Spark了。

　　

 

 

 

 

2.传到虚拟机并解压缩：

　　打开虚拟机使用xshell远程连接结果发现hadoop104虚拟机连接不上。

　　在hadoop104本机上ping hadoop104 结果发现能ping通

　　

　　在其他虚拟机上ping 发现也可以ping通

　　

　　所以猜测是windows的host文件被修改了

　　找到host文件并修改

　　

　　发现下面的host不知为何被注释了，解除注释即可

　　

　　上传到虚拟机利用xftp

　　

 

　　解压缩到指定文件夹，这里要解压到指定文件夹下，命令如下:tar zxvf test.tgz -C 指定目录

　　

　　查看module目录，发现解压成功

 

 

 

 　　

 

 

 3.配置Classspath：

　　进入到spark文件中，在进入conf，编辑spark-env.sh.template，在末尾添加：export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)

　　

 

　　注意这里的hadoop地址一定要正确/hadoop classpath不用修改，但是handoop的bin目录地址要写你自己机子上的地址

 

　　然后将配置文件拷贝：cp ./conf/spark-env.sh.template ./conf/spark-env.sh   #拷贝配置文件

4.启动spark：

　　./bin/spark-shell 

　　

 

 　　启动成功

 

 

 

 

 

标签：虚拟机,ping,hadoop,学习,寒假,spark,Spark,下载
来源： https://www.cnblogs.com/fengchuiguobanxia/p/15836019.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。