python 使用 SPARK Hadoop

2022-03-21 17:32:39 阅读：185 来源： 互联网

标签：bin cdh5.7 python Hadoop export PATH HOME SPARK 2.6

下载相应包。然后放到linux 相关目录，然后配置环境变量，配置文件如下

vim ~/.bash_profile

# .bash_profile

# Get the aliases and functions
if [ -f ~/.bashrc ]; then
        . ~/.bashrc
fi

# User specific environment and startup programs

PATH=$PATH:$HOME/.local/bin:$HOME/bin

export PATH

#java setting
export JAVA_HOME=/home/handoop/app/jdk1.8.0_91
export PATH=$JAVA_HOME/bin:$PATH

#scala setting
export SCALA_HOME=/home/handoop/app/scala-2.11.8
export PATH=$SCALA_HOME/bin:$PATH

#hadoop setting
export HADOOP_HOME=/home/handoop/app/hadoop-2.6.0-cdh5.7.0
export PATH=$HADOOP_HOME/bin:$PATH

#maven setting
export MAVEN_HOME=/home/handoop/app/apache-maven-3.3.9
export PATH=$MAVEN_HOME/bin:$PATH

#spak setting
export SPARK_HOME=/home/handoop/app/spark-2.3.0-bin-2.6.0-cdh5.7.0
export PATH=$SPARK_HOME/bin:$PATH

# pthon qidong
export PYSPARK_PYTHON=python3
#build run .py code
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.6-src.zip

windows 下使用pyCharm 中使用spark

配置环境变量

1，Javahome:

JAVA_HOME：C:\Program Files\Java\jdk1.8.0_321 （java 必须是1.8及以上。我用1.5踩坑）

系统变量：

PATH：

C:\Program Files\Java\jdk1.8.0_321\bin

E:\WooPython\Python_Spark\hadoop-2.6.0\bin

HADOOP_HOME：E:\WooPython\Python_Spark\hadoop-2.6.0

pycharm 的Edit Configuration 设置Environment variables:

PYTHONUNBUFFERED=1;SPARK_HOME=E:\WooPython\Python_Spark\spark-2.3.0-bin-2.6.0-cdh5.7.0;PYTHONPATH=E:\WooPython\Python_Spark\spark-2.3.0-bin-2.6.0-cdh5.7.0\python

工具/File/Settings/Project Structure /Add Content Root

E:\WooPython\Python_Spark\spark-2.3.0-bin-2.6.0-cdh5.7.0\python\lib\py4j-0.10.6-src

E:\WooPython\Python_Spark\spark-2.3.0-bin-2.6.0-cdh5.7.0\python\lib\pyspark.zip

标签：bin,cdh5.7,python,Hadoop,export,PATH,HOME,SPARK,2.6
来源： https://blog.csdn.net/Accpdaiyekun/article/details/123640659

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

python 使用 SPARK Hadoop