标签:eventLog 日志 WORKER 开启 hadoop spark SPARK history
spark监控应用方式:
1)在运行过程中可以通过web Ui:4040端口进行监控
2)任务运行完成想要监控spark,需要启动日志聚集功能
开启日志聚集功能方法:
编辑conf/spark-env.sh文件,在其中加入如下部分:
SPARK_HISTORY_OPTS=-Dspark.history.provider=org.apache.spark.deploy.history.FsHistoryProvider
SPARK_HISTORY_OPTS=-Dspark.history.fs.logDirectory=hdfs://db02:8020/user/hadoop/evtlogs
编辑spark-default.conf配置文件,在其中加入如下部分:
spark.eventLog.enabled true
spark.eventLog.dir hdfs://db02:8020/user/hadoop/evtlogs
spark.eventLog.compress true
启动spark历史服务器:
sbin/start-history-server.sh
至此,已经成功配置了spark的日志聚集功能,现在可以通过web UI访问以后运行的spark任务历史日志了。
附件:
目前spark-env.sh文件内容: |
JAVA_HOME=/opt/java/jdk1.7.0_67 SCALA_HOME=/opt/scala-2.10.4 HADOOP_CONF_DIR=/opt/cdh-5.3.6/hadoop-2.5.0/etc/hadoop SPARK_MASTER_IP=db02 SPARK_MASTER_PORT=7077 SPARK_MASTER_WEBUI_PORT=8080 SPARK_WORKER_CORES=2 SPARK_WORKER_MEMORY=5g SPARK_WORKER_PORT=7078 SPARK_WORKER_WEBUI_PORT=8081 SPARK_WORKER_INSTANCES=1 SPARK_WORKER_DIR=/opt/cdh-5.3.6/spark-1.3.0/data/tmp SPARK_HISTORY_OPTS=-Dspark.history.provider=org.apache.spark.deploy.history.FsHistoryProvider SPARK_HISTORY_OPTS=-Dspark.history.fs.logDirectory=hdfs://db02:8020/user/hadoop/evtlogs |
目前spark-defaults.conf文件内容: |
spark.master spark://db02:7077 spark.eventLog.enabled true spark.eventLog.dir hdfs://db02:8020/user/hadoop/evtlogs spark.eventLog.compress true |
标签:eventLog,日志,WORKER,开启,hadoop,spark,SPARK,history 来源: https://www.cnblogs.com/liuys635/p/11083676.html
本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享; 2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关; 3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关; 4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除; 5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。