标签：lib jar cdh5.8 yarn Sparksubmit executor jars
spark2-submit --master yarn --deploy-mode client --jars /bdpetl_data/app/etl_script/comm/lib/ojdbc6.jar --executor-cores 1 --num-executors 10 --class webreport.Kafka2Hive /home/webreport.jar
spark-submit --master yarn-cluster --jars /bdpetl_data/app/etl_script/comm/lib/ojdbc6.jar --class webreport.SparkSqlTest /home/webreport.jar
spark-submit --queue root.Kanban.default --master yarn-cluster --conf spark.port.maxRetries=40 --num-executors 10 --executor-cores 1 --executor-memory 2G --jars /app/etl_script/comm/lib/ojdbc6.jar --class kanban.Ora_Twm_Cl_Tst_Inout_Today /app/etl_script/comm/lib/kanban.jar
//默认值
--executor-memory 1G
--num-executors 2
spark-submit \
--class produce.OggDataToHive \
--master yarn-cluster \
--num-executors 6 \
--driver-memory 2g \
--executor-memory 7g \
--name fabOggToHive \
--conf spark.yarn.tags=non-stop,new,inited,running \
--conf spark.streaming.kafka.maxRatePerPartition=2000 \
--conf spark.executor.extraJavaOptions=-XX:+UseConcMarkSweepGC \
--jars /data05/bigdata/jars/commons-dbcp2-2.1.1.jar,/data05/bigdata/jars/commons-pool2-2.4.2.jar,/data05/bigdata/jars/ojdbc6.jar,/data05/bigdata/jars/mysql-connector-java-5.1.7-bin.jar \
--executor-cores 3 \
/data01/lpp/OggDataToHive.jar \
ogg_fab_history \
ogg_kafka_offset \
hive \
g1 \
60
使用hive映射HBASE表 指定jar包
/opt/cloudera/parcels/CDH-5.8.3-1.cdh5.8.3.p0.2/lib/hive/lib/hive-hbase-handler-1.1.0-cdh5.8.3.jar
versions:
Hadoop 2.6.0+cdh5.8.3+1718
Kafka 0.10.0+kafka2.1.1
spark 1.6.0+cdh5.8.3+232
HDFS 2.6.0+cdh5.8.3+1718
Hive 1.1.0+cdh5.8.3+680
HBase 1.2.0+cdh5.8.3+204
ZooKeeper 3.4.5+cdh5.8.3+96
标签：lib,jar,cdh5.8,yarn,Sparksubmit,executor,jars 来源： https://www.cnblogs.com/csyusu/p/11132913.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。