标签：-% 文件 +% fm sh SparkSql date dt day
一、sql文件名和sh配置文件一样，一起压缩成zip文件上传。.sh配置文件如下：
1 #!/bin/bash
2 v_proc_name='freight_waybill_prom_time_day1';
3 v_filename="${v_proc_name}.sql";
4
5 ######日期相关变量######
6 #当天日期及当天时分秒日期
7 v_cur_dt=`date '+%Y-%m-%d'`;
8 v_cur_tm=`date "+%Y-%m-%d %H:%M:%S"`;
9 i_to_tm=${v_cur_tm};
10 v_cur_h=`date "+%H"`
11
12 ######开始跑数日期与截止日期######
13 cur_day=`date -d "" '+%Y-%m-%d'`;
14
15 if [ -z "$1" ]; then
16 v_day=`date -d " " '+%Y-%m-%d'`;
17 else
18 v_day=$1
19 fi;
20
21 v_day=`date -d "${v_day} " '+%Y-%m-%d'`;
22 c_ymd=`date -d "${v_cur_dt} " '+%Y%m%d'`;
23 i_ymd=`date -d "${v_day} " '+%Y%m%d'`;
24 i_y_ymd=`date -d "${v_day} -1 day" '+%Y%m%d'`;
25 i_to_ymd=`date -d "${v_day} 1 day" '+%Y%m%d'`;
26 v_fm_dt=`date -d "${v_day} 0 month" '+%Y-%m-01'`;
27
28
29 v_fm_day=`date -d "${v_day} 0 day" '+%Y%m%d'`;
30 v_fm_dt_1=`date -d "${v_day} -1 day" '+%Y%m%d'`;
31 v_fm_dt_07=`date -d "${v_day} -7 day" '+%Y%m%d'`;
32 v_fm_dt_09=`date -d "${v_day} -9 day" '+%Y%m%d'`;
33
34 echo "v_day=${v_day}"
35 echo "v_fm_dt=${v_fm_dt}"
36 echo "v_fm_day=${v_fm_day}"
37 echo "v_fm_dt_1=${v_fm_dt_1}"
38 echo "v_fm_dt_07=${v_fm_dt_07}"
39 echo "v_fm_dt_09=${v_fm_dt_09}"
40
41 v_user='spark-sql --master yarn --name mlk_test --driver-memory 8g --num-executors 60 --executor-memory 12g --executor-cores 4 --queue root.freight --conf spark.ui.port=5045 --conf spark.scheduler.listenerbus.eventqueue.size=100000 --jars hdfs:///tmp/udf/01368018/test-1.0.0.jar';
42
43 ######程序处理开始######
44 echo "#开始处理${v_proc_name}: `date '+%Y-%m-%d %H:%M:%S'`.0";
45 echo "开始计算${v_proc_name}结果[开始日期：${v_fm_dt_09}截止日期：${v_fm_day}月份：${v_fm_dt}]\n";
46
47 ${v_user} -hiveconf v_fm_dt=${v_fm_dt} \
48 -hiveconf v_fm_day=${v_fm_day} \
49 -hiveconf v_fm_dt_1=${v_fm_dt_1} \
50 -hiveconf v_fm_dt_07=${v_fm_dt_07} \
51 -hiveconf v_fm_dt_09=${v_fm_dt_09} \
52 -hiveconf v_proc_name=${v_proc_name} -f "${v_filename}" ;
标签：-%,文件,+%,fm,sh,SparkSql,date,dt,day 来源： https://www.cnblogs.com/0219malk/p/15470759.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。