标签：git jenkins01 运维 root app 主目录 maven jenkins data

之前已在机房部署了一套Jenkins环境，先需要将此套环境迁移到别处，对迁移过程中的一些细节以及日常维护做了如下记录：

一、Jenkins主目录设置

1）jenkins默认的主目录放在当前用户家目录路径下的.jenkins目录中。如jenkins使用root用户启动，则主目录为/root/.jenkins
[root@code-server ~]# ll -d /root/.jenkins/
drwxr-x--- 14 root root 4096 Dec 18 15:22 /root/.jenkins/

2）可以在系统环境变量里手动设置jenkins的主目录，这样启动jenkins后，jenkins数据就会写入到手动设置的主目录里。
root用户可以在/etc/profile文件里设置
[root@jenkins01 ~]# vim /etc/profile
......
JENKINS_HOME="/data/jenkins"
export JENKINS_HOME
  
[root@jenkins01 ~]# source /etc/profile
  
===========================================================
如果是非root用户，就在用户家目录的.bashrc文件里设置
[app@jenkins01 ~]$ vim .bashrc
......
JENKINS_HOME="/data/jenkins"
export JENKINS_HOME
  
[app@jenkins01 ~]$ source .bashrc
[app@jenkins01 ~]$ echo $JENKINS_HOME
/data/tomcat8.5/webapps/jenkins
[app@jenkins01 ~]$ env
.......
JENKINS_HOME=/data/jenkins
==========================================================
 
温馨提示：
最好别将jenkins主目录指定到tomcat/webapps/jenkins，因为如果有其他同名的tomcat项目启动，容易造成数据覆盖！
所以最好将jenkins主目录指定到其他地方，比如指定到/data/jenkins。

二、Jenkins主备模式

比如：192.168.10.60和192.168.10.61是两台jenkins机器，分别为jenkins01、jenkins02
 
[root@inner-lb02 ~]# cat /data/nginx/conf/vhosts/jenkins.kevin.com.conf
upstream 8080-inc {
      server 192.168.10.60:8080 max_fails=3 fail_timeout=10s;
      #server 192.168.10.61:8080 max_fails=3 fail_timeout=10s;
}
           
  server {
      listen      80;
      server_name jenkins.kevin.com;
     
      access_log  /data/nginx/logs/jenkins.kevin.com-access.log main;
      error_log  /data/nginx/logs/jenkins.kevin.com-error.log;
     
 location ^~ /jenkins/ {
         proxy_pass http://8080-inc;
         proxy_redirect off ;
         proxy_set_header Host $host;
         proxy_set_header X-Real-IP $remote_addr;
         proxy_set_header REMOTE-HOST $remote_addr;
         proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
         proxy_connect_timeout 300;
         proxy_send_timeout 300;
         proxy_read_timeout 600;
         proxy_buffer_size 256k;
         proxy_buffers 4 256k;
         proxy_busy_buffers_size 256k;
         proxy_temp_file_write_size 256k;
         proxy_next_upstream error timeout invalid_header http_500 http_502 http_503 http_504 http_404;
         proxy_max_temp_file_size 128m;
         #proxy_cache mycache;
         #proxy_cache_valid 200 302 1h;
         #proxy_cache_valid 301 1d;
         #proxy_cache_valid any 1m;
        }
}
 
 
jenkins01和jenkins02两台机器：
1）jenkins服务部署目录是/data/tomcat8.5，jenkins的程序包存放目录是/data/tomcat8.5/webapps/jenkins
2）jenkins的家目录是/data/jenkins。
 
由于访问http://jenkins.kevin.com/jenkins是代理负载到192.168.10.60机器上（即是jenkins01机器）的，所以需要同步jenkins01的相关数据
到jenkins02上，以防当jenkins01机器挂掉的时候，将负载域名调整到jenkins02上。
 
同步脚本如下：
[app@jenkins01 ~]$ cat /data/rsync_jenkins.sh
#!/bin/bash
#首次同步前，可以先备份下jenkins02机器的/data/jenkins目录
rsync -e "ssh -p6666" -avpgolr /data/jenkins/ app@192.168.10.61:/data/jenkins/
 
#当真正切换到jenkins02时，才执行下面的重启jenkins服务的动作，只要重启后，同步到的数据才能在jenkins界面展示处理。
#ssh -p6666 app@192.168.10.61 "ps -ef|grep tomcat|grep -v grep|awk '{print $2}'|xargs kill -9"
#ssh -p6666 app@192.168.10.61 "/data/tomcat8.5/bin/startup.sh"
 
授执行权限，每十分钟执行一次
[app@jenkins01 ~]$ ll /data/rsync_jenkins.sh
-rwxr-xr-x. 1 app app 470 Sep 19 11:42 /data/rsync_jenkins.sh
 
[app@jenkins01 ~]$ crontab -l
*/10 * * * * /bin/bash -x /data/rsync_jenkins.sh > /dev/null 2>&1

jenkins主目录设置之后，可以登录jenkins界面查看它的主目录路径，依次点击"Jenkins"->"系统管理"->"系统设置"

三、Jenkins进程重启后，出现job任务丢失问题

在Jenkins服务进程重启后，可能会出现job任务丢失现象，或者说之前的job任务数据在jenkins重启后被覆盖了。
分析原因如下：

jenkins安装路径：/data/tomcat8
jenkins的默认的主目录放在当前用户家目录路径下的.jenkins目录中，比如：
root用户启动的jenkins主目录就是/root/.jenkins，jenkins的所有数据就是放在这个主目录下。
app用户启动的jenkins主目录就是/home/app/.jenkins，jenkins的所有数据就是放在这个主目录下。
 
由于jenkins服务是在app账号下启动的，并且修改了主目录路径：
[app@uatjenkins01 ~]$ pwd
/home/app
[app@uatjenkins01 ~]$ cat .bashrc
......
JENKINS_HOME="/data/jenkins"
export JENKINS_HOME
[app@uatjenkins01 ~]$ source .bashrc
 
所以jenkins的用户数据和jobs数据都放在了/data/jenkins主目录下了。
[app@uatjenkins01 ~]$ ll -d /data/jenkins/
drwxr-x--- 16 app app 4096 Aug 10 20:09 /data/jenkins/
 
由于服务器宕机，在机器启动后，jenkins的tomcat程序也重启了，最后发现使用原来的账号登录不了jenkins，或者登录jenkins后发现原来的job任务都没有了。
数据丢失了？这是为什么？？？？
 
最后发现jenkins的tomcat程序是用root账号启动的，那么jenkins加载的数据自然就是默认的/root/.jenkins主目录里面的数据了，而不是之前定义的/data/jenkins
目录里面的数据了（这是在app账号下定义的jenkins主目录）
 
解决办法：
关闭root账号下的jenkins，在app账号下重启jenkins服务即可！
 
[root@uatjenkins01 ~]# ps -ef|grep tomcat
root       4059     1  0 18:28 ?        00:02:12 /usr/java/jdk1.7.0_79/bin/java -Djava.util.logging.config.file=/data/tomcat8/conf/logging.properties -Djava.util.logging.manager=org.apache.juli.ClassLoaderLogManager -Xms8192m -Xmx8192m -XX:PermSize=2048M -XX:MaxNewSize=4096m -XX:MaxPermSize=4096m -Djdk.tls.ephemeralDHKeySize=2048 -Djava.protocol.handler.pkgs=org.apache.catalina.webresources -classpath /data/tomcat8/bin/bootstrap.jar:/data/tomcat8/bin/tomcat-juli.jar -Dcatalina.base=/data/tomcat8 -Dcatalina.home=/data/tomcat8 -Djava.io.tmpdir=/data/tomcat8/temp org.apache.catalina.startup.Bootstrap start
root      9042  8871  0 22:46 pts/2    00:00:00 grep tomcat
 
[root@uatjenkins01 ~]# kill -9 4059
 
[root@uatjenkins01 ~]# su - app
[app@uatjenkins01 ~]$ /data/tomcat8/bin/startup.sh
[app@uatjenkins01 ~]$ ps -ef|grep tomcat
app       5089    1  0 18:28 ?        00:02:13 /usr/java/jdk1.7.0_79/bin/java -Djava.util.logging.config.file=/data/tomcat8/conf/logging.properties -Djava.util.logging.manager=org.apache.juli.ClassLoaderLogManager -Xms8192m -Xmx8192m -XX:PermSize=2048M -XX:MaxNewSize=4096m -XX:MaxPermSize=4096m -Djdk.tls.ephemeralDHKeySize=2048 -Djava.protocol.handler.pkgs=org.apache.catalina.webresources -classpath /data/tomcat8/bin/bootstrap.jar:/data/tomcat8/bin/tomcat-juli.jar -Dcatalina.base=/data/tomcat8 -Dcatalina.home=/data/tomcat8 -Djava.io.tmpdir=/data/tomcat8/temp org.apache.catalina.startup.Bootstrap start
app       9071  9044  0 22:46 pts/2    00:00:00 grep tomcat
 
这样访问jenkins，使用原来的账号登录，就能看到之前的job任务了。

四、Jenkins服务迁移

迁移步骤为：
1）先关闭新老服务器的tomcat程序，确保迁移时新老机器的jenkins都处于关闭状态。jenkins程序关闭最好是直接kill掉jenkins的tomcat程序pid。
2）将老服务器jenkins主目录下的config.xml文件以及jobs、users、workspace、plugins四个目录拷贝到新机器的jenkins主目录下。
3）重启新服务器jenkins的tomcat程序。

迁移的时候可以直接将jenkins主目录数据整个拷贝过去，也可以单独拷贝jenkins主目录下的config.xml文件以及jobs、users、workspace、plugins四个目录（这是主要的迁移数据）。一般来说，手动设置好jenkins主目录路径，启动jenkins后就会自动生成（但要确保jenkins用户有权限创建这个主目录，最好是提前手动创建并赋予jenkins启动用户的权限）

关闭老机器的jenkins程序
[root@code-server ~]# lsof -i:8080
COMMAND    PID USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
bundle   13481  git   15u  IPv4 2839661      0t0  TCP localhost:webcache (LISTEN)
[root@code-server ~]# kill -9 13481

新机器的jenkins程序也要同样关闭 

拷贝老服务器的jenkins主目录或者上面说的那几个重要数据到新机器的jenkins主目录下
[root@code-server ~]# rsync -e "ssh -p22" -avpgolr --delete /data/jenkins/ root@10.0.8.60:/data/jenkins/

或者
[root@code-server ~]# rsync -e "ssh -p22" -avpgolr /data/jenkins/config.xml root@10.0.8.60:/data/jenkins/
[root@code-server ~]# rsync -e "ssh -p22" -avpgolr --delete /data/jenkins/users/ root@10.0.8.60:/data/jenkins/users/
[root@code-server ~]# rsync -e "ssh -p22" -avpgolr --delete /data/jenkins/plugins/ root@10.0.8.60:/data/jenkins/plugins/
[root@code-server ~]# rsync -e "ssh -p22" -avpgolr --delete /data/jenkins/jobs/ root@10.0.8.60:/data/jenkins/jobs/
[root@code-server ~]# rsync -e "ssh -p22" -avpgolr --delete /data/jenkins/workspace/ root@10.0.8.60:/data/jenkins/workspace/

尤其是plugins目录,最好保证新机器下的这个目录和老机器下的这个目录数据保持一致。否则容易造成新机器的jenkins访问报错

最后启动新机器的jenkins服务
[root@jenkins01 ~]$ /data/tomcat8.5/bin/startup.sh
[app@jenkins01 ~]$ lsof -i:8080
COMMAND    PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
java    101037  app   46u  IPv6 498942      0t0  TCP *:webcache (LISTEN)

五、通过SSH方式下载Gitlab代码到Jenkins本机

一般来说，会在jenkins界面里创建工程，在工程里配置gitlab的地址，将gitlab代码下载到jenkins本机，然后通过脚本自动发版。
安全考虑，通过ssh方式下载gitlab代码。这就需要将jenkins本机的id_rsa.pub公钥上传到gitlab里。
1）如果jenkins程序通过root用户启动，则需要将root用户下的id_rsa.pub公钥上传到gitlab的SSH Keys里。
2）如果jenkins程序通过非root用户启动，则需要将非root用户的id_rsa.pub公钥上传到gitlab的SSH Keys里。

比如jenkins程序是通过app用户启动的
[app@jenkins01 ~]$ cat ~/.ssh/id_rsa.pub 
ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEAw/I9657ZRmducrkbagPfptLwRaCmJIIQIcQ3VljBLBlwyNFBYg6KfiktMB4KHlvu4WCrGpDjVtWf7gQy
Ey+iJNsL7TyiIZdg0RRGpssu93w6IhgoHtRZni/775MrdjLQpi7hhB6wiX+eCfU7duqXT+arnEUonAF+27HegVbXuqz+oeDS/1QBzKsOoMg0K4nA7Btl
GNIn1ljvvQzyHxIJevWM0UUhFl8lv9+RCcT0cyHmjSrw/9+gr4AYZmYaqlVmCWHmwuAixx7bt3Mh3ri+BK385qAUxaVVsw3kg/vHbJEg+JYn/Xm4pdnw
j+CLn6OpQAMZm+bEx12Iwd3gazBy+Q== app@jenkins01.kevin.cn

六、非root用户启动Jenkins服务 (tomcat程序)

需要注意一个重要细节：
在linux系统下，只有root用户才可以使用1024以下的端口号，非root用户只能启动1024以上的端口。
所有如果使用非root用户启动jenkins，则端口必须配置成大于1024的，比如采用默认的8080端口，如果配置成80端口，则启动失败！

七、当SSH是非标准的22端口时，如何通过"git clone"下载gitlab代码?

如上，将jenkins本机的id_rsa.pub公钥拷贝到gitlab的SSH Keys里。

1）如果jenkins机器和gitlab机器ssh都采用默认的22端口，则就可以直接git clone下载git代码了。
[app@jenkins01 ~]$ mkdir /data/git_data/
[app@jenkins01 ~]$ cd /data/git_data/
[app@jenkins01 git_data]$ git init .
Reinitialized existing Git repository in /data/git_data/.git/

[app@jenkins01 git_data]$ git clone git@172.16.50.25:fanglianchao/dbops.git
Initialized empty Git repository in /data/git_data/dbops/.git/
Warning: Permanently added '172.16.50.25' (RSA) to the list of known hosts.
remote: Counting objects: 1224, done.
remote: Compressing objects: 100% (812/812), done.
remote: Total 1224 (delta 379), reused 1220 (delta 377)
Receiving objects: 100% (1224/1224), 9.50 MiB, done.
Resolving deltas: 100% (379/379), done.

[app@jenkins01 git_data]$ ls
dbops

====================================================================
2）如果jenkins机器和gitlab机器ssh采用的端口不一致，这就需要在jenkins本机的.ssh目录下手动创建config文件，在config文件中指定
连接gitlab时的信息。

例如：jenkins本机的ssh端口是6666，jenkins本机（172.16.50.25）的ssh端口是22，则在jenkins本机的操作如下：
[app@jenkins01 ~]$ mkdir /data/git_data/
[app@jenkins01 ~]$ cd /data/git_data/
[app@jenkins01 git_data]$ git init .
Reinitialized existing Git repository in /data/git_data/.git/

[app@jenkins01 ~]$ cat ~/.ssh/config 
Host "172.16.50.25"
Port 22

注意：config文件必须是600权限
[app@jenkins01 git_data]$ sudo chmod 600 ~/.ssh/config
[app@jenkins01 git_data]$ ll ~/.ssh/config
-rw-------. 1 app app 28 Dec 20 23:26 /home/app/.ssh/config

然后就可以正常git clone下载代码了
[app@jenkins01 git_data]$ git clone git@172.16.50.25:qwfss/qwfss.git
Initialized empty Git repository in /data/git_data/qwfss/.git/
remote: Counting objects: 110, done.
remote: Compressing objects: 100% (59/59), done.
remote: Total 110 (delta 23), reused 0 (delta 0)
Receiving objects: 100% (110/110), 19.99 KiB, done.
Resolving deltas: 100% (23/23), done.
[app@jenkins01 git_data]$ ls
qwfss

八、下载gitlab上非master分支代码

比如将gitlab上的git@172.16.50.25:qwfss/qwfss.git下develop分支代码下载到jenkins本机，操作如下：

[app@jenkins01 git_data]$ git clone git@172.16.50.25:qwfss/qwfss.git
Initialized empty Git repository in /data/git_data/qwfss/.git/
remote: Counting objects: 110, done.
remote: Compressing objects: 100% (59/59), done.
remote: Total 110 (delta 23), reused 0 (delta 0)
Receiving objects: 100% (110/110), 19.99 KiB, done.
Resolving deltas: 100% (23/23), done.

[app@jenkins01 git_data]$ ls
qwfss
[app@jenkins01 git_data]$ cd qwfss/
[app@jenkins01 qwfss]$ 

查看分支详细情况 （推荐这种方式）
[app@jenkins01 qwfss]$ git branch 
* develop
[app@jenkins01 qwfss]$ git branch -av
* develop                29e5e1f fix(fss): 测试环境配置文件同步
  remotes/origin/HEAD    -> origin/develop
  remotes/origin/develop 29e5e1f fix(fss): 测试环境配置文件同步

切换到develop分支下
[app@jenkins01 qwfss]$ git checkout -b develop origin/develop
fatal: git checkout: branch develop already exists
====================================================================
或者
[app@jenkins01 qwfss]$ git checkout -b testapp remotes/origin/develop
====================================================================

[app@jenkins01 qwfss]$ git branch 
* develop
[app@jenkins01 qwfss]$ git branch -av
* develop                29e5e1f fix(fss): 测试环境配置文件同步
  remotes/origin/HEAD    -> origin/develop
  remotes/origin/develop 29e5e1f fix(fss): 测试环境配置文件同步

=====================================================================
git分支的日常操作可以参考：http://www.cnblogs.com/kevingrace/p/5690820.html

九、Jenkins备机环境

部署jenkins备机时，只需要定期将master机器上jenkins主目录数据拷贝到本机上即可。
   
比如：
jenkins master：10.0.8.60   jenkins01
jenkins slave：10.0.8.61    jenkins02
   
两台机器的jenkins主目录都是：/data/jenkins
[app@jenkins01 ~]$ vim /etc/profile
JENKINS_HOME="/data/jenkins"
export JENKINS_HOME
[app@jenkins01 ~]$ source /etc/profile

手动指定jenkins主目录后，待jenkins启动后，该主目录会自动生成。
但是要注意的是：jenkins启动用户要有权限生成主目录（可以提前手动创建该目录，并将权限设置成jenkins启动用户的权限）
   
那么只需要定期将master机器10.0.8.60上的/data/jenkins目录下的文件拷贝到10.0.8.61机器/data/jenkins下即可！
  
10.0.8.61上写备份脚本（两台机器提前做app账号下的ssh无密码登陆的信任关系）：
[app@jenkins01 ~]$ cat /data/script/rsync_jenkins02.sh          （如下脚本，如果不添加--delete参数，则只会同步增加的数据，删除的数据不会同步）
#!/bin/bash
/usr/bin/rsync -e "ssh -p6666" -avpgolr --delete /data/jenkins/ app@10.0.8.61:/data/jenkins/

/usr/bin/ssh -p6666 app@10.0.8.61 "/bin/bash -x /home/app/kill_tomcat.sh"
/usr/bin/ssh -p6666 app@10.0.8.61 "/data/tomcat8.5/bin/startup.sh"
  
10.0.8.61上的脚本：
[app@jenkins02 ~]$ cat /home/app/kill_tomcat.sh
#!/bin/bash
ps -ef|grep java|grep -v grep|awk '{print $2}'|xargs kill -9
  
如上脚本准备好后，只需要每天定时去执行10.0.8.60机器上的同步脚本/data/script/rsync_jenkins02.sh，即可完成jenkins的备机操作了。

十、Jenkins的maven构建：基于Java代码发版（Jenkins+Gitlab+Maven+Nexus）
Jenkins(提前安装maven环境)针对Java代码的发版基本可以分为下面几个步骤：
1）安装部署Jenkins、Gitlab、Nexus。安装过程在之前的文章中已经提到过了，这里就省略了。
2）将相关代码上传到Gitlab里进行托管，上传内容需要包括pom.xml文件、src目录。其中pom.xml文件里需要配置连接Nexus的相关信息；src目录里包括java编译需要的代码文件。如下截图：

 pom.xml文件里配置的是nexus的连接信息

一般而言，pom.xml文件最好放到Gitlab相关project工程的根目录下，这样在jenkins里配置时直接写"pom.xml"即可，maven读取该文件进行编译；如果pom.xml文件不放到project工程的根目录下，则在jenkins里配置时就需要写相对路径下。比如pom.xml文件放到http://gitlab.kevin.com/test.git下面的a/b/pom.xml位置，则在jenkins里配置的时候需要写"a/b/pom.xml"的相对路径。

3）Jenkins配置。构建project工程的时候，选择“构建一个maven项目”。

上面填写项目构建参数（与开发人员有关），基础参数为"clean package"。然后在Execute shell里编写脚本，将该工程执行并编译后的jar或war包同步到需要发版的目标服务器上，并重启java服务。

点击"立即构建"，就会依次执行：从gitlab拉取代码，maven进行编译，然后通过脚本将编译后jar或war包同步到上线的服务器上，并重启java程序。

如下，点击"工作区"可以看到编译后的jar或war包。

登录jenkins服务器，加入jenkins的根目录是/data/jenkins。则可以到jenkins服务器的/data/jenkins/jobs下找对应的project工程目录，在这个工程目录的workspace里可以看到从gitlab上拉取下面的代码，发现jenkins执行构建成功后，这些代码里会多了一个target目录，而target目录下就会有编译后的jar或war包，将这里面的jar或war包通过jenkins发版的脚本同步到上线的目标服务器上即可。

[root@uatjenkins01 gw-anshuo]# pwd
/data/jenkins/jobs/uat-gw-anshuo/workspace/qwgateway/gw-anshuo

[root@uatjenkins01 gw-anshuo]# ls                 #发现在gitlab上只有pom.xml和src，通过jenkins构建工程,maven编译后这里多了一个target目录。
pom.xml  src  target

[root@uatjenkins01 gw-anshuo]# ls target/         #target目录下有编译后的jar包，将这个jar包通过jenkins脚本同步到上线服务器上。
classes  generated-sources  generated-test-sources  gw-anshuo-1.0.0.release.jar  maven-archiver  maven-status  test-classes

十一、Jenkins日志爆满问题处理

Jenkins日志文件过大，将磁盘打满！通常查看jenkins日志文件"/var/log/jenkins/jenkins.log"，发现几分钟就会产生几十G的日志，并且，jenkins.log日志一直在增长中！

内容如下：
[root@localhost jenkins]# tail -f /var/log/jenkins/jenkins.log 
..........
120: 31303040312e312e 312e313e0d0a436f 6e746163743a2073 69703a3130304031     100@1.1. 1.1>..Co ntact:.s ip:100@1
 140: 32372e302e312e31 3a353236370d0a43 5365713a2031204f 5054494f4e530d0a     27.0.1.1 :5267..C Seq:.1.O PTIONS..
 160: 43616c6c2d49443a 2032333736353733 3036343830373737 3236373837343730     Call-ID: .2376573 06480777 26787470
 180: 300d0a4d61782d46 6f7277617264733a 2037300d0a0d0a                        0..Max-F orwards: .70....
 
Nov 26, 2019 10:23:45 PM javax.jmdns.impl.DNSIncoming$MessageInputStream readName
SEVERE: bad domain name: possible circular name detected. Bad offset: 0xffffffff at 0x195
Nov 26, 2019 10:23:45 PM javax.jmdns.impl.constants.DNSRecordType typeForIndex
SEVERE: Could not find record type for index: -1
Nov 26, 2019 10:23:45 PM javax.jmdns.impl.DNSIncoming readAnswer
SEVERE: Could not find record type. domain:
dns[query,62.210.116.113:5267, length=407, id=0x4f50, flags=0x5449:aa, questions=20302
questions:
        [DNSQuestion@1698506285 type: TYPE_IGNORE index 0, class: CLASS_UNKNOWN index 0, name: 00@101.200.87.125 SIP/2.0
Via: SIP/2.0/UDP 127.0.1.1:5267;branch=z9hG4bK-1805463161;rport
Cont.Length: 0
From: "sipvicious"<sip:100@1.1.1.1.;tag=3635633835373764313465390132303839373931373930
Accept: a.sdp
User-Agent: friendly-scanner
To: "sipvici.<sip:100@1.1.1.1>
Contact: sip:10.@127.0.1.1:5267
CSeq: 1 OPTIONS
Call-ID: 23765.306480777267874700
Max-Forwards: 70
 
ϿϿϿϿϿϿϿϿ.]
        [DNSQuestion@690369214 type: TYPE_IGNORE index 0, class: CLASS_UNKNOWN index 0, name: ]
        [DNSQuestion@1821236921 type: TYPE_IGNORE index 0, class: CLASS_UNKNOWN index 0, name: ]
        [DNSQuestion@1695940198 type: TYPE_IGNORE index 0, class: CLASS_UNKNOWN index 0, name: ]
        [DNSQuestion@1763025063 type: TYPE_IGNORE index 0, class: CLASS_UNKNOWN index 0, name: ]
        [DNSQuestion@1908329721 type: TYPE_IGNORE index 0, class: CLASS_UNKNOWN index 0, name: ]

既然定位到了问题，那么就将该日志文件清理下, 删除或者清空它。
[root@localhost jenkins]# du -sh /var/log/jenkins/jenkins.log 
107G    /var/log/jenkins/jenkins.log

[root@localhost jenkins]# rm -f /var/log/jenkins/jenkins.log   
或者，清空该日志文件
[root@localhost jenkins]# > /var/log/jenkins/jenkins.log  

但是发现清空了jenkins日志后，磁盘空间仍然没有释放出来！这是为什么呢？？接下来就需要进一步分析这其中更深层次的问题了。

在Linux系统中，通过rm或者文件管理器删除文件将会从文件系统的文件夹结构上解除链接(unlink)，但是如果删除的文件是被打开的（有一个进程正在使用）状态，
那么进程将仍然能够读取该文件，磁盘空间也一直被占用她！

上面删除的是jenkins的日志文件，如果jenkins服务没有停止，那么此时删除jenkins日志文件将并不会起到什么作用！！
因为删除日志文件的时候，该文件正在被使用，当linux打开一个文件的时候, Linux内核会为每个进程在/proc（/proc/进程pid/fd/文件夹）下建立一个以其pid为名
的文件夹用来保存进程的相关信息，而其子文件夹fd保存的是该进程打开的全部文件的fd（fd是文件描述符）。

kill进程是通过截断proc文件系统中的文件能够强制要求系统回收分配给正在使用的的文件，这是一项高级技术，仅在系统管理员确定不会对执行中的进程造成影响时使用。
应用程序对这样的方式支持的并不好，当一个正在使用的文件被截断后可能会引发不可预知的问题，所以这种情况下最好还是通过停止应用进程来解决。

因为，最终的解决方法：
1）删除jenkins的log文件。
2）停止jenkins服务进程。

一般情况下，jenkins常用的部署方式：
1）通过系统服务安装并启动，进程启停命令"service jenkins start/stop/restart"，此时可通过stop命令来停止jenkins服务进程；
2）将war包部署至tomcat中，此时stop tomcat服务器即可。

=============================================================================================
总结一下：
1）在Linux系统中，当一个文件正在被一个进程使用时，用户删除此文件，文件只会从目录结构中删除，但并没有真正从磁盘删除。
   只有当使用这个文件的进程结束后，文件才会真正的从磁盘删除，释放占有的空间。
2）因此，在日常运维工作中，发现系统磁盘剩余空间比较少时，在追查到一些大的临时文件或log文件并删除它们后，如果删除它们
   之后会发现磁盘空间并未减少，通常可以使用"lsof"命令去查看正常使用这些文件的进程，然后重启该服务进程，这样这些被删除
   文件就会真正从磁盘空间释放出来了！

=============================================================================================
此外，还需要注意的是：
1）在脚本中如果涉及到启动进程的话，需要加入BUILD_ID，否则该进行启动后就会被kill掉！！
   [Jenkins的BUILD_ID就是job构建ID，就是jenkins界面里"构建历史"列表里#后面的数字，这个可以在job的"Esecute Shell"脚本里
   通过"echo $BUILD_ID"打印出来，jnekins会自动识别$BUILD_ID这个环境变量]
2）如果不设置BUILD_ID，则jenkins在结束自己的脚本执行时会将创建的所有subprocess kill掉，BUILD_ID是Jenkins的一个环境变量，
   如果不设置这个变量值，那么jenkins执行完所有脚本就会退出，带着subprocess一起死掉。

上面jenkins日志暴增，日志文件信息里主要是因为DNS查询错误，返回了所有的日志数据。这个问题的解决方法：Jenkins界面 -> 系统管理 -> System log -> 日志级别 -> 配置级别 -> 名称: javax.jmdns , 级别：off

十二、Jenkins删除job后，如何清理slave机器上对应的workspace

如果Jenkins部署的是master-slave架构模式，则在master上删除job后，slave节点上对应job的workspace不会被删除，这个需要另行处理。

那么如何实现：master节点删除job后，slave节点对应workspace也被自动删除的功能呢？方法有下面两种：
1）master->slave单向的rsync同步脚本
按照上面记录所说，master到slave节点之间有同步脚本，删除master节点上的job后，执行同步脚本，则slave节点上对应job的workspace也将会被删除。

2）通过python脚本实现该功能，具体思路是：
1. 遍历jenkins节点的workspace，根据路径解析获得jenkins job name。
2. 如果该job不存在（通过python jenkinsapi实现），则删除相应的workspace。
3. 暂不考虑自定义的workspace。
4. 需要在jenkins每个节点上进行处理（可以在jenkins上创建job，将job绑定到相应slave上；也可以在相应slave上直接运行脚本）

python脚本内容如下：
----------------------------------------------------------------------------------

#!/usr/bin/env python
# -*- coding: UTF-8 -*-
import os
import shutil
import logging
 
from jenkinsapi.jenkins import Jenkins
 
logging.basicConfig(level=logging.INFO)
logger = logging.getLogger(__file__)
 
 
def get_jenkins_instance():
    jenkins_url = "http://jenkins.kevin.com"
    jenkins_username = "username"
    jenkins_password = "password"
    return Jenkins(jenkins_url, username=jenkins_username, password=jenkins_password)
 
 
def clean_workspace():
    jenkins_instance = get_jenkins_instance()
 
    jenkins_workspace_path = "/opt/JENKINS_HOME/workspace/"
 
    for dirpath, dirnames, filenames in os.walk(jenkins_workspace_path):
        if dirpath == jenkins_workspace_path:
            for dirname in dirnames:
                jenkins_job_name = dirname
                # 如果job被删除，则清理相应的workspace
                if not jenkins_instance.has_job(jenkins_job_name):
                    logger.info("removing workspace dir of job:%s" % dirname)
                    shutil.rmtree(os.path.join(dirpath, dirname))
 
 
if __name__ == "__main__":
    clean_workspace()

十三、Jenkins上job构建日志清理机制
jenkins上job构建日志的清理机制是在每个job的配置里定义的，有两种清理机制：1）保留构建的天数。2）保留构建的最大个数。即超过这两种配置的数值，job构建历史里的日志就会被自动删除。

标签：git,jenkins01,运维,root,app,主目录,maven,jenkins,data
来源： https://blog.51cto.com/u_10272167/2702391

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。