首页 > 其他分享> 文章详细

基于 Kubernetes/K8S 构建 Jenkins 持续集成平台

2022-03-09 04:00:06 阅读：259 来源： 互联网

标签：slave Kubernetes -- maven NFS jenkins Jenkins K8S

Jenkins-Master-Slave 架构图回顾：

安装和配置 NFS

NFS简介

NFS（Network File System），它最大的功能就是可以通过网络，让不同的机器、不同的操作系统可以共享彼此的文件。我们可以利用NFS共享Jenkins运行的配置文件、Maven的仓库依赖文件等

NFS安装

我们把 NFS 服务器安装在 master 192.168.10.90 服务器上

（1）安装NFS服务（在所有K8S的节点都需要安装）

yum install -y nfs-utils

（2）创建共享目录

mkdir -p /opt/nfs/jenkins

vim /etc/exports   #编写NFS的共享配置
/opt/nfs/jenkins *(rw,no_root_squash)    #*代表对所有IP都开放此目录，rw是读写

（3）启动服务

systemctl enable nfs    #开机启动
systemctl start nfs     #启动

（4）查看 NFS 共享目录

showmount -e 192.168.10.90

在 Kubernetes 安装 Jenkins-Master

创建NFS client provisioner

nfs-client-provisioner 是一个Kubernetes的简易NFS的外部provisioner，本身不提供NFS，需要现有的NFS服务器提供存储。

（1）上传nfs-client-provisioner构建文件

其中注意修改 deployment.yaml，使用之前配置NFS服务器和目录

vim deployment.yaml

（2）构建nfs-client-provisioner的pod资源

cd nfs-client
kubectl create -f .

（3）查看pod是否创建成功

kubectl get pods

安装 Jenkins-Master

（1）上传Jenkins-Master构建文件

其中有两点注意：

第一、在StatefulSet.yaml文件，声明了利用nfs-client-provisioner进行Jenkins-Master文件存储

第二、Service发布方法采用NodePort，会随机产生节点访问端口

（2）创建kube-ops的namespace

因为我们把Jenkins-Master的pod放到kube-ops下

kubectl create namespace kube-ops

（3）构建Jenkins-Master的pod资源

cd jenkins-master
kubectl create -f .

（4）查看pod是否创建成功

kubectl get pods -n kube-ops

（5）查看信息，并访问

查看Pod运行在那个Node上

kubectl describe pods -n kube-ops

查看分配的端口

kubectl get service -n kube-ops

查看Pod在哪个节点上运行（用该节点的ip+端口访问浏览器）

kubectl get pods --namespace kube-ops -o wide

（6）浏览器访问

最终访问地址为：http://192.168.10.100:31881/ （192.168.10.100 为 k8s-node1的 IP）

安装过程跟之前是一样的！

找到密钥复制粘贴

/opt/nfs/jenkins/kube-ops-jenkins-home-jenkins-0-pvc-f3e2aa49-5a83-48ba-a308-a4eb56296648/secrets
ls

cat initialAdminPassword

选择插件来安装 --> 无 --> 安装

Kubernetes 中 Jenkins 部署完成！！！

（7）设置插件下载地址

cd /opt/nfs/jenkins/
ls
cd kube-ops-jenkins-home-jenkins-0-pvc-f3e2aa49-5a83-48ba-a308-a4eb56296648/   #注意：这个目录每个人是不一样的，不要直接复制
ls
cd updates/
ls

sed -i 's/http:\/\/updates.jenkins- ci.org\/download/https:\/\/mirrors.tuna.tsinghua.edu.cn\/jenkins/g' default.json && sed -i 's/http:\/\/www.google.com/https:\/\/www.baidu.com/g' default.json

Manage Jenkins --> Manage Plugins --> Advanced --> Update Site 改为国内插件下载地址

提交后重启 Jenkins

（8）先安装基本的插件

Localization:Chinese
Git
Pipeline
Extended Choice Parameter

　　安装完成后重启 Jenkins

Jenkins 与 Kubernetes 整合

安装 Kubernetes 插件

系统管理 --> 插件管理 --> 可选插件

实现 Jenkins 与 Kubernetes 整合

系统管理 --> 系统配置 --> 云 --> 新建云 --> Kubernetes

kubernetes 地址采用了 kube 的服务器发现：

https://kubernetes.default.svc.cluster.local namespace填kube-ops，然后点击Test Connection，如果出现 Connection test successful 的提示信息证明 Jenkins 已经可以和 Kubernetes 系统正常通信

Jenkins URL 地址：http://jenkins.kube-ops.svc.cluster.local:8080

构建 Jenkins-Slave 自定义镜像

Jenkins-Master在构建Job的时候，Kubernetes 会创建Jenkins-Slave的Pod来完成Job的构建。我们选择运行Jenkins-Slave的镜像为官方推荐镜像：jenkins/jnlp-slave:latest，但是这个镜像里面并没有Maven 环境，为了方便使用，我们需要自定义一个新的镜像：

准备材料：

Dockerﬁle文件内容如下：

FROM jenkins/jnlp-slave:latest

MAINTAINER xxx

# 切换到 root 账户进行操作
USER root

# 安装 maven
COPY apache-maven-3.6.2-bin.tar.gz .

RUN tar -zxf apache-maven-3.6.2-bin.tar.gz && \
    mv apache-maven-3.6.2 /usr/local && \
    rm -f apache-maven-3.6.2-bin.tar.gz && \
    ln -s /usr/local/apache-maven-3.6.2/bin/mvn /usr/bin/mvn && \
    ln -s /usr/local/apache-maven-3.6.2 /usr/local/apache-maven && \
    mkdir -p /usr/local/apache-maven/repo

COPY settings.xml /usr/local/apache-maven/conf/settings.xml

USER jenkins

//构建镜像

docker build -t jenkins-slave-maven:latest .

构建出一个新镜像：jenkins-slave-maven:latest

登录 Harbor仓库、打标签、推送镜像到 harbor（ ip为 harbor仓库地址）

docker login -u admin -p Harbor12345 192.168.10.60:85
docker tag jenkins-slave-maven:latest 192.168.10.60:85/library/jenkins-slave-maven:latest
docker push 192.168.10.60:85/library/jenkins-slave-maven:latest

刷新 harbor 网页

测试 Jenkins-Slave 是否可以创建

（1）创建一个 Jenkins 流水线项目

新建 item: test_jenkins_slave

进入配置页面后不做任何配置点击应用保存

要先去配置凭证：

系统管理 --> Manage Credential --> 全局 --> 添加凭据

回到项目 test_jenkins_slave --> 配置

checkout([$class: 'GitSCM', branches: [[name: '*/master']], extensions: [], userRemoteConfigs: [[credentialsId: 'fc0fab00-287d-4803-aba2-42ee7714028a', url: 'http://192.168.10.10:82/xxx_group/tensquare_back.git']]])

def git_address = "http://192.168.10.10:82/xxx_group/tensquare_back.git" 
def git_auth = "fc0fab00-287d-4803-aba2-42ee7714028a"

//创建一个Pod的模板，label为jenkins-slave
podTemplate(label: 'jenkins-slave', cloud: 'kubernetes', containers: [ 
    containerTemplate(
        name: 'jnlp',
        image: "192.168.10.60:85/library/jenkins-slave-maven:latest"
    )
  ]
)
{
    //引用jenkins-slave的pod模块来构建Jenkins-Slave的pod 
    node("jenkins-slave"){
        stage('拉取代码'){
            checkout([$class: 'GitSCM', branches: [[name: '*/master']], extensions: [], userRemoteConfigs: [[credentialsId: "${git_auth}", url: "${git_address}"]]])
        }
    }
}

（2）编写 Pipeline，从GItlab拉取代码（使用http方式）

再启动一个 Jenkins 终端，

构建前的节点列表：

（3）构建项目 test_jenkins_slave

构建中，刷新状态

构建完成后，刷新状态

小结：

底层跑的是 k8s，在 k8s 基础之上建立的 Jenkins，而 Jenkins 完成里面当中的 devops 的CI/CD一整套持续性交互集成：从代码拉取、代码检查、编译打包、镜像制作、镜像上传、拉取镜像、应用发布，这些个工作全部交给 slave 去完成，而不是 master 工作，slave 完成工作后会自动销毁，不占用资源。

标签：slave,Kubernetes,--,maven,NFS,jenkins,Jenkins,K8S
来源： https://www.cnblogs.com/darryallen/p/15981641.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9