ICode9
精准搜索请尝试： 精确搜索
首页
编程语言>
数据库
系统相关
互联网
其他分享
Python
Java
JavaScript
android
PHP
首页 > 其他分享> 文章详细

基于 Kubernetes/K8S 构建 Jenkins 持续集成平台（Kubeadm 安装 k8s）

2022-03-08 04:00:10  阅读：169  来源： 互联网

标签：kubectl Slave Kubernetes -- 192.168 Jenkins k8s 节点


一、基于 Kubernetes/K8S 构建 Jenkins 持续集成平台

服务列表

服务器名称 IP地址 安装的软件
代码托管服务器 192.168.10.10 Gitlab
持续集成服务器 192.168.10.20 Jenkins，Maven，Docker18.06.1-ce
slave 192.168.10.110  

 

Jenkins 的 Master-Slave 分布式构建

1、什么是 Master-Slave 分布式构建

Jenkins的Master-Slave分布式构建，就是通过将构建过程分配到从属Slave节点上，从而减轻Master节   点的压力，而且可以同时构建多个，有点类似负载均衡的概念。

2、如何实现 Master-Slave 分布式构建

（1）开启代理程序的TCP端口

Manage Jenkins --> Configure Global Security --> 随机选取

（2）新建节点

Manage Jenkins --> Manage Node --> 新建节点

这个下载的 jar 包需要传递到从节点服务器上

从节点 slave（192.168.10.110）服务器上操作

关闭防火墙

从节点 slave 安装 git 环境

yum install git -y

执行安装成功后，执行上述提示的指令

java -jar agent.jar -jnlpUrl http://192.168.10.20:8888/computer/slave1/jenkins-agent.jnlp -secret 8ff8ad31b86e893521b60a4f03ab340186d4e31ed7cde59e417471ca0f1d9ed1 -workDir "/root/jenkins"

回到主节点查看状态

进行自由风格项目测试

新建 item

直接构建

在 slave1 服务器 /root/jenkins上查看项目代码拉取

使用流水线项目

创建项目前先连接主节点

新建 item

--> 点击 流水线语法（在最底部）--> 配置 --> 生成流水线（在底部）

node('slave1') {
    //拉取代码
    stage('pull code') {
        
        checkout([$class: 'GitSCM', branches: [[name: '*/master']], extensions: [], userRemoteConfigs: [[credentialsId: '015f1ee4-73cf-4d51-95b0-2954fc32aadb', url: 'git@192.168.10.10:xxx_group/tensquare_back.git']]])
    }
}

直接构建

在 slave1 服务器 /root/jenkins上查看项目代码拉取

二、Kubernetes 实现 Master-Slave 分布式构建方案

传统 Jenkins 的 Master-Slave 方案的缺陷

  • Master节点发生单点故障时，整个流程都不可用了
  • 每个 Slave节点的配置环境不一样，来完成不同语言的编译打包等操作，但是这些差异化的配置导致管理起来非常不方便，维护起来也是比较费劲
  • 资源分配不均衡，有的 Slave节点要运行的job出现排队等待，而有的Slave节点处于空闲状态
  • 资源浪费，每台 Slave节点可能是实体机或者VM，当Slave节点处于空闲状态时，也不会完全释放掉资源

以上种种问题，我们可以引入Kubernates来解决！

Kubernetes 简介

Kubernetes（简称，K8S）是Google开源的容器集群管理系统，在Docker技术的基础上，为容器化的   应用提供部署运行、资源调度、服务发现和动态伸缩等一系列完整功能，提高了大规模容器集群管理的  便捷性。 其主要功能如下：

  • 使用Docker对应用程序包装(package)、实例化(instantiate)、运行(run)。
  • 以集群的方式运行、管理跨机器的容器。以集群的方式运行、管理跨机器的容器。  
  • 解决Docker跨机器容器之间的通讯问题。解决Docker跨机器容器之间的通讯问题。
  • Kubernetes的自我修复机制使得容器集群总是运行在用户期望的状态。

Kubernates+Docker+Jenkins 持续集成架构图

大致工作流程：

手动/自动构建 --> Jenkins 调度 K8S API --＞动态生成 Jenkins Slave pod --＞ Slave pod 拉取 Git 代码／编译／打包镜像 --＞推送到镜像仓库 Harbor --＞ Slave 工作完成，Pod 自动销毁 --＞部署到测试或生产 Kubernetes平台。（完全自动化，无需人工干预）

Kubernates+Docker+Jenkins 持续集成方案好处

  • 服务高可用：

当 Jenkins Master 出现故障时，Kubernetes 会自动创建一个新的 Jenkins Master 容器，并且将 Volume 分配给新创建的容器，保证数据不丢失，从而达到集群服务高可用。

  • 动态伸缩，合理使用资源：

每次运行 Job 时，会自动创建一个 Jenkins Slave，Job 完成后，Slave 自动注销并删除容器，资源自动释放，而且 Kubernetes 会根据每个资源的使用情况，动态分配Slave 到空闲的节点上创建，降低出现因某节点资源利用率高，还排队等待在该节点的情况。

  • 扩展性好：

当 Kubernetes 集群的资源严重不足而导致 Job 排队等待时，可以很容易的添加一个Kubernetes Node 到集群中，从而实现扩展。

Kubeadm 安装 Kubernetes

Kubernetes 的架构

  • API  Server：

用于暴露Kubernetes  API，任何资源的请求的调用操作都是通过kube-apiserver提供的接口进行的。

  • Etcd：

是Kubernetes提供默认的存储系统，保存所有集群数据，使用时需要为etcd数据提供备份计划。

  • Controller-Manager：

作为集群内部的管理控制中心，负责集群内的Node、Pod副本、服务端点（Endpoint）、命名空间（Namespace）、服务账号（ServiceAccount）、资源定额（ResourceQuota）的管理，当某个Node意外宕机时，Controller Manager会及时发现并执行自动化修复流程，确保集群始终处于预期的工作状态。

  • Scheduler：

监视新创建没有分配到Node的Pod，为Pod选择一个Node。

  • Kubelet：

负责维护容器的生命周期，同时负责Volume和网络的管理。

  • Kube proxy：

是Kubernetes的核心组件，部署在每个Node节点上，它是实现Kubernetes Service的通信与负载均衡机制的重要组件。

安装环境说明

主机名称

IP地址

安装的软件

代码托管服务器

192.168.10.10

Gitlab-12.4.2

Harbor仓库服务器

192.168.10.60

Harbor1.9.2

k8s-master

192.168.10.90

kube-apiserver、kube-controller-manager、kube- scheduler、docker、etcd、calico，NFS

k8s-node1

192.168.10.100

kubelet、kubeproxy、Docker18.06.1-ce

k8s-node2

 192.168.10.110

kubelet、kubeproxy、Docker18.06.1-ce

 

1、三台服务器都需要完成（192.168.10.90、192.168.10.100、192.168.10.110）

关闭防火墙和关闭SELinux

systemctl stop firewalld 
systemctl disable firewalld
setenforce 0 临时关闭

vi /etc/sysconfig/selinux 永久关闭
改为SELINUX=disabled

安装 docker 环境

//安装必要的软件包
yum install -y yum-utils device-mapper-persistent-data lvm2

//设置下载的镜像仓库
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

yum install -y docker-ce

systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0

systemctl start docker
docker -v
sudo systemctl enable docker

//添加阿里云镜像下载地址
镜像加速器：
sudo tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://31ycpc34.mirror.aliyuncs.com"]
}
EOF

sudo systemctl daemon-reload
sudo systemctl restart docker

vim /etc/sysctl.conf
net.ipv4.ip_forward=1  #添加进去

sysctl -p                    #立即生效

service network restart  
systemctl restart docker

修改3台服务器的 hostname 及 hosts 文件

hostnamectl set-hostname k8s-master
hostnamectl set-hostname k8s-node1 
hostnamectl set-hostname k8s-node2
vim /etc/hosts

192.168.10.90 k8s-master 
192.168.10.100 k8s-node1 
192.168.10.110 k8s-node

#互相 ping 一下，确保互通
ping k8s-node

设置系统参数，加载 br_netfilter 模块

modprobe br_netfilter

设置允许路由转发，不对bridge的数据进行处理创建文件

net.bridge.bridge-nf-call-ip6tables = 1 
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1 
vm.swappiness = 0

执行文件

sysctl -p /etc/sysctl.d/k8s.conf

kube-proxy 开启 ipvs 的前置条件

cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF
#给执行权限
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash 
/etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4

所有节关闭 swap 

#临时关闭
swapoff -a 

#永久关闭，注释掉以下字段
vim /etc/fstab
#/dev/mapper/cl-swap swap swap defaults 0 0

安装 kubelet、kubeadm、kubectl

  • kubeadm: 用来初始化集群的指令。
  • kubelet: 在集群中的每个节点上用来启动 pod 和 container 等。
  • kubectl: 用来与集群通信的命令行工具。

清空yum缓存

yum clean all

设置 yum 安装源

cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

安装 kubelet、kubeadm、kubectl

yum install -y kubelet-1.17.0 kubeadm-1.17.0 kubectl-1.17.0

kubelet 设置开机自启动（注意：先不启动，现在启动的话会报错）

systemctl enable kubelet

查看版本

kubelet --version

2、Master 节点（192.168.10.90）需要完成

（1）运行初始化命令（具备docker环境）

kubeadm init --kubernetes-version=1.17.0 \
--apiserver-advertise-address=192.168.10.90 \
--image-repository registry.aliyuncs.com/google_containers \
--service-cidr=10.1.0.0/16 \
--pod-network-cidr=10.244.0.0/16

注意：apiserver-advertise-address这个地址必须是master机器的IP

常见错误：

  • 错误一：

[WARNING IsDockerSystemdCheck]: detected "cgroupfs" as the Docker cgroup driver

作为Docker cgroup驱动程序。，Kubernetes推荐的Docker驱动程序是“systemd”

  • 解决方案：

修改Docker的配置: vim /etc/docker/daemon.json，加入

{
"exec-opts":["native.cgroupdriver=systemd"]
}

然后重启 Docker

  • 错误二：

[ERROR NumCPU]: the number of available CPUs 1 is less than the required 2

  • 解决方案：

修改虚拟机的CPU的个数，至少为2个

最后，会提示节点安装的命令，必须记下来

kubeadm join 192.168.10.90:6443 --token 5ire0v.3q74rpx1xf55r2wk \
    --discovery-token-ca-cert-hash sha256:9b466096f1389ef2175ef5c5a07291fbbbd925ae41cde0a2bc96f0fef02e8161

（2） 配置 kubectl 工具

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

（3）启动 kubelet

systemctl restart kubelet
systemctl status kubele

（4）安装 Calico

mkdir k8s
cd k8s

//不检查凭证下载calico.yaml
wget --no-check-certificate https://docs.projectcalico.org/v3.10/getting-started/kubernetes/installation/hosted/kubernetes-datastore/calico-networking/1.7/calico.yaml

//地址更改，方便从节点通信
sed -i 's/192.168.0.0/10.244.0.0/g' calico.yaml

kubectl apply -f calico.yaml

（5）查看所有 Pod 的状态，确保所有 Pod 都是 Running 状态

kubectl get pod --all-namespaces -o wide

3、从节点需要完成（192.168.10.100、192.168.10.110）

（1）让两个从节点加入集群环境

两个节点都执行之前 Master 节点产生的命令加入集群

kubeadm join 192.168.10.90:6443 --token 5ire0v.3q74rpx1xf55r2wk \
    --discovery-token-ca-cert-hash sha256:9b466096f1389ef2175ef5c5a07291fbbbd925ae41cde0a2bc96f0fef02e8161

（2）启动 kubelet

systemctl start kubelet
systemctl status kubele

（3）回到Master节点查看，如果Status全部为Ready，代表集群环境搭建成功

kubectl get nodes

kubectl 常用命令

kubectl get nodes    　　#查看所有主从节点的状态
kubectl get ns    　　#获取所有namespace资源
kubectl get pods -n {$nameSpace}    　　#获取指定namespace的pod
kubectl describe pod的名称    -n {$nameSpace}    　　#查看某个pod的执行过程
kubectl logs --tail=1000 pod的名称 | less    　　#查看日志
kubectl create -f xxx.yml    　　#通过配置文件创建一个集群资源对象
kubectl delete -f xxx.yml    　　#通过配置文件删除一个集群资源对象

 

标签：kubectl,Slave,Kubernetes,--,192.168,Jenkins,k8s,节点
来源： https://www.cnblogs.com/darryallen/p/15978901.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

关于我们 | 联系我们 | 留言反馈

专注分享技术，共同学习，共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有