gitlab+jenkins+rancher+k8s+harbor的CI/CD实现

一、先了解几个基本概念

• 持续集成（Continuous integration）：

  在软件开发环境中集成（Integrating）、构建（building）和测试（ testing）代码。

• 持续交付（Continuous Delivery）:持续交付意味着构建好的软件可以随时发布到生产环境中。

  但通常情况下，组织更喜欢较慢的部署速率，因此发布决策是根据情况逐案（case by case）做出的。

• **部署（ deploymen）：**将任何服务组件移动到任何环境中。

  在一些组织中，“供应/配置（provisioning）”一词是指对基础架构的部署，而部署一词仅指软件部署，不过在当前介绍的情况下，“部署”一词同时兼具这两层含义，即部署即包括IT基础设施硬件的安装配置，也包括对应用系统软件版本的部署。

• 持续部署（Continuous deployment）:变更会通过流水线自动发布到生产环境中,每天可以进行多次生产部署。

  持续部署依赖持续交付。

• 部署管理（ Deployment Management）：

  部署管理实践的目的在于将新的或变更的硬件、软件、文档、流程或其它服务组件移至生产环境中。

  但是，部署不仅仅是生产环境的部署，可以涉及将组件部署至不同环境，以用于测试或预发布。

• 环境（Environment）：

  用于特定目的IT基础设施的子集，比如包括服务器、中间件、数据库、网络等。

  常见的环境包括：开发/集成环境、测试环境、预发布环境、生产环境。

• 发布（Release）：某一服务或其它配置项或者一系列配置项可供（最终用户）使用的一个版本。

• 发布管理（Release management）：发布管理实践的目的在于提供新的和变更的服务与特性以供（最终用户）使用。

---

二、架构说明

• 架构图

• 架构图说明

  （1）git通过分支区分环境；

  （2）开发人员提交代码到对应分支，触发webhook；

  （3）jenkins拉取代码，进行代码扫描（Sonar Qube）—>编译构建（maven、nodejs、npm）—>镜像构建（docker）—>镜像推送（harbor）—>rancher redeploy 触发rancher部署；

  （4）rancher部署服务至k8s集群；

  （5）ingress&nginx代理服务至互联网；

  （6）构建结果通过钉钉通知。

• 回滚措施

  • 方式一：git回滚代码，自动触发流水线构建
  • 方式二：rancher执行服务回滚，回滚服务到指定版本

三、组件描述

• 持续集成（Continuous Integration）

  • gitlab

    （1）项目代码、配置文件管理

    （2）Dockerfile管理

  • harbor

    （1）镜像存储管理

    （2）版本管理

  • jenkins

    （1）代码拉取、检测、打包、测试

• 持续交付（Continuous Delivery）

  • rancher+K8S

    （1）容器编排管理

    （2）服务伸缩

    （3）迭代交付

    （4）服务发现和负载均衡

    （5）健康检查和自我修复

• 持续部署（Continuous deployment）

  • rancher+K8S

    不赘诉

  • jenkins

    （1）程序打包、镜像构建

    （2）流水线管理

    （3）集成CICD组件

• 部署管理（ Deployment Management）

  • jenkins

---

四、环境准备

关于Gitlab、Harbor、Rancher、K8S的安装，请自行百度。

4.1 jenkins安装

参考：第一篇：jenkins安装与基础配置

4.2 jenkins插件

参考：第二篇：jenkins插件，文中所列插件全部安装即可。

4.3 Harbor

新建一个项目，访问级别设置为是公开。注意：设置公开后，下载镜像不需要认证。

4.4 Gitlab

对应项目根目录创建Dockerfile，例如：

• java项目的

  #设置基础镜像
  FROM 你的harbor基础镜像库/projectimages/jre:1.8
  #维护人员信息
  MAINTAINER RC
  #设置镜像对外暴露端口
  EXPOSE 8061
  #将当前 target 目录下的 jar 放置在根目录下，命名为 app.jar，推荐使用绝对路径。
  ADD target/certif-system-2.1.0.jar /certif-system-2.1.0.jar
  # 设置环境变量
  ENV JAVA_OPTS="-server -Xms512m -Xmx512m"
  # 时区设置
  RUN echo "Asia/Shanghai" > /etc/timezone
  #执行启动命令
  ENTRYPOINT exec java ${JAVA_OPTS} -Djava.security.egd=file:/dev/./urandom -jar /certif-system-2.1.0.jar
  

• 前端vue项目的

  # 设置基础镜像
  FROM nginx
  #维护人员信息
  MAINTAINER RC
  # 创建文件目录
  RUN mkdir /app
  # 时区设置
  RUN echo "Asia/Shanghai" > /etc/timezone
  # 拷贝程序包
  COPY ./dist /app
  # 拷贝配置文件
  COPY nginx.conf /etc/nginx/nginx.conf
  # 一些验证文件
  #COPY MP_verify_mve7iCCs4qRqoLx1.txt /app
  # 设置镜像对外暴露端口
  EXPOSE 80
  

4.5 K8S

k8s节点服务器上，修改docker配置，增加Harbor库地址。

vim /etc/docker/daemon.json

增加insecure-registries

{"insecure-registries": ["192.168.10.122"]}

重启服务

systemctl restart docker

4.6 jenkins

jinkins服务器上进行如下操作：

1. 安装docker
2. 安装git
3. 修改docker配置，增加Harbor库地址(参考4.5 k8s节点服务器配置)
4. 登录harbor(docker login 你的harbor地址不带http)

---

五、jenkins配置

5.1 凭证管理

见：第三篇：jenkins凭据管理

5.2 MAVEN设置

自动安装或者手动下载maven包，解压后在jenkins上配置对应路径即可

setting配置

5.3 nodejs设置

选择所需版本，自动安装即可

5.4 gitlab配置

六、jenkins任务构建（自由风格）

以构建一个自由风格的软件项目为例，其它类型大同小异。

6.1 General

General

• 项目描述：不赘诉

• 钉钉机器人：选择配置好的钉钉通知机器人，自带的模板能满足绝大部分需求。

  机器人设置详见：第四篇：jenkins设置钉钉机器人通知
  

• 构建管理：根据需求设置相关构建策略

  

• 参数化构建过程：添加字符参数，定义代码分支变量

  

6.2 源码管理

• 源码管理：选择git，填写项目git地址、gitlab凭证、分支名变量。

  

6.3 构建触发器

• 构建触发器：通过webhook自动触发构建，先勾选即可，后续再配置。

  

6.4 构建环境

• 版本管理器：勾选版本管理器，定义版本号变量，用于构建镜像的tag

  

• with Ant ：选择程序所需jdk环境

  

6.5 Build Steps

• maven环境：【增加构建步骤】–>【调用顶层Maven目标】

  

  选择maven版本—>执行打包命令

  注意：目标栏不需要再输入mvn

  

• Docker Bulid and Push :【增加构建步骤】–>【Docker Bulid and Push】

  
  
  

  填写说明：

  • ①Repository Name：harbor存储库地址
  • ②Tag：镜像标签
  • ③Docker Host URl：远程docker地址，可不填
  • ④Docker registry URL：镜像地址，及harbor地址
  • ⑤Registry credentials：harbor认证

• Redeploy Rancher2.x Workload:【增加构建步骤】–>【Redeploy Rancher2.x Workload】,通过Redeploy Rancher2.x Workload插件，实现jenkins到k8s环境的CD流程。
  详见：第五篇：jenkins+rancher集成
  

  ① rancherApi 凭证

  ② 工作负载api地址

  ③ 总是拉取镜像

  ④ 需要更新的镜像地址

6.6 构建后操作

• Publish build status to GitLab：将生成状态发布到GitLab

  

七、效果展示

• 构建历史
  
• 日志查看
  
• GIt流水线