详解Docker+Jenkins+Gitlab+Django应用部署实践

2024-09-01 13:56:22

字体：大中小

来源：转载

供稿：网友

一、背景介绍

在互联网应用快速更新迭代的大背景下，传统的人工手动或简单脚本已经不能适应此变化，此时Devops为我们提供了良好的解决方案，应用好CI/CD可以大大的方便我们的日常工作，自动化快速的持续集成/持续交付为我们带来了应用开放的更快速度、更好的稳定性和更强的可靠性。

二、拓扑环境

2.1 架构拓扑

Docker,Jenkins,Gitlab,Django

如上图实例，简单花了下流程拓扑：

当研发push本地代码到gitlab-server后，webhook自动触发jenkins构建应用
在docker host上部署应用git clone来自gitlabserver源码，并启动应用
前端可以放置lb来做高可用
数据库连接云数据库
可将日志存储在log后期投递到elk实现日志可视化
构建完成邮件通知相关人员（测试或开放）

2.2 系统软件版本

名称	版本
Linux系统	CentOS7.3 64位
Docker	1.13
Django	2.0

三、安装部署

3.1 Jenkins安装部署

Jenkins安装部署可参考：jenkins笔记

安装完成后添加Docker目标服务器

Docker,Jenkins,Gitlab,Django

配置邮件发送服务器

Docker,Jenkins,Gitlab,Django

3.2 Docker安装部署

Docker安装部署及Dockerfile编写可参考：容器Docker详解

3.3 Gitlab安装部署

GitLab安装在公网Linux服务器运行一些命令即可，如果没有公网需要手动修改 /etc/gitlab/gitlab.rb 文件的 external_url 'http://自己的内网IP'

yum install -y libsemanage-static libsemanage-devel policycoreutils openssh-server openssh-clients postfixsystemctl enable postfix && systemctl start postfixwget https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/gitlab-ce-8.0.0-ce.0.el7.x86_64.rpmrpm -i gitlab-ce-8.0.0-ce.0.el7.x86_64.rpm# 获取公网IPPUBLICIP=$(curl http://ipv4.icanhazip.com)# 修改sed -i "s/gitlab-server/${PUBLICIP}/g" /etc/gitlab/gitlab.rbgitlab-ctl reconfiguregitlab-ctl restartecho "Username:root"echo "Password:5iveL!fe"

3.4 配置发布流程

Jenkins新建构建一个自由风格的软件项目

Docker,Jenkins,Gitlab,Django

利用参数化构建方便后续部署Docker传入映射的源端口和release

Docker,Jenkins,Gitlab,Django

源代码来自gitlab的django项目

Docker,Jenkins,Gitlab,Django

利用webhook关联gitlab和jenkins

jenkins安装插件：

Docker,Jenkins,Gitlab,Django

生成随机token值

Docker,Jenkins,Gitlab,Django

将jenkins生成的GitLab webhook URL配置到gitlab

Docker,Jenkins,Gitlab,Django

当开发者在本地push代码后自动触发jenkins构建项目，有Dockerfile内写的git pull代码，再次不用将代码由jenkins分发到docker宿主机，jenkins作为触发docker构建使用

Docker,Jenkins,Gitlab,Django

配置构建完成后的邮件

邮件模版，邮件类型选择：

内容类型选择：HTML

邮件主题填写： 构建通知:${BUILD_STATUS} - ${PROJECT_NAME} - Build # ${BUILD_NUMBER} !

构建通知模版：

<!DOCTYPE html><html><head><meta charset="UTF-8"><title>${ENV, var="JOB_NAME"}-第${BUILD_NUMBER}次构建日志</title></head><body leftmargin="8" marginwidth="0" topmargin="8" marginheight="4" offset="0"> <table width="95%" cellpadding="0" cellspacing="0" style="font-size: 11pt; font-family: Tahoma, Arial, Helvetica, sans-serif"> <tr>  <td>(本邮件是程序自动下发的，请勿回复！)</td> </tr> <tr>  <td><h2>   <font color="#0000FF">构建结果 - ${BUILD_STATUS}</font>  </h2></td> </tr> <tr>  <td><br />  <b><font color="#0B610B">构建信息</font></b>  <hr size="2" width="100%" align="center" /></td> </tr> <tr>  <td>  <ul>   <li>项目名称 ： ${PROJECT_NAME}</li>   <li>构建编号 ： 第${BUILD_NUMBER}次构建</li>   <li>SVN 版本： ${SVN_REVISION}</li>   <li>触发原因： ${CAUSE}</li>   <li>构建日志： <a href="${BUILD_URL}console">${BUILD_URL}console</a></li>   <li>构建 Url ： <a href="${BUILD_URL}">${BUILD_URL}</a></li>   <li>工作目录 ： <a href="${PROJECT_URL}ws">${PROJECT_URL}ws</a></li>   <li>项目 Url ： <a href="${PROJECT_URL}">${PROJECT_URL}</a></li>  </ul>  </td> </tr> <tr>  <td><b><font color="#0B610B">Changes Since Last   Successful Build:</font></b>  <hr size="2" width="100%" align="center" /></td> </tr> <tr>  <td>  <ul>   <li>历史变更记录 : <a href="${PROJECT_URL}changes">${PROJECT_URL}changes</a></li>  </ul> ${CHANGES_SINCE_LAST_SUCCESS,reverse=true, format="Changes for Build #%n:<br />%c<br />",showPaths=true,changesFormat="<pre>[%a]<br />%m</pre>",pathFormat=" %p"}  </td> </tr> <tr>  <td><b>Failed Test Results</b>  <hr size="2" width="100%" align="center" /></td> </tr> <tr>  <td><pre   style="font-size: 11pt; font-family: Tahoma, Arial, Helvetica, sans-serif">$FAILED_TESTS</pre>  <br /></td> </tr> <tr>  <td><b><font color="#0B610B">构建日志 (最后 100行):</font></b>  <hr size="2" width="100%" align="center" /></td> </tr> <!-- <tr>  <td>Test Logs (if test has ran): <a  href="${PROJECT_URL}ws/TestResult/archive_logs/Log-Build-${BUILD_NUMBER}.zip">${PROJECT_URL}/ws/TestResult/archive_logs/Log-Build-${BUILD_NUMBER}.zip</a>  <br />  <br />  </td> </tr> --> <tr>  <td><textarea cols="80" rows="30" readonly="readonly"   style="font-family: Courier New">${BUILD_LOG, maxLines=100}</textarea>  </td> </tr> </table></body></html>

触发类型可根据自身需要填写，这里填写always无论成功还是失败都发送邮件

Docker,Jenkins,Gitlab,Django

查看远程Docker服务器内的文件

Docker,Jenkins,Gitlab,Django

django部署已经利用conda打包好了项目的Python3.6的环境包自制了Docker镜像

Docker,Jenkins,Gitlab,Django

之前利用的是纯净的Python3.6系统，在每次构建的时候利用pip安装requirements.txt的模块，但是长此以往由于环境变化很少，每次需要pip安装耗时，所以利用conda将打包好的Python环境自制成定制化环境，以此来减少环境部署时间，也可以通过docker镜像制作是-v参数将本地磁盘挂载在环境内，每次构建本地的conda即可，完成快速环境部署。

查看Dockerfile

FROM 87a69025db6aMAINTAINER kaliarch# 定义docker中工作目录ENV WORK_DIR /work/# 创建docker内工作目录RUN mkdir $WORK_DIR# 定义映射端口EXPOSE 80WORKDIR $WORK_DIR RUN git clone http://123.xxxx.xxxxx.245/Devops/go2cloud.git# 添加启动服务脚本ADD *.sh ${WORK_DIR}CMD `which bash` /work/start_all.sh && tail -f /work/logs/server-$(date +%F).log

查看Django启动脚本

#!/bin/bashBASEPATH=$(cd `dirname $0`;pwd)PY_CMD=/python3/bin/python# 服务入口文件#MAIN_APP=${BASEPATH}/go2cloud/manage.py # 迁移脚本入口文件SCRIPTS_APP=${BASEPATH}/go2cloud/scripts/migrate_task_schdule.py# 删除脚本入口文件DELETE_APP=${BASEPATH}/go2cloud/scripts/delete_transfer_server.py# 日志目录LOG_DIR=${BASEPATH}/logs/[ ! -d ${LOG_DIR} ] && mkdir ${LOG_DIR}# 启动服务#nohup ${PY_CMD} -u ${MAIN_APP} runserver 0.0.0.0:80 >> ${LOG_DIR}server-$(date +%F).log 2>&1 &# 启动脚本迁移调度脚本echo "---------$0 $(date) excute----------" >> ${LOG_DIR}task-script-$(date +%F).lognohup ${PY_CMD} -u ${SCRIPTS_APP} >> ${LOG_DIR}script-$(date +%F).log 2>&1 &# 启动迁移删除脚本echo "---------$0 $(date) excute----------" >> ${LOG_DIR}delete-script-$(date +%F).lognohup ${PY_CMD} -u ${DELETE_APP} >> ${LOG_DIR}delete-script-$(date +%F).log 2>&1 &

查看jenkins部署脚本

#!/bin/bashrelease=$1port=$2BASEPATH=$(cd `dirname $0`;pwd)# 构建go2cloud-platform 镜像cd /dockerworkdocker build -t go2cloud-platform-mini:$release .IMGNAME=$(docker images|awk -v release=$release '{if($1=="go2cloud-platform-mini" && $2==release) print $3}')echo $IMGNAME# 启动容器docker run -d -p ${port}:80 -v /testlog/:/work/logs ${IMGNAME}

利用-v参数将日志持续化存储到docker 宿主机之上

四、测试展示

4.1 测试构建

手动构建测试

Docker,Jenkins,Gitlab,Django