一、docker安装
说明:以下为国内云服务器(阿里云,腾讯云)以及自行安装的CentOS7为环境
#准备工作,查看内核信息:
代码语言:javascript复制uname -r
#移除yum.pid文件
代码语言:javascript复制rm -f /var/run/yum.pid
#更新yum源
代码语言:javascript复制yum update
#出现[Errno -1] 软件包与预期下载的不符。 建议:运行 yum --enablerepo=updates clean metadata正在尝试其它镜像。使用以下命令
代码语言:javascript复制yum --enablerepo=updates clean metadata
#编辑文件改成Centos7
代码语言:javascript复制cd /etc/yum.repos.d
vi CentOS-Base.repo
#将文件中$releasever全部改成7
代码语言:javascript复制:%s/$releasever/7/g
#清除和缓存
代码语言:javascript复制yum clean all && yum makecache
#卸载旧版本
代码语言:javascript复制sudo yum remove docker
docker-client
docker-client-latest
docker-common
docker-latest
docker-latest-logrotate
docker-logrotate
docker-engine
docker-selinux
docker-ce
#卸载后将保留/var/lib/docker的内容(镜像、容器、存储卷和网络等)。
代码语言:javascript复制rm -rf /var/lib/docker
#下载之前查看网络环境在出口是否封了相应端口
代码语言:javascript复制ping baidu.com
#安装前可查看device-mapper-persistent-data和lvm2是否已经安装,如果安装了可以跳过这个步骤
代码语言:javascript复制rpm -qa|grep device-mapper-persistent-data
rpm -qa|grep lvm2
#安装依赖软件包
代码语言:javascript复制sudo yum install -y yum-utils device-mapper-persistent-data lvm2
#安装yum工具包
代码语言:javascript复制sudo yum -y install yum-utils
#设置yum源 如果服务器在国外可以使用官方的
代码语言:javascript复制sudo yum-config-manager
--add-repo
https://download.docker.com/linux/centos/docker-ce.repo
#如果服务器在国内则使用阿里云的
代码语言:javascript复制sudo yum-config-manager
--add-repo
http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
#更新yum软件包索引
代码语言:javascript复制sudo yum makecache fast
#安装Docker 安装最新版本docker-ce
代码语言:javascript复制sudo yum install -y docker-ce
#安装指定版本docker-ce可使用以下命令查看
代码语言:javascript复制sudo yum list docker-ce.x86_64 --showduplicates | sort -r
#安装特定版本
代码语言:javascript复制sudo yum install docker-ce-18.09.1 docker-ce-cli-18.09.1 containerd.io
#安装完成之后可以使用命令查看
代码语言:javascript复制docker version
结果:出现Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running? #重启docker
代码语言:javascript复制systemctl start docker
#查看状态
代码语言:javascript复制systemctl status docker
#再次查看版本
代码语言:javascript复制docker version
结果:
Client: Docker Engine - Community Version: 20.10.9 API version: 1.41 Go version: go1.16.8 Git commit: c2ea9bc Built: Mon Oct 4 16:08:25 2021 OS/Arch: linux/amd64 Context: default Experimental: true Server: Docker Engine - Community Engine: Version: 20.10.9 API version: 1.41 (minimum version 1.12) Go version: go1.16.8 Git commit: 79ea9d3 Built: Mon Oct 4 16:06:48 2021 OS/Arch: linux/amd64 Experimental: false containerd: Version: 1.4.11 GitCommit: 5b46e404f6b9f661a205e28d59c982d3634148f8 runc: Version: 1.0.2 GitCommit: v1.0.2-0-g52b36a2 docker-init: Version: 0.19.0 GitCommit: de40ad0
#通知systemd重载此配置文件
代码语言:javascript复制systemctl daemon-reload
#docker开机自启设置
代码语言:javascript复制systemctl enable docker.service
#出现Created symlink from /etc/systemd/system/multi-user.target.wants/docker.service to /usr/lib/systemd/system/docker.service.指定root用户添加到用户组,然后重试开机自启动设置
代码语言:javascript复制usermod -aG docker root
#重启docker服务
代码语言:javascript复制systemctl restart docker
说明:以下为AWS服务器的环境,AWS服务器则执行以下命令进行docker安装
#更新yum源
代码语言:javascript复制sudo yum update -y
#安装docker
代码语言:javascript复制sudo amazon-linux-extras install docker
#启动docker
代码语言:javascript复制sudo service docker start
二、配置docker对外端口
#安装好docker之后还需要对外暴露接口
代码语言:javascript复制 vim /usr/lib/systemd/system/docker.service
找到 ExecStart=/usr/bin/dockerd在后面添加tcp://0.0.0.0:端口
代码语言:javascript复制ExecStart=/usr/bin/dockerd -H tcp://0.0.0.0:9004 -H fd://
#重启docker
代码语言:javascript复制 systemctl restart docker
#centos开放端口宿主机访问
代码语言:javascript复制firewall-cmd --add-port=9004/tcp --permanent
firewall-cmd --reload
#查询端口是否开启命令
代码语言:javascript复制firewall-cmd --query-port=9004/tcp
#除此之外还可以开机自启动,将firewalld起起来即可,并且允许其自启动
代码语言:javascript复制systemctl start firewalld
systemctl enable firewalld
#浏览器访问,查看docker版本信息
代码语言:javascript复制 http://xx.xx.xx.xx:9004/version
#如果无法访问,重启服务器查看端口
代码语言:javascript复制telnet localhost 9004
#如果不小心删除了/var/lib/docker导致后面拉取镜像时报错open /var/lib/docker/tmp/GetImageBlob974299692: no such file or directory,不用改什么操作,重启docker即可
代码语言:javascript复制sudo systemctl restart docker
三、安装配置gitlab
#gitlab-ce为稳定版本,后面不填写版本则默认pull最新latest版本
代码语言:javascript复制docker pull gitlab/gitlab-ce
#创建gitlab日志,数据,配置的存放路径,通常会在构建容器的时间,会把配置 (etc) 、 日志 (log) 、数据 (data) 放到容器外面,方便后期数据迁移或者修改配置
代码语言:javascript复制sudo mkdir -p /docker/gitlab/config /docker/gitlab/logs /docker/gitlab/data
#构建容器
代码语言:javascript复制sudo docker run --detach
--hostname gitlab
--publish 8011:443
--publish 8012:8012
--publish 8013:22
--privileged=true
--name gitlab
--restart always
--volume /docker/gitlab/config:/etc/gitlab
--volume /docker/gitlab/logs:/var/log/gitlab
--volume /docker/gitlab/data:/var/opt/gitlab
--volume /docker/gitlab/logs/reconfigure:/var/log/gitlab/reconfigure
gitlab/gitlab-ce:latest
#添加配置
代码语言:javascript复制sudo vi /docker/gitlab/config/gitlab.rb
#添加下面3行
代码语言:javascript复制#配置http协议所使用的访问地址,不加端口号默认为80
external_url 'http://xx.xx.xxx.xxx:8012'
#配置ssh协议所使用的访问地址和端口
gitlab_rails['gitlab_ssh_host'] = 'xx.xx.xxx.xxx'
#此端口是run时22端口映射的8013端口
gitlab_rails['gitlab_shell_ssh_port'] = 8013
#保存推出
:wq
#看个人需要,一般而已都会限制内存,也可以在docker启动的时候配置,命令为-m 4G
代码语言:javascript复制docker update --memory 4096m --memory-swap -1 gitlab
#重启gitlab
代码语言:javascript复制docker restart gitlab
#更新授权
代码语言:javascript复制sudo docker exec -it gitlab update-permissions
#进入gitlab容器
代码语言:javascript复制docker exec -it gitlab bash
#重新载入配置文件,并开启
代码语言:javascript复制gitlab-ctl reconfigure
gitlab-ctl start
#查看密码
代码语言:javascript复制gitlab-rails console production
#进入gitlab控制台
代码语言:javascript复制gitlab-rails console -e production
#获得用户数据,修改用户密码
代码语言:javascript复制user = User.where(id: 1).first
user.password='2YkDixw6xJiD/68kCsAZBu9W9ZhGdRlT0YykDYiOvOAE=1'
user.password_confirmation='2YkDixw6xJiD/68kCsAZBu9W9ZhGdRlT0YykDYiOvOAE=1'
user.save!
quit
#重启gitlab需要等待一段时间才能访问,否则会出现502,如果出现502,还有可能是内存不够的原因,建议查看docker容器的gitlab日志
代码语言:javascript复制docker restart gitlab
四、安装配置jekins
一、准备工作
#上传jdk到自定义目录,这里提供jdk1.8的linux版本,从官网拉下来的
链接:https://pan.baidu.com/s/1nAVgmke9RbF8MnXo33S72Q 提取码:mvsq
#查看版本
代码语言:javascript复制java -version
#上传maven到自定义目录,这里提供maven3.8.3的linux版本,从官网拉下来的 链接:https://pan.baidu.com/s/1rC4NsMX5i0669_ONJV3MJA 提取码:ek1p
#查看版本
代码语言:javascript复制mvn -v
#关于git其实可以使用默认的git,进入到容器中通过以下命令进行查看git版本
代码语言:javascript复制git --version
#当前也可以自行安装git,在docker容器启动的时候配置映射路径,并且在/etc/profile的path路径中添加git安装路径即可,可通过以下命令查看git安装路径
代码语言:javascript复制which git
#需要注意的是docker容器每次重新启动,会将容器内部生成的ssh key移除掉,所以我们可以通过映射路径或者复制宿主机的ssh key到容器内部,也可以重新生成然后去到gitlab的ssh key配置。下面的邮箱为你github、gitee或者gitlab登录的邮箱,执行命令之后,连续三次回车即可生成,生成git的ssh key命令:
代码语言:javascript复制ssh-keygen -t rsa -C "java_wxid@aliyun.com"
查询生成的ssh key的路径:
代码语言:javascript复制cd ~/.ssh
#外部配置的jdk和maven需要映射到jenkins容器,所以相关的配置也需要映射进去,所以需要提前在宿主机配置
代码语言:javascript复制vim /etc/profile
#在最后一行添加java环境变量和maven环境变量
代码语言:javascript复制#java环境配置
export JAVA_HOME=/opt/java/jdk
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=./:JAVA_HOME/lib:$JRE_HOME/lib
#maven环境配置
export M2_HOME=/opt/java/maven
#git环境配置
export GIT_HOME=/opt/java/git
#path
export PATH=/bin:/usr/bin:/sbin:/usr/sbin:$JAVA_HOME/bin:$M2_HOME/bin:$GIT_HOME/bin:$PATH
#立即重载配置
代码语言:javascript复制source /etc/profile
#查看版本信息
代码语言:javascript复制mvn -v
二、下载安装配置Jenkins
#下载Jenkins的Docker镜像
代码语言:javascript复制docker pull jenkins/jenkins:lts
#创建jenkins工作目录的存放路径
代码语言:javascript复制sudo mkdir -p /docker/jenkins/data
#在Docker容器中运行Jenkins
代码语言:javascript复制docker run -p 8014:8080 -p 8015:5000 --name jenkins -m 2G
-u root
--restart always
-v /docker/jenkins/data:/var/jenkins_home
-v /etc/localtime:/etc/localtime
-v /usr/local/src/apache-maven-3.8.3:/opt/java/maven
-v /usr/local/src/jdk1.8.0_301:/opt/java/jdk
-v /etc/profile:/etc/profile
-v /root/.ssh/id_rsa:/root/.ssh/id_rsa
-v /var/run/docker.sock:/var/run/docker.sock
-v /bin/docker:/usr/bin/docker
-d jenkins/jenkins:lts
#暂停jenkins
代码语言:javascript复制docker stop jenkins
#看个人需要,一般而已都会限制内存,可以在docker启动命令中配置,配置命令为-m 2G
代码语言:javascript复制docker update --memory 2048m --memory-swap -1 jenkins
#开启jenkins
代码语言:javascript复制docker start jenkins
#进入jenkins容器
代码语言:javascript复制docker exec -u 0 -it jenkins /bin/bash
#立即重载配置
代码语言:javascript复制source /etc/profile
#查看root密码
代码语言:javascript复制cat /var/jenkins_home/secrets/initialAdminPassword
#如果提示cat: /var/jenkins_home/secrets/initialAdminPassword: No such file or directory通过查找文件的方式查看密码
代码语言:javascript复制find / -name config.xml
一般会出现: /var/jenkins_home/users/root_9685925808796613467/config.xml /var/jenkins_home/config.xml 选择用户名相关的文件:
代码语言:javascript复制cat /var/jenkins_home/users/root_9685925808796613467/config.xml
找到passwordHash标签: #jbcrypt:$2a 10 10 10yB8omAzzWpk1oNToWQPIWewpqBKbhJGUU5UDd470yJCN3HVXqCDc6 密码就在#jbcrypt:后面,即
代码语言:javascript复制$2a$10$yB8omAzzWpk1oNToWQPIWewpqBKbhJGUU5UDd470yJCN3HVXqCDc6
我们可以改成:
代码语言:javascript复制$2a$10$DdaWzN64JgUtLdvxWIflcuQu2fgrrMSAMabF5TSrGK5nXitqK9ZMS
即密码:111111 或者
代码语言:javascript复制#jbcrypt:$2a$10$MiIVR0rr/UhQBqT.bBq0QehTiQVqgNpUGyWW2nJObaVAM/2xSQdSq
即密码:123456 使用root用户登录即可
上面那串如何生成的呢?
Jenkins采用Java加密工具jBCrypt,所以我们在生成密码的时候需要添加相关的jar包。
代码语言:javascript复制<dependency>
<groupId>org.mindrot</groupId>
<artifactId>jbcrypt</artifactId>
<version>0.4</version>
</dependency>
代码语言:javascript复制 // 加密
String admin = BCrypt.hashpw("admin", BCrypt.gensalt());
System.out.println("加密:" admin);
// 解密
if(BCrypt.checkpw("admin",admin)){
System.out.println("is match");
} else {
System.out.println("is not match");
}
#如果启动容器的时候未设置开机自启动,也可以通过以下命令配置docker的容器开机自启动:docker update --restart=always 镜像ID
代码语言:javascript复制docker update --restart=always e39a959d7bff
#重启jenkins
代码语言:javascript复制docker restart jenkins
#如果出现jenkins实例已离线的情况,访问以下链接
代码语言:javascript复制http://ip:port/pluginManager/advanced
在Update Site下面替换以下链接
代码语言:javascript复制http://updates.jenkins.io/current/update-center.json
五、jenkins主要的一些配置
#系统配置中配置jdk,maven路径
#全局工具配置,配置jdk,maven,git路径和上面的路径要保持一致
#凭据配置,有些页面无法出来页面,可以通过http://ip:port/credentials/进行访问
#插件看个人需要
#配置时间,脚本命令行中执行
点击进入脚本命令行将以下命令运行即可。
代码语言:javascript复制system.setProperty('org.apache.commons.jelly.tags.fmt.timeZone', 'Asia/Shanghai')
六、项目配置
#创建项目
#配置项目
#编写shell脚本
代码语言:javascript复制#!/bin/bash
# 制定打包模块
arr=(community-starters/community-xxx-starter:8081)
#加前缀
suffix="-"${BUILD_ENV}
#自定义网络
ip_param=''
echo "当前环境"${BUILD_ENV}
#如果执行dev环境,走以下流程
if [ ${BUILD_ENV} == "dev" ];then
# 如果是在本机上安装就使用内网ip,这样速度会快很多,内网ip查询:ifconfig -a
echo 'export DOCKER_HOST="tcp://xxx.17.0.1:8010"'
export DOCKER_HOST="tcp://xxx.17.0.1:8010"
#通过命令docker network create --driver bridge --subnet=xxx.30.0.0/16 common-network创建自定义网段,docker network inspect common-network进行查看,配置的时候,不要以0结尾,如以下配置即可:
ip_param='--ip xxx.30.0.2'
fi
# for 遍历
for mp in ${arr[*]}
do
#截取字符串获得module名称和端口
path=${mp%:*}
module=${path#*/}
#arr中配置了端口:8081
port=${mp#*:}
#arr中配置了,container_name=community-starters/community-xxx-starter-dev
container_name=$module$suffix
#arr中配置了,image_name=community-starters/community-xxx-starter-dev
image_name=$module$suffix
echo "开始构建: "$container_name":"$port
CID=$(docker ps -a | grep "$container_name")
if [ "$CID" != "" ];then
echo "删除现有容器"
docker stop $container_name
docker rm $container_name
fi
echo "移除镜像" : $image_name
docker rmi $image_name
cd $module
echo "当前路径" :$(pwd)
echo "构建容器": $container_name
docker build -t $container_name .
echo "启动容器" : $container_name
docker run --name $container_name --restart=always -d -p 8081:8081 -p 8082:8082-p 8083:8083 -e TZ=Asia/Bangkok -v /root/fragant/logs:/root/logs:z -v /etc/localtime:/etc/localtime:z -e SPRING_PROFILES_ACTIVE=qa -m 2G $image_name
echo "连接容器网络" : $ip_param $container_name
docker network connect $ip_param common-network $container_name
echo "执行完成"
done
内网ip查询
#项目结构
#编写Dockerfile
代码语言:javascript复制FROM openjdk:8-alpine
MAINTAINER community-xx-starter
ADD target/community-xx-starter.jar /community-xx-starter.jar
EXPOSE 8081
ENTRYPOINT ["sh","-c","java -jar -Dspring.profiles.active=qa /community-xx-starter.jar"]
进到服务器检出项目的目录,这个时候项目检出并没有打包成jar包,需要手动打包,命令如下:
代码语言:javascript复制mvn clean install
如果不成功的话可以尝试使用绝对路径进行调整,例如:
代码语言:javascript复制/opt/java/maven/bin/mvn clean install
打包jar包成功之后可以进行自动化部署了
说明:在弄CI流程的时候可能会出现各种问题,比如脚本执行卡住,这个时候可以将脚本中的命令一条条拿到服务器上面执行,排除命令的错误性。比如误删了某个文件,可以进行手动恢复,可参考:Linux系统:第十三章:centos误删文件如何恢复文件数据。比如项目部署成功无法访问,排查项目是否成功运行,对日志进行排查排除项目启动错误导致的无法访问,对网络进行排查排查安全出口和入口等问题。如果觉得jenkins配置太过麻烦,可参考gitlab的CI:Linux系统:第十五章:gitlab集成CI。
博主的心理话:这里还是要吐槽一下,这几天一直在弄二套CI流程(gitlab的ci和jenkins),踩坑无数,目前网络上面太多相同的文章了,搜索出来一页至少超过一半的文章,文章内容一模一样,剩下的就是排版乱的很,看都看不下去的那种,导致找到的解决方法的时间大大延长,希望未来这种环境能够有所改善。
七、jekins迁移到另一台服务器上
#首先本服务器上面的jenkins运行正常,另一台服务器的jenkins也运行正常,需要知道二台服务器上面的安装目录
#找到jenkins_home目录
代码语言:javascript复制find / -name jenkins_home
#解压
代码语言:javascript复制sudo tar czvf jenkins.tar.gz *
#复制压缩包到新服务器上面去,-i "qt_dev_cert.pem"表示访问目标服务器需要携带私钥,qt_dev_cert.pem表示当前目录下的私钥文件,root@xx.xx.xx.xx 表示root用户,xx.xx.xx.xx表示目标服务器的ip,/var/jenkins_home表示复制到那个目录下面。如果是密码登录则换成-p 密码即可。
代码语言:javascript复制scp -p "password" jenkins.tar.gz root@xx.xx.xx.xx:/var/jenkins_home
------------------------------------------------------------------------------------
scp -i "qt_dev_cert.pem" jenkins.tar.gz root@xx.xx.xx.xx:/var/jenkins_home
#去另一台新服务器解压
代码语言:javascript复制tar zxf jenkins.tar.gz
#将解压的文件复制到新服务器的jenkins_home目录里面即可
代码语言:javascript复制cp /var/jenkins_home /home/jenkins_home
总结
以上就是今天要讲的内容,本文介绍了安装Docker,下载安装配置gitlab以及jenkins,图文讲解CI流程。