Kubernetes中spinnaker的使用一

2021-11-15 08:15:31 浏览数 (1)

背景：

spinnaker 1.26.6 on kubernetes，现在想到的做的跟jenkins流水线联动（添加多个jenkins环境配置）and 多kubernetes集群配置。

spinnaker Automated Triggers（触发器）

jenkins Trigger 触发器

关于jenkins的配置-spinnaker-nginx-demo

image.pngimage.png
image.pngimage.png

pipeline

关键词：

代码语言：txt复制
//Docker 镜像仓库信息
registryServer = "harbor.xxx.com"
projectName = "${JOB_NAME}".split('-')[0]
repoName = "${JOB_NAME}"
imageName = "${registryServer}/${projectName}/${repoName}"

//pipeline
pipeline{
    agent { node { label "build01"}}


  //设置构建触发器
	triggers {
  		GenericTrigger( causeString: 'Generic Cause', 
						genericVariables: [[defaultValue: '', key: 'branchName', regexpFilter: '', value: '$.ref']], 		
						printContributedVariables: true, 
						printPostContent: true, 
						regexpFilterExpression: '', 
						regexpFilterText: '', 
						silentResponse: true, 
						token: 'spinnaker-nginx-demo')
	}


    stages{
        stage("CheckOut"){
            steps{
                script{
          					srcUrl = "https://gitlab.xxxx.com/xxxx/spinnaker-nginx-demo.git"
          					branchName = branchName - "refs/heads/"
          					currentBuild.description = "Trigger by ${branchName}"
                    println("${branchName}")
                    checkout([$class: 'GitSCM', 
                              branches: [[name: "${branchName}"]], 
                              doGenerateSubmoduleConfigurations: false, 
                              extensions: [], 
                              submoduleCfg: [], 
                              userRemoteConfigs: [[credentialsId: 'gitlab-admin-user',
                                                   url: "${srcUrl}"]]])
                }
            }
        }

        stage("Push Image "){
            steps{
                script{
                    withCredentials([usernamePassword(credentialsId: 'harbor-admin-user', passwordVariable: 'password', usernameVariable: 'username')]) {

                        sh """
                           sed -i -- "s/VER/${branchName}/g" app/index.html
                           docker login -u ${username} -p ${password} ${registryServer}
                           docker build -t ${imageName}:${branchName}  .
                           docker push ${imageName}:${branchName}
                           docker rmi ${imageName}:${branchName}

                        """
                    }
                }
            }
        }

        stage("Trigger File"){
            steps {
                script{
                    sh """
                        echo IMAGE=${imageName}:${branchName} >trigger.properties
                        echo ACTION=DEPLOY >> trigger.properties
                        cat trigger.properties
                    """
                    archiveArtifacts allowEmptyArchive: true, artifacts: 'trigger.properties', followSymlinks: false
                }
            }
        }

    }
}

关于gitlab的配置

仓库copy自https://github.com/spinnakerusers/spinnaker-nginx-demo.git

image.pngimage.png

spinnaker中的配置：

创建application

创建一个abcd的应用 授权yunweizu 读写可执行权限。devops组可读权限

image.pngimage.png
创建pepiline-zhangpeng
image.pngimage.png
image.pngimage.png
至于webhook-stage
image.pngimage.png

个人无聊做了一个微笑机器人发送构建信息的：

企业微信群聊中搞了一个微笑机器人如下：

image.pngimage.png

Payload（可以自定义）

代码语言：txt复制
{
  "msgtype": "text",
  "text": {
    "content": "流水线 ${execution['name']}运行中, 运行用户 ${execution['trigger']['user']}"
  }
}
image.pngimage.png
gitlab触发一下构建：

随便编辑一下git仓库里面的任一一个文件

image.pngimage.png
image.pngimage.png

点击webhoo 编辑查看触发状况

image.pngimage.png
image.pngimage.png

jenkins中查看

jenkins中构建标签为68

image.pngimage.png

spinnaker构建发送通知感觉有点慢.....完了三分钟才收到构建信息

image.pngimage.png
image.pngimage.png

关于邮件的报警Notifications

halyard容器中：

qq邮箱 先生成密码

代码语言：txt复制
bash-5.0$ pwd
/home/spinnaker/.hal/default/profiles
bash-5.0$ cat echo-local.yml 
mail:
  enabled: true
  from: xxxx@qq.com
spring:
  mail:
    host: smtp.qq.com
    username: xxxx@qq.com
    password: xxxxxx
    protocol: smtp
    default-encoding: utf-8
    properties:
      mail:
        display:
          sendname: SpinnakerAdmin
        smtp:
          port: 465
          auth: true
          starttls:
            enable: true
            required: true
          ssl:
            enable: true
        transport:
          protocol: smtp
        debug: true
image.pngimage.png
代码语言：txt复制
bash-5.0$ pwd
/home/spinnaker/.hal/default/profiles
bash-5.0$ cat settings-local.js 
window.spinnakerSettings.feature.managedServiceAccounts = true;
window.spinnakerSettings.notifications.email.enabled = true;
bash-5.0$ hal deploy apply --no-validate
image.pngimage.png
image.pngimage.png

就可以收到邮件notification了

Webhook tigger 触发器

创建pipeline-zhangpeng1

image.pngimage.png

curl触发测试

代码语言：txt复制
curl https://xxx.xxx.com/webhooks/webhook/zhangpeng1 -X POST
image.pngimage.png

触发成功

image.pngimage.png

注：这里没有加邮件或者stage webhook的微信提醒

Git Tigger 触发器

创建pipeline zhangpeng2

image.pngimage.png

git仓库修改文件触发

webhook stage依然是触发微信机器人的步骤，现在在gitlab仓库中master分支修改一个文件

image.pngimage.png

注：这里没有使用spinnaker-nginx-demo仓库，如果使用spinnaker-nginx-demo仓库应该触发zhangpeng and zhangpeng2 pipeline！

触发成功

image.pngimage.png

Docker Registry tigger 触发器

这里使用了harbor就直接用harbor触发了。

但是出现了一个问题： 在Kubernetes搭建spinnaker服务中。我harbor用户使用了zhangpeng,but这个用户不是管理员，只是几个项目的管理者！这样是不可以的。用户应该是管理员。就因为权限问题我这这里尝试失败了好几次。

创建pipeline-zhangpeng3

image.pngimage.png

上传镜像到harbor

image.pngimage.png

验证触发成功

image.pngimage.png

当然了还可以手动触发看一下：

image.pngimage.png

第一条kubernetes下的流水线

创建一个project-demo

image.pngimage.png

这里可以看到我的custers account 不是默认的default了。很简单的操作：config文件中修改了acclounts中的name还有primaryAccount然后hal deploy apply --no-validate

image.pngimage.png

创建application-spinnaker-nginx-demo

依旧是创建application的流程并设置权限！

image.pngimage.png

创建pipelines-spinnaker-nginx-demo

image.pngimage.png

Manifest如下：

代码语言：txt复制
apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    k8s-app: nginxdemo
  name: nginxdemo
  namespace: dev
spec:
  replicas: 1
  selector:
    matchLabels:
      k8s-app: nginxdemo
  template:
    metadata:
      labels:
        k8s-app: nginxdemo
      name: nginxdemo
      namespace: dev
    spec:
      containers:
        - image: 'harbor.layame.com/spinnaker/spinnaker-nginx-demo:1.2.4'
          imagePullPolicy: Always
          name: nginxdemo
          ports:
            - containerPort: 80
              name: web
              protocol: TCP
      imagePullSecrets:
        - name: harbor-xxx

running

正常的运行应该会跟下面一样报错：

image.pngimage.png

应该是orca服务报错的。忘了哪一个截图的了

70e316613673ceeba058d3d5c84a409.png70e316613673ceeba058d3d5c84a409.png

然后就：

cat cluster1.yaml

代码语言：txt复制
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: spinnaker-namespaces-admin-role
rules:
- apiGroups:
  - ""
  resources:
  - namespaces
  - namespaces/status
  verbs:
  - create
  - get
  - list
  - watch
  - update
  - patch
  - delete
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: spinnaker-namespaces-binding
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: spinnaker-namespaces-admin-role
subjects:
- kind: ServiceAccount
  name: default
  namespace: spinnaker
代码语言：txt复制
kubectl apply -f cluster1.yaml

没有报错了。但是依然部署不成功！我的k8s config有问题？

代码语言：txt复制
CONTEXT=$(kubectl config current-context)

hal config provider kubernetes account add my-k8s-account 
    --context $CONTEXT
image.pngimage.png
image.pngimage.png

看了一眼 my-k8s-account配置多了一个kubeconfigFile！

image.pngimage.png

照着layabox的 serviceaccount配置修改一下

image.pngimage.png
代码语言：txt复制
hal deploy apply --no-validate

等待pod重建完成退出spinnaker web控制台刷新缓存重新登陆！打开application-spinnaker-nginx-demo-pipelines-configure-spinnaker-nginx-demo

image.pngimage.png

修改account为my-k8s-account 并保存配置save changes。

image.pngimage.png

重新run一遍流水线

image.pngimage.png
image.pngimage.png

running 的时间忽略 harbor的仓库的key我写错了没有拉下来镜像！

还有一个问题。应该小伙伴们stage输入中文保存后都是乱码！这里在halyard配置：

/home/spinnaker/.hal/default/profiles目录下的有sql相关配置增加了?useSSL=false&useUnicode=true&characterEncoding=utf8

image.pngimage.png

我是把有sql相关配置的应用都添加了这个配置！

简单的第一步吧这算是。后续进行更深入的玩法！

总结一下：

  • habor or docker registry用户要为管理员
  • kubernetes的key可能会没有权限根据我上面的文件搞一下。如果有namespace权限的 官网找一下clusterrole ClusterRoleBinding的配置
  • 如果支持中文记得数据库配置增加?useSSL=false&useUnicode=true&characterEncoding=utf8
  • 用户组的权限...嗯这个可以自己玩各种尝试了
  • 添加多个jenkins harbor kubernetes集群的配置...可以看配置文件进行复制修改
kubernetes cci持续集成

0 人点赞