2. 程式人生 > >K8S集群中部署jenkins

K8S集群中部署jenkins

阿新 • • 發佈：2018-08-14
reclaim 創建 policy 同時 rules mage 開始 sta f2c

本文介紹在k8s環境中進行jenkins server的部署和配置。Jenkins是一個開源的、功能強大的持續集成和持續構建工具，采用master和salve架構，我們通過將jenkins集成環境部署在k8s集群中，可以實現jenkins slave按需創建、動態的伸縮。同時也提供了在k8s環境中應用的持續部署解決方案。

一、準備docker鏡像文件

1、編譯jenkins server docker鏡像，默認的jenkis鏡像已包含jdk，版本為1.8.0_171

# cat dockerfile
FROM jenkins
MAINTAINER [email protected]
ENV MAVEN_HOME /usr/local/maven
ENV JAVA_HOME  /usr/local/java
ENV CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
ENV PATH ${JAVA_HOME}/bin:${MAVEN_HOME}/bin:${PATH}

COPY apache-maven-3.5.4 /usr/local/maven
USER root
RUN mkdir -p /usr/local/maven/repository  &&  ln -s /usr/java/jdk1.8.0_171 /usr/local/java
 
# docker build -t harbor.59iedu.com/fjhb/jenkins:2018-08-12-v1 . 
# docker push harbor.59iedu.com/fjhb/jenkins:2018-08-12-v1

技術分享圖片
2、編譯jenkins slave鏡像
可以根據實際情況配置maven內網私服nexus，私服可以避免編譯過程中通過公網下載依賴的jar包，配置私服需要把對應的setting.xml文件打包到apache-maven-3.5.4/conf目錄下；
libltdl.so.7文件的獲取路徑為操作系統路徑/usr/lib64/libltdl.so.7（實際上是個軟鏈接，需要copy出來重命名）

slave.jar文件的獲取路徑為http://jenkins-server/jnlpJars/slave.jar

# cat Dockerfile
FROM openshift/base-centos7
MAINTAINER [email protected]
COPY apache-maven-3.5.4 /usr/local/maven
COPY jdk1.8.0_171       /usr/local/java
COPY kubectl            /usr/local/bin/kubectl
COPY libltdl.so.7 /usr/lib64/libltdl.so.7
COPY slave.jar /usr/share/jenkins/slave.jar 
COPY jenkins-slave /usr/local/bin/jenkins-slave

ENV HOME /home/jenkins
ENV AGENT_WORKDIR=/home/jenkins/agent
ENV JAVA_HOME /usr/local/java
ENV MAVEN_HOME /usr/local/maven/
ENV CLASSPATH .:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
ENV PATH ${JAVA_HOME}/bin:${MAVEN_HOME}/bin:${PATH} 
ENV MAVEN_CONFIG "$USER_HOME_DIR/.m2"

RUN  chmod 755 /usr/share/jenkins   && chmod 644 /usr/share/jenkins/slave.jar 

RUN mkdir -p /home/jenkins/.jenkins  && mkdir -p ${AGENT_WORKDIR}  && yum -y install git subversion sshpass

VOLUME /home/jenkins/.jenkins
VOLUME ${AGENT_WORKDIR}
WORKDIR /home/jenkins

USER root
ENTRYPOINT ["jenkins-slave"]
 
# docker build -t harbor.59iedu.com/fjhb/jenkins-slave-toolkit:2018-08-10-v1 . 
# docker push harbor.59iedu.com/fjhb/jenkins-slave-toolkit:2018-08-10-v1

技術分享圖片

二、創建jenkins server

1、創建pv和pvc

# cat pv.yaml 
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: jenkins-master-vol
spec:
  capacity:
    storage: 5Gi 
  accessModes:
  - ReadWriteMany 
  nfs: 
    path: /home/jenkins
    server: 192.168.115.6
  persistentVolumeReclaimPolicy: Recycle 
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: maven-repository
spec:
  capacity:
    storage: 5Gi
  accessModes:
  - ReadWriteMany
  nfs:
    path: /home/maven
    server: 192.168.115.6
  persistentVolumeReclaimPolicy: Recycle

---
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: jenkins-master-claim
spec:
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 5Gi

---
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: maven-repository-claim
spec:
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 5Gi

2、創建deployment和service

# cat deploy.yaml 
---
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: jenkins-master
spec:
  template:
    metadata:
      labels:
        name: jenkins-master
    spec:
      securityContext:
        fsGroup: 1000
      containers:
        - name: jenkins-master
          image: harbor.59iedu.com/fjhb/jenkins:2018-08-12-v1
          imagePullPolicy: Always
          ports:
            - containerPort: 8080
              name: http
            - containerPort: 50000
              name: agent
          volumeMounts:
            - name: jenkins-master-vol
              mountPath: /var/jenkins_home
            - name: maven-repository
              mountPath: /opt/maven/repository
            - name: docker
              mountPath: /usr/bin/docker
            - name: docker-sock
              mountPath: /var/run/docker.sock
      volumes:
        - name: jenkins-master-vol
          persistentVolumeClaim:
            claimName: jenkins-master-claim
        - name: maven-repository
          persistentVolumeClaim:
            claimName: maven-repository-claim
        - name: docker
          hostPath:
            path: /usr/bin/docker
        - name: docker-sock
          hostPath:
            path: /var/run/docker.sock
      serviceAccount: "jenkins-master"
      imagePullSecrets:
        - name: harborsecret

---
apiVersion: v1
kind: Service
metadata:
  name: jenkins-master
spec:
  type: NodePort
  ports:
    - port: 8080
      name: http
      targetPort: 8080
      nodePort: 8452
    - port: 50000
      name: agent
      nodePort: 50000
      targetPort: 50000 
  selector:
    name: jenkins-master

3、rbac授權

# cat sa.yaml 
---
apiVersion: v1
kind: ServiceAccount
metadata:
  name: jenkins-master
  namespace: default

---
kind: Role
apiVersion: rbac.authorization.k8s.io/v1beta1
metadata:
  name: jenkins-master

rules:
- apiGroups: [""]
  resources: ["pods"]
  verbs: ["create","delete","get","list","patch","update","watch"]
- apiGroups: [""]
  resources: ["pods/exec"]
  verbs: ["create","delete","get","list","patch","update","watch"]
- apiGroups: [""]
  resources: ["pods/log"]
  verbs: ["get","list","watch"]
- apiGroups: [""]
  resources: ["secrets"]
  verbs: ["get"]

---
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: RoleBinding
metadata:
  name: jenkins-master

roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: Role
  name: jenkins-master
subjects:
- kind: ServiceAccount
  name: jenkins-master
  namespace: default

4、default sa的rbac授權

# cat default-sa.yaml 
---
kind: Role
apiVersion: rbac.authorization.k8s.io/v1beta1
metadata:
  name: default-role

rules:
- apiGroups: [""]
  resources: ["pods"]
  verbs: ["create","delete","get","list","patch","update","watch"]
- apiGroups: [""]
  resources: ["pods/exec"]
  verbs: ["create","delete","get","list","patch","update","watch"]
- apiGroups: [""]
  resources: ["pods/log"]
  verbs: ["get","list","watch"]
- apiGroups: [""]
  resources: ["secrets"]
  verbs: ["get"]

---
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: RoleBinding
metadata:
  name: default-rolebinding

roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: Role
  name: default-role 
subjects:
- kind: ServiceAccount
  name: default
  namespace: default

技術分享圖片
技術分享圖片

三、初始化jenkins server

1、通過秘鑰解鎖jenkins（本文為了方便局域網其他主機訪問，在vmware上配置了nat規則）
技術分享圖片
2、配置代理
技術分享圖片
技術分享圖片
3、安裝插件
技術分享圖片
技術分享圖片
4、創建管理員賬號
技術分享圖片

四、配置jenkins server

1、系統管理 —— 系統設置 —— 新增一個雲”kubernetes”
技術分享圖片
Kubernetes URL: 輸入api-server的地址
Jenkins URL: 輸入jenkins server的服務名,端口8080
Jenkins Tunnel: 指的是slave連接master的端口，默認是50000
技術分享圖片
上圖pod的模板名稱為jenkins-slave，Container的模板名稱為jnlp。這裏有非常重要的兩點要註意：
當Container的模板名稱為jnlp的時候，jenkins-slave才會使用下面配置的docker鏡像來啟動pod，如果不為jnlp，則會使用默認的鏡像jenkins/jnlp-slave:alpine

當使用自定義的docker鏡像來啟動jenkins slave pod的時候，下面的command to run（默認值是 sh -c）和arguments to pass to the command(默認值是cat)兩個值需要清空。否則會出現jenkins slave jnlp連接不上master的情況，嘗試100次連接之後銷毀pod，然後再創建一個pod繼續嘗試連接，無限循環。

2、系統管理 —— Configure Global Security
確認jnlp agent的端口默認為50000，如果有修改，要保障這裏的配置及前面部署deployment、service的端口配置、前文的雲環境Jenkins Tunnel設置保持一致
技術分享圖片

3、系統管理 —— Global Tool Configuration
在這裏設置對應的工具及環境變量，為了避免不必要的問題，前面通過dockerfile把jenkins server 和jenkins slave的環境變量調整成一致, java目錄通過軟連接的方式實現。
技術分享圖片
技術分享圖片

4、系統管理 —— 管理插件
推薦安裝的幾個插件：maven、 gitlab 、subversion、pipeline、Kubernetes Continuous Deploy、Publish Over SSH
技術分享圖片
完成插件安裝後需要對jenkins server進行重啟操作，可以點擊“系統管理 ”——“準備關機”來完成重啟操作，至此我們就完成了jenkins server在k8s環境中的部署和配置工作，下文開始介紹使用jenkins完成項目構建和發布。

K8S集群中部署jenkins

相關推薦

K8S集群中部署jenkins

reclaim 創建 policy 同時 rules mage 開始 sta f2c 本文介紹在k8s環境中進行jenkins server的部署和配置。Jenkins是一個開源的、功能強大的持續集成和持續構建工具，采用master和salve架構，我們通過將jenkins

同一個Docker swarm集群中部署多版本的測試環境

創建 ocs 集群管理 contain eight master reat ons 模式 先介紹下用到的技術 Docker swarm： Docker官方的集群管理工具，相比kubernetes更加簡單，容易入門。https://docs.docker.com/eng

在kubernetes集群中部署mysql主從

-c git node watermark fff tar 配置連接 top c-s 本文介紹在kubernetes環境中部署mysql主從集群，數據持久化采用nfs。 一、環境介紹Mysql版本：5.7 Mysql master節點： 主機名：vm1IP地址：192.16

在kubernetes集群中部署php應用

支持 gis serve php-fpm nginx配置 map metadata dfa aml 本文將介紹在kubernetes環境中部署一套php應用系統。前端web采用nginx、中間件php以fastcgi的方式運行，後臺數據庫由mysql主從提供支撐。各服務組件

K8S集群中使用Helm管理應用分發

信息 -name -- sha manifest blog man 許可 依賴 本文介紹在k8s上部署和使用helm。Helm是Kubernetes的一個包管理工具，用來簡化Kubernetes應用的部署和管理。可以把Helm比作CentOS的yum工具。 通過使用使用He

修改marathon源碼後，如何編譯，部署到集群中？

mesos、 marathon首先，marathon源碼是由scala語言編寫，由sbt進行項目構建的；與spark不同，spark是由maven進行項目構建；方案一：使用intellij idea導入marathon源碼【目前不可行】A、使用intellij idea導入marathon源碼B、更新源碼C、

centos 7 部署k8s集群

指定 end update flannel cluster firewall clust /etc/ centos 前期準備 systemctl stop firewalldsystemctl disable firewalld yum -y install ntp sys

Kubernetes(K8S)集群管理Docker容器（部署篇）

kubernetes k8s今天這篇文章教給大家如何快速部署一套Kubernetes集群。K8S集群部署有幾種方式：kubeadm、minikube和二進制包。前兩者屬於自動部署，簡化部署操作，我們這裏強烈推薦初學者使用二進制包部署，因為自動部署屏蔽了很多細節，使得對各個模塊感知很少，非常不利用學習。所以，這

使用kubeadm部署k8s集群09-配置worker節點

status gist iyu file epo discover use rep x86 使用kubeadm部署k8s集群09-配置worker節點 2018/1/4 配置 worker 節點 初始化 加入集群 切換 worker 節點連接到 apiserver 的 L

使用kubeadm部署k8s集群03-擴容kube-apiserver到3節點

sage back exp issue 重新 man ble sub 證書 使用kubeadm部署k8s集群03-擴容kube-apiserver到3節點 2018/1/3 擴容 kube-apiserver 到 3 節點 配置 kube-apiserver.yaml 分

使用kubeadm部署k8s集群07-擴容kube-scheduler到3節點

同步 all 配置 啟動 uber manifest 操作 schedule esp 使用kubeadm部署k8s集群07-擴容kube-scheduler到3節點 2018/1/4 擴容 kube-scheduler 到 3 節點 連接到本節點的 apiserver

使用kubeadm部署k8s集群01-初始化

org state ces docker mes mos per 系統 來安 使用kubeadm部署k8s集群01-初始化 2018/1/3 節點配置 master x3 OS version: centos7 swapoff ### 阿裏雲默認：off hosts

使用kubeadm部署k8s集群02-配置etcd高可用

手動 通過 git fix 功能 部署 let tar spec 使用kubeadm部署k8s集群02-配置etcd高可用 2018/1/4 配置 etcd 高可用 新建一個 2 節點的 etcd cluster 查看 etcd 的狀態 遷移原來 master 節點上的

使用kubeadm部署k8s集群04-配置kubelet訪問kube-apiserver

apiserver let -s system users sed net -i sys 使用kubeadm部署k8s集群04-配置kubelet訪問kube-apiserver 2018/1/4 配置 kubelet 訪問 kube-apiserver 切換 maste

使用kubeadm部署k8s集群06-擴容kube-controller-manager到3節點

sed account 同步 config 修改配置 ont etc Language serve 使用kubeadm部署k8s集群06-擴容kube-controller-manager到3節點 2018/1/3 擴容 kube-controller-manager 到

再探使用kubeadm部署高可用的k8s集群-01引言

data- mode etcd [1] working -s device master 基本 再探使用kubeadm部署高可用的k8s集群-01引言 2018/1/26 提示 僅供測試用途前言：高可用一直是重要的話題，需要持續研究。最近關註到 k8s 官網文檔有更新，其中

使用kubeadm部署k8s集群00-緩存gcr.io鏡像

命名空間 sin sid ont -m images env reference sched 使用kubeadm部署k8s集群00-緩存gcr.io鏡像 2018/2/7 原因：kubeadm init 時，需要下載一些鏡像，但國內網絡原因，大家懂的，不容易下載，此時，只

centos7 k8s集群部署

k8s 集群部署 安裝k8s集群前期準備：網絡環境：節點 主機名 ipMaster k8s_master 192.168.3.216Node1 k8s_node1 192.168.3

使用Helm 在容器服務k8s集群一鍵部署wordpress

架構摘要： Helm 是啥? 微服務和容器化給復雜應用部署與管理帶來了極大的挑戰。Helm是目前Kubernetes服務編排領域的唯一開源子項目，做為Kubernetes應用的一個包管理工具，可理解為Kubernetes的apt-get / yum，由Deis 公司發起，該公司已經被微軟收購。 Helm 是啥

使用kubeadm部署k8s集群00-緩存rpm包

k8s yum rpm 使用kubeadm部署k8s集群00-緩存rpm包 2018/4/12 鑒於部分童鞋不知道如何緩存 rpm 包到本地，本文作為簡單指導 下述操作在國外節點上操作 使用官方 yum 源 # mkdir k8s_rpms && cd k8s_rpms # c