欢迎访问我的GitHub 这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos 基于Spring Boot框架的应用如何在kubernetes环境部署，是沿用Docker容器的做法还是另有其他？
欢迎访问我的GitHub
这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos
- 基于Spring Boot框架的应用如何在kubernetes环境部署，是沿用Docker容器的做法还是另有其他？接下来咱们从理论到设计再到实战，一起来感受传统后台应用在容器环境的微妙变化；
Spring Boot应用
- 基于Spring Boot框架的应用，通常会构建成XXX.jar文件，执行java -jar XXX.jar来运行该应用；
Docker下的Spring Boot应用镜像
- Docker环境下，通常用Maven的docker-maven-plugin插件将应用打包成镜像，例如以java:8u111-jdk作为基础镜像再加入jar文件，这样容器启动的时候执行java -jar XXX.jar就能将应用运行起来了；
传统思路
寻找官方的理论依据
- 在提到Pod中的sidecar模式时，官方文档用到"relatively advanced"来形容，进一步证实了当下该模式的正确性，如下图：
Spring Boot应用的sidecar设计
- 根据kubernetes官方文档的指导，再结合SpringBoot应用的特点，我设计出的sidecar部署方式如下：
- 该应用的业务服务被封装在一个Pod定义中，该Pod由两个容器组成；
- 绿色容器是来自OpenJDK 官方镜像：openjdk:8u181-jre-alpine3.8，用docker history命令查看体积，几十兆不算大：
[root@localhost work]# docker history openjdk:8u181-jre-alpine3.8
IMAGE CREATED CREATED BY SIZE COMMENT
2e01f547f003 12 days ago /bin/sh -c set -x && apk add --no-cache ... 78.6 MB
<missing> 12 days ago /bin/sh -c #(nop) ENV JAVA_ALPINE_VERSION... 0 B
<missing> 12 days ago /bin/sh -c #(nop) ENV JAVA_VERSION=8u181 0 B
<missing> 7 weeks ago /bin/sh -c #(nop) ENV PATH=/usr/local/sbi... 0 B
<missing> 7 weeks ago /bin/sh -c #(nop) ENV JAVA_HOME=/usr/lib/... 0 B
<missing> 7 weeks ago /bin/sh -c { echo '#!/bin/sh'; echo 's... 87 B
<missing> 7 weeks ago /bin/sh -c #(nop) ENV LANG=C.UTF-8 0 B
<missing> 7 weeks ago /bin/sh -c #(nop) CMD ["/bin/sh"] 0 B
<missing> 7 weeks ago /bin/sh -c #(nop) ADD file:25c10b1d1b41d46... 4.41 MB
- 之所以要用jre-alpine版本，是因为8u181-jdk版本相比之下大了很多，如下所示：
[root@localhost work]# docker history openjdk:8u181-jdk
IMAGE CREATED CREATED BY SIZE COMMENT
954739b8bdfb 7 days ago /bin/sh -c /var/lib/dpkg/info/ca-certifica... 355 kB
<missing> 7 days ago /bin/sh -c set -ex; if [ ! -d /usr/share... 348 MB
<missing> 7 days ago /bin/sh -c #(nop) ENV CA_CERTIFICATES_JAV... 0 B
<missing> 7 days ago /bin/sh -c #(nop) ENV JAVA_DEBIAN_VERSION... 0 B
<missing> 3 weeks ago /bin/sh -c #(nop) ENV JAVA_VERSION=8u181 0 B
<missing> 3 weeks ago /bin/sh -c #(nop) ENV JAVA_HOME=/docker-j... 0 B
<missing> 3 weeks ago /bin/sh -c ln -svT "/usr/lib/jvm/java-8-op... 33 B
<missing> 3 weeks ago /bin/sh -c { echo '#!/bin/sh'; echo 's... 87 B
<missing> 3 weeks ago /bin/sh -c #(nop) ENV LANG=C.UTF-8 0 B
<missing> 3 weeks ago /bin/sh -c apt-get update && apt-get insta... 2.21 MB
<missing> 3 weeks ago /bin/sh -c apt-get update && apt-get insta... 142 MB
<missing> 3 weeks ago /bin/sh -c set -ex; if ! command -v gpg >... 7.8 MB
<missing> 3 weeks ago /bin/sh -c apt-get update && apt-get insta... 23.2 MB
<missing> 3 weeks ago /bin/sh -c #(nop) CMD ["bash"] 0 B
<missing> 3 weeks ago /bin/sh -c #(nop) ADD file:b3598c18dc39584... 101 MB
- 红色容器的镜像是用Spring Boot应用构建出来的，稍后再详细整个过程；
- 在kubernetes环境，这两个容器会挂载同一个Volume，红色容器将jar放在此处，绿色容器使用此处的jar；
- 红色容器用来提供jar，没有进程需要保持运行状态，很适合设置为Init Container类型；
-
绿色容器的java进程是长久运行的；
- 以上就是整体设计思路，接下来咱们就来实战吧，分三步完成：
实战步骤列举
- 本次实战分为以下几部分组成：
- 开发Spring Boot应用；
- 制作Docker镜像，做两个版本，以便验证升级；
- 编写yaml文件；
- 在kubernetes环境部署，验证；
- 升级版本，验证；
环境和版本信息
编译构建的jdk和运行的jre都用1.8版本；
maven：3.3.3；
spring boot：2.1.0.RELEASE；
docker：1.13.1；
kubernetes：1.12.2；
- 本次实战一共有四台CentOS7机器，基本信息如下：
hostname
IP地址
身份
配置
localhost
192.168.119.157
master，主控节点
双核，2G内存
node1
192.168.119.156
node，一号业务节点
双核，4G内存
node2
192.168.119.159
node，二号业务节点
双核，2G内存
maven
192.168.119.155
负责编译构建Spring Boot应用
双核，2G内存
- kubernetes环境由localhost、node1、node2三台机器组成，maven负责编译构建、生成镜像、上传到镜像仓库等操作；
开发Spring Boot应用
名称
链接
备注
项目主页
https://github.com/zq2599/blog_demos
该项目在GitHub上的主页
git仓库地址(https)
https://github.com/zq2599/blog_demos.git
该项目源码的仓库地址，https协议
git仓库地址(ssh)
git@github.com:zq2599/blog_demos.git
该项目源码的仓库地址，ssh协议
- 这个git项目中有多个文件夹，本章源码在springbootsidecardemo这个文件夹下，如下图红框所示：
- 您也可以随本文一起来开发这个应用：
- 应用名为springbootsidecardemo，是用maven构建的，JDK使用1.8，Spring Boot版本2.1.0.RELEASE；
- 应用的pom.xml如下，为了构建Docker镜像使用了docker-maven-plugin插件，该插件具体的配置请参照下面的注释：
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.bolingcavalry</groupId>
<artifactId>springbootsidecardemo</artifactId>
<version>0.0.1</version>
<packaging>jar</packaging>
<name>springbootsidecardemo</name>
<description>Demo project for Spring Boot sidecard demo in K8S</description>
<parent>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-parent</artifactId>
<version>2.1.0.RELEASE</version>
<relativePath/> <!-- lookup parent from repository -->
</parent>
<properties>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
<project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
<java.version>1.8</java.version>
</properties>
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-test</artifactId>
<scope>test</scope>
</dependency>
</dependencies>
<build>
<finalName>app</finalName>
<plugins>
<plugin>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-maven-plugin</artifactId>
</plugin>
<!--新增的docker maven插件-->
<plugin>
<groupId>com.spotify</groupId>
<artifactId>docker-maven-plugin</artifactId>
<version>0.4.12</version>
<!--docker镜像相关的配置信息-->
<configuration>
<!--镜像名，这里用工程名-->
<imageName>bolingcavalry/${project.artifactId}</imageName>
<!--TAG,这里用工程版本号-->
<imageTags>
<imageTag>${project.version}</imageTag>
</imageTags>
<!--镜像的FROM，使用busybox-->
<baseImage>busybox</baseImage>
<!--构建镜像的配置信息-->
<resources>
<resource>
<targetPath>/</targetPath>
<directory>${project.build.directory}</directory>
<include>app.jar</include>
</resource>
</resources>
</configuration>
</plugin>
</plugins>
</build>
</project>
- 上面的配置有一处需要注意，就是基础镜像的选择（就是baseImage节点中的内容），我用了busybox，用它是因为够小，来看docker镜像仓库中的描述，地址是https://hub.docker.com/_/busybox/：
package com.bolingcavalry.springbootsidecardemo.controller;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
import java.util.Date;
/**
* @Description: 一个最普通的Controller，hello接口返回一个字符串并带上当前时间
* @author: willzhao E-mail: zq2599@gmail.com
* @date: 2018/11/6 14:15
*/
@RestController
public class HelloController {
@RequestMapping(value = "/hello")
public String hello(){
return "Hello version 1.0 " + new Date();
}
}
制作应用的Docker镜像
- 请确保您当前环境的maven和Docker都已经OK了；
- 在应用的pom.xml所在目录执行如下命令即可构建Docker镜像：
mvn clean package -U -DskipTests docker:build
[INFO] Building image bolingcavalry/springbootsidecardemo
[INFO] Building image bolingcavalry/springbootsidecardemo
Step 1/2 : FROM busybox
---> 59788edf1f3e
Step 2/2 : ADD /app.jar //
---> 8105c9ac033b
Removing intermediate container fdc62513abf6
Successfully built 8105c9ac033b
[INFO] Built bolingcavalry/springbootsidecardemo
[INFO] Tagging bolingcavalry/springbootsidecardemo with 0.0.1
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 5.354 s
[INFO] Finished at: 2018-11-06T05:07:08-08:00
[INFO] Final Memory: 42M/225M
[INFO] ------------------------------------------------------------------------
- 构建成功后用docker history命令查看镜像，如下，三个layer组成：
root@maven:~# docker history bolingcavalry/springbootsidecardemo:0.0.1
IMAGE CREATED CREATED BY SIZE COMMENT
8105c9ac033b 46 minutes ago /bin/sh -c #(nop) ADD file:909ca8e9c8898cd... 16.6 MB
59788edf1f3e 4 weeks ago /bin/sh -c #(nop) CMD ["sh"] 0 B
<missing> 4 weeks ago /bin/sh -c #(nop) ADD file:63eebd629a5f755... 1.15 MB
- 去工程的target目录下看看构建的app.jar文件，如下所示，也是16兆，所以这个镜像已经被做到最小了，相对于以前那种JAVA环境+jar文件的镜像，这个镜像更易于下载和上传：
root@maven:/usr/local/work/github/blog_demos/springbootsidecardemo/target# ls -al
total 16276
drwxr-xr-x 9 root root 4096 Nov 6 05:08 .
drwxr-xr-x 5 root root 4096 Nov 6 05:29 ..
-rw-r--r-- 1 root root 16621351 Nov 6 05:08 app.jar
-rw-r--r-- 1 root root 4432 Nov 6 05:08 app.jar.original
drwxr-xr-x 3 root root 4096 Nov 6 05:08 classes
drwxr-xr-x 2 root root 4096 Nov 6 05:08 docker
drwxr-xr-x 3 root root 4096 Nov 6 05:08 generated-sources
drwxr-xr-x 3 root root 4096 Nov 6 05:08 generated-test-sources
drwxr-xr-x 2 root root 4096 Nov 6 05:08 maven-archiver
drwxr-xr-x 3 root root 4096 Nov 6 05:08 maven-status
drwxr-xr-x 3 root root 4096 Nov 6 05:08 test-classes
#将镜像导出为tar文件
docker save 2e01f547f003 > 1.tar
###将tar文件还原为镜像
docker load < 1.tar
###还原后的镜像的名称和tag都不对，要用tag命令来设置
docker tag 8105c9ac033b bolingcavalry/springbootsidecardemo:0.0.1
制作应用升级版的Docker镜像
- 为了验证K8S下的应用升级，做好tag为0.0.1的镜像之后，我们改动应用代码，把pom.xml中的版本改成0.0.2，然后再做个镜像，这样稍后在K8S就能验证Pod升级了；
- 修改HelloController.java的源码，hello方法返回的字符串，之前是Hello version 1.0，现在改成Hello version 2.0；
- 修改pom.xml中的version节点，之前是0.0.1，现在改成0.0.2，由于我们已配置了镜像tag就是工程版本，因此新构建的镜像tag会是0.0.2；
- 再次执行maven命令构建，然后推送到镜像仓库；
- 此时我们有两个镜像了：
root@maven:~# docker images | grep sidecar
bolingcavalry/springbootsidecardemo 0.0.2 f6ba01c33388 11 hours ago 17.8 MB
bolingcavalry/springbootsidecardemo 0.0.1 8105c9ac033b 11 hours ago 17.8 MB
- 现在镜像已经OK，该准备部署到kubernetes环境了；
编写yaml文件
- 在可以执行kubectl命令的机器上编写配置文件，Pod的配置javaweb-deploy.yaml文件内容如下：
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
name: javaweb
spec:
replicas: 1
template:
metadata:
labels:
name: javaweb
spec:
initContainers:
- image: bolingcavalry/springbootsidecardemo:0.0.1
name: appjar
command: ["cp", "/app.jar", "/app"]
volumeMounts:
- mountPath: /app
name: app-volume
containers:
- image: openjdk:8u181-jre-alpine3.8
name: openjdk8u181
command: ["java","-jar","/webapp/app.jar"]
volumeMounts:
- mountPath: /webapp
name: app-volume
ports:
- containerPort: 8080
volumes:
- name: app-volume
emptyDir: {}
apiVersion: v1
kind: Service
metadata:
name: javaweb
spec:
type: NodePort
ports:
- port: 8080
nodePort: 30008
selector:
name: javaweb
- 启动pod和service，在前面的yaml文件所在目录执行命令如下：
kubectl create -f javaweb-deploy.yaml \
&& kubectl create -f javaweb-svc.yaml
- service的类型是NodePort，因此可以通过Node节点的IP地址访问服务，我这边Node地址为192.168.119.159，因此访问地址就是：http://192.168.119.159:30008/hello ，在浏览器访问返回如下内容：
- 符合预期，证明主容器加sidecar容器的组合方式是可以正常工作的，接下来试试升级；
升级版本
- 接下来模拟生产环境的应用升级，前面准好了两个版本的应用镜像：0.0.1和0.0.2，现在K8S环境运行的是0.0.1，咱们将其升级为0.0.2：
- 修改javaweb-deploy.yaml文件中镜像的tag，从0.0.1改成0.0.2，如下图红框所示：
- 在javaweb-deploy.yaml文件所在目录执行如下命令即可完成升级：
kubectl apply -f javaweb-deploy.yaml
- 在浏览器访问http://192.168.119.159:30008/hello，返回如下内容，可见的确是修改后的应用逻辑：
小结
参考文档
欢迎关注51CTO博客：程序员欣宸
学习路上，你不孤单，欣宸原创一路相伴...
