使用Spring Boot Operator将Spring Boot部署到Kubernetes

共 11084字,需浏览 23分钟

 ·

2020-12-10 02:58


前言


在Kubernetes中部署Spring Boot应用整体上来说是一件比较繁琐的事情,而Spring Boot Operator[1]则能带给你清爽简单的体验。

Spring Boot Operator基于Kubernetes的Custom Resource Definitions(CRDs)扩展API进行的开发。

打包Docker镜像

在讲部署之前我们需要先将我们的Spring Boot应用打包成标准的DockerImage。

Java项目打包镜像用Maven/Gradle插件比较多,我的另一篇文章构建Spring Boot的Docker镜像[2]有介绍,这里再介绍一个新的Google开源的插件Jib,该插件使用起来比较方便。

注意:Jib打包的镜像会导致Java应用的pid=1,在使用Spring Boot Operator进行发布时候,Operator会设置Kubernetes的ShareProcessNamespace参数为true(v1.10+版本都可使用)来解决该问题。

下面就来演示一下,我们通过https://start.spring.io生成一个标准的Spring Boot项目operator-demo,然后使用Jib插件进行镜像打包。

  1. mvn com.google.cloud.tools:jib-maven-plugin:build \

  2. -Djib.to.auth.username=${{ secrets.MY_USERNAME }} \

  3. -Djib.to.auth.password=${{ secrets.MY_PASSWORD }} \

  4. -Djib.container.jvmFlags=--add-opens,java.base/sun.nio.ch=ALL-UNNAMED \

  5. -Djib.from.image=freemanliu/oprenjre:11.0.5 \

  6. -Dimage=registry.cn-shanghai.aliyuncs.com/qingmuio/operator-demo/operator-demo:v1.0.0


执行上面的命令之后我们将得到一个标准的Docker镜像,该镜像会被推送到远程仓库。

Operator快速体验

完成了镜像的构建之后,我们紧接着来安装我们的Operator到Kubernetes集群。

快速安装

此处快速安装只是为了快速体验demo。

  1. kubectl apply -f https://raw.githubusercontent.com/goudai/spring-boot-operator/master/manifests/deployment.yaml


apply成功之后控制台输出。

  1. namespace/spring-boot-operator-system created

  2. customresourcedefinition.apiextensions.k8s.io/springbootapplications.springboot.qingmu.io created

  3. role.rbac.authorization.k8s.io/spring-boot-operator-leader-election-role created

  4. clusterrole.rbac.authorization.k8s.io/spring-boot-operator-manager-role created

  5. clusterrole.rbac.authorization.k8s.io/spring-boot-operator-proxy-role created

  6. clusterrole.rbac.authorization.k8s.io/spring-boot-operator-metrics-reader created

  7. rolebinding.rbac.authorization.k8s.io/spring-boot-operator-leader-election-rolebinding created

  8. clusterrolebinding.rbac.authorization.k8s.io/spring-boot-operator-manager-rolebinding created

  9. clusterrolebinding.rbac.authorization.k8s.io/spring-boot-operator-proxy-rolebinding created

  10. service/spring-boot-operator-controller-manager-metrics-service created

  11. deployment.apps/spring-boot-operator-controller-manager created


稍等片刻查看是否已经安装成功。

  1. kubectl get po -n spring-boot-operator-system


成功如下输出:

  1. NAME READY STATUS RESTARTS AGE

  2. spring-boot-operator-controller-manager-7f498596bb-wcwtn 2/2 Running 0 2m15s


部署OperatorDemo应用:

完成了Operator的部署之后,我们来部署我们第一个应用,这里我们就发布上面我们编写的Spring Boot应用opreator-demo。

首先我们需要先编写一个Spring Boot Application 的CRD部署yaml,如下。

  1. # Demo.yaml

  2. apiVersion: springboot.qingmu.io/v1alpha1

  3. kind: SpringBootApplication

  4. metadata:

  5. name: operator-demo

  6. spec:

  7. springBoot:

  8. version: v1.0.0

  9. # image: registry.cn-shanghai.aliyuncs.com/qingmuio/operator-demo/operator-demo:v1.0.0


细心的同学可能发现了,为啥连Image都没有?这怎么发布,就name,version,就能完成发布?是的没错!就能完成发布,后面我讲详细讲到他是如何完成的。

接着我们apply一下。

  1. kubectl apply -f Demo.yaml


看到Console输出。

  1. springbootapplication.springboot.qingmu.io/operator-demo created


验证:

表示创建成功了,接着我们来看下我们部署的第一个应用,这里我们直接用上面的yaml中的name过滤即可。

查看Pod。

  1. ~# kubectl get po | grep operator-demo

  2. operator-demo-7574f4789c-mg58m 1/1 Running 0 76s

  3. operator-demo-7574f4789c-ssr8v 1/1 Running 0 76s

  4. operator-demo-7574f4789c-sznww 1/1 Running 0 76s


查看下我们的pid不等于1的设置是否生效,根据下面的结果可以看到通过设置ShareProcessNamespace参数,我们可以在Kubernetes层面来解决这个pid=1的问题。

  1. kubectl exec -it operator-demo-7574f4789c-mg58m bash

  2. bash-5.0# ps -ef

  3. UID PID PPID C STIME TTY TIME CMD

  4. root 1 0 0 02:06 ? 00:00:00 /pause

  5. root 6 0 26 02:06 ? 00:00:09 java --add-opens java.base/sun.nio.ch=ALL-UNNAMED -cp /app/resources:/app/classes:/app/libs/* io.qingmu.operator.operatordemo.Oper...

  6. root 38 0 0 02:07 pts/0 00:00:00 bash

  7. root 44 38 0 02:07 pts/0 00:00:00 ps -ef


查看SVC。

  1. ~# kubectl get svc | grep operator-demo

  2. operator-demo ClusterIP 10.101.128.6 8080/TCP 2m52s


我们来访问一下试试。

  1. root@server1:~# curl -i http://10.101.128.6:8080

  2. HTTP/1.1 200

  3. Content-Type: text/plain;charset=UTF-8

  4. Content-Length: 9

  5. Date: Wed, 08 Apr 2020 08:45:46 GMT


  6. hello !!!


我们来试着缩减他的副本数到1个。

编辑我们的Demo.yaml,加入一个新的属性replicas。

  1. # Demo.yaml

  2. apiVersion: springboot.qingmu.io/v1alpha1

  3. kind: SpringBootApplication

  4. metadata:

  5. name: operator-demo

  6. spec:

  7. springBoot:

  8. version: v1.0.0

  9. replicas: 1


应用一下。

  1. root@server1:~# kubectl apply -f Demo.yaml

  2. springbootapplication.springboot.qingmu.io/operator-demo configured


再次查看Pod,你会发现我们的Pod已经缩放为一个副本了。

  1. ~# kubectl get po | grep operator-demo

  2. operator-demo-7574f4789c-sznww 1/1 Running 0 8m29s


清理operator-demo:

要删除该Pod,我们只需要执行delete即可。

  1. ~# kubectl delete -f Demo.yaml

  2. springbootapplication.springboot.qingmu.io "operator-demo" deleted


再次查看Pod,已经没了。

  1. kubectl get po | grep operator-demo


部署自己的应用

部署自己私有仓库的应用需要需要先创建secret(如果已经创建跳过即可)。
创建docker-registry的secret。

  1. kubectl create \

  2. secret docker-registry aliyun-registry-secret \

  3. --docker-server=registry-vpc.cn-hangzhou.aliyuncs.com \

  4. --docker-username=*** \

  5. --docker-password=*** \

  6. --docker-email=***


自己应用的crd Yaml。

  1. apiVersion: springboot.qingmu.io/v1alpha1

  2. kind: SpringBootApplication

  3. metadata:

  4. name: 你的应用的名称

  5. spec:

  6. springBoot:

  7. version: v1.0.0

  8. replicas: 1

  9. image: 你的image地址

  10. imagePullSecrets:

  11. - 上面创建的secret


一个完整的Spring Boot Application Yaml


下面是一个完整的yaml属性结构,大部分属性我们都可以用默认配置的即可。

不设置属性,默认使用Operator中设置的通用值详见后面的自定义安装Operator。

  1. apiVersion: springboot.qingmu.io/v1alpha1

  2. kind: SpringBootApplication

  3. metadata:

  4. name: operator-demo

  5. namespace: default

  6. spec:

  7. springBoot:

  8. # image 可以不设置,如果不设置默认使用 IMAGE_REPOSITORY+/+mate.name+:+spec.springBoot.version

  9. # registry.cn-shanghai.aliyuncs.com/qingmuio + / + operator-demo + : + v1.0.0

  10. image: registry.cn-shanghai.aliyuncs.com/qingmuio/operator-demo:v1.0.0

  11. clusterIp: ""

  12. version: v1.0.0

  13. replicas: 1

  14. resource:

  15. cpu:

  16. request: 50m

  17. limit: ""

  18. memory:

  19. request: 1Gi

  20. limit: 1Gi

  21. path:

  22. liveness: /actuator/health

  23. readiness: /actuator/health

  24. hostLog: /var/applog

  25. shutdown: /spring/shutdown

  26. imagePullSecrets:

  27. - aliyun-docker-registry-secret

  28. env:

  29. - name: EUREKA_SERVERS

  30. value: http://eureka1:8761/eureka/,http://eureka2:8761/eureka/,http://eureka3:8761/eureka/

  31. nodeAffinity:

  32. key: "failure-domain.beta.kubernetes.io/zone"

  33. operator: "In"

  34. values:

  35. - "cn-i"

  36. - "cn-h"

  37. - "cn-g"


优雅停机的路径

由于优雅停机默认是关闭的并且并不支持Get请求所以我们需要开启和搭个桥。

首先在application.yml中启用。

  1. management:

  2. endpoints:

  3. web:

  4. exposure:

  5. include: "*"

  6. endpoint:

  7. shutdown:

  8. enabled: true


然后桥接一个Get方法。

  1. @RestController

  2. public class ShutdownController {

  3. @Autowired

  4. private ShutdownEndpoint shutdownEndpoint;


  5. @GetMapping("/spring/shutdown")

  6. public Map<String, String> shutdown(HttpServletRequest request) {

  7. return shutdownEndpoint.shutdown();

  8. }

  9. }


Node亲和的使用

举一个列子,我们有一个Spring Boot应用user-service,希望能分布到3个可用区的6个节点上:

首先我们把机器划分多个可用区。

  1. cn-i区(node-i1,node-i02)

  2. cn-h区(node-g1,node-g02)

  3. cn-g区(node-h1,node-h02)


现在我们有三个可以区 每个区有2台workload,一共6台。然后我们需要给这些机器分别打上label。

将全部的i区机器标注为cn-i。

  1. kubectl label node node-i1 failure-domain.beta.kubernetes.io/zone=cn-i

  2. kubectl label node node-i2 failure-domain.beta.kubernetes.io/zone=cn-i


同理将h区的标注为h,g区同理。

  1. kubectl label node node-h1 failure-domain.beta.kubernetes.io/zone=cn-i

  2. kubectl label node node-ih2 failure-domain.beta.kubernetes.io/zone=cn-i


现在准备工作我们就绪了,现在我们来设置让它达到我们的调度效果,像如下编写即可。

  1. spec:

  2. springBoot:

  3. nodeAffinity: #可以不设置 节点亲和 这里演示的是尽量将pod分散到 i h g 三个可用区,默认设置了pod反亲和

  4. key: "failure-domain.beta.kubernetes.io/zone"

  5. operator: "In"

  6. values:

  7. - "cn-i"

  8. - "cn-h"

  9. - "cn-g"


Operator自定义安装

上面我们快速的安装了好了,接着我们来讲解下如何自定义安装,以及有哪些自定义的参数,可以个性化的参数我们用环境变量的方式注入。

下面来修改Deployment完成自己个性化的配置部署,从我提供的部署yaml中拉倒最后,找到name是spring-boot-operator-controller-manager的Deployment,我们将修改它。

  1. apiVersion: apps/v1

  2. kind: Deployment

  3. metadata:

  4. labels:

  5. control-plane: controller-manager

  6. name: spring-boot-operator-controller-manager

  7. namespace: spring-boot-operator-system

  8. .....


  9. #注意:一下配置针对通用全局的Spring Boot默认配置,对crd的Spring Boot生效,这里不配置也可以在部署的yaml中指定


  10. # 私有仓库的地址,比如我的最终打包的镜像地址是 registry.cn-shanghai.aliyuncs.com/qingmuio/operator-demo/operator-demo:v1.0.0

  11. # 那么配置的值是 registry.cn-shanghai.aliyuncs.com/qingmuio/operator-demo

  12. # 配置这个值之后,我们我们如果在发布的yaml中不写image,那么使用的image就是 IMAGE_REPOSITORY+"/"+mate.name+spec.springBoot.version

  13. - name: IMAGE_REPOSITORY

  14. value: registry.cn-shanghai.aliyuncs.com/qingmuio

  15. # 请求CPU限制

  16. - name: REQUEST_CPU

  17. value: 50m

  18. # 限制最大能用最大CPU Java应用可以不用限制,限制不合理会导致启动异常缓慢

  19. - name: LIMIT_CPU

  20. value: ""

  21. # 请求内存大小

  22. - name: REQUEST_MEMORY

  23. value: 500Mi

  24. # 限制最大内存大小 一般和request一样大即可

  25. - name: LIMIT_MEMORY

  26. value: 500Mi

  27. # 就绪检查Path,Spring Boot Actuator 默认Path

  28. - name: READINESS_PATH

  29. value: /actuator/health

  30. # 就绪存活Path,Spring Boot Actuator 默认Path

  31. - name: LIVENESS_PATH

  32. value: /actuator/health

  33. # 就绪存活Path,优雅停机Path

  34. - name: SHUTDOWN_PATH

  35. value: /spring/shutdown

  36. # 复制级 即副本数

  37. - name: REPLICAS

  38. value: "3"

  39. # 将日志外挂到主机磁盘Path,默认两者相同

  40. - name: HOST_LOG_PATH

  41. value: /var/applog

  42. # 用于pull镜像的secrets

  43. - name: IMAGE_PULL_SECRETS

  44. value: ""

  45. # 用于pull镜像的secrets

  46. - name: SPRING_BOOT_DEFAULT_PORT

  47. value: "8080"

  48. # Node亲和,比如我可以设置Pod尽量分散在不同可用区cn-i,cn-g,cn-h区

  49. - name: NODE_AFFINITY_KEY

  50. value: ""

  51. - name: NODE_AFFINITY_OPERATOR

  52. value: ""

  53. - name: NODE_AFFINITY_VALUES

  54. value: ""

  55. # 全局的环境变量,会追加到每个Spring Boot的每个Pod中,格式 k=v;k1=v2,

  56. # 如 EUREKA_SERVERS=http://eureka1:8761/eureka/,http://eureka2:8761/eureka/,http://eureka3:8761/eureka/;k=v

  57. - name: SPRING_BOOT_ENV

  58. value: ""

  59. image: registry.cn-shanghai.aliyuncs.com/qingmuio/spring-boot-operator-controller:latest


  60. .....


自定义安装之后部署

yaml可以简化为如下。

  1. apiVersion: springboot.qingmu.io/v1alpha1

  2. kind: SpringBootApplication

  3. metadata:

  4. name: 你的应用的名称

  5. spec:

  6. springBoot:

  7. version: v1.0.0


附录


环境变量表格。

环境变量名是否可以空默认值说明
IMAGE_REPOSITORYtrue“”私有仓库的地址
REQUEST_CPUtrue50m请求CPU限制
LIMIT_CPUtrue“”限制最大能用最大CPU Java应用可以不用限制,限制不合理会导致启动异常缓慢
REQUEST_MEMORYtrue2Gi请求内存大小
LIMIT_MEMORYtrue2Gi限制最大内存大小 一般和request一样大即可
READINESS_PATHtrue/actuator/health就绪检查Path,Spring Boot Actuator 默认Path
LIVENESS_PATHtrue/actuator/health存活检查Path,Spring Boot Actuator 默认Path
SHUTDOWN_PATHtrue/spring/shutdown就绪存活Path,优雅停机Path
REPLICAStrue3副本数
HOST_LOG_PATHtrue/var/applog将日志外挂到主机磁盘Path,默认两者相同
IMAGE_PULL_SECRETStrue用于pull镜像的secrets
SPRING_BOOT_DEFAULT_PORTtrue8080用于pull镜像的secrets
NODE_AFFINITY_KEYtrue“”Node亲和key,比如我可以设置Pod尽量分散在不同可用区cn-i,cn-g,cn-h区
NODE_AFFINITY_OPERATORtrue“”Node亲和操作符
NODE_AFFINITY_VALUEStrue“”Node亲和value
SPRING_BOOT_ENVtrue“”全局的环境变量,会追加到每个Spring Boot的每个Pod中,格式 k=v;k1=v2

Spring Boot Operator GitHub仓库:https://github.com/goudai/spring-boot-operator

相关链接:

  1. https://github.com/goudai/spring-boot-operator

  2. https://qingmu.io/2018/08/07/How-to-run-springcloud-in-docker/


原文链接:https://qingmu.io/2020/04/08/Spring-Boot-Operator-User-Guide/

如有文章对你有帮助,

在看”和转发是对我最大的支持



关注Java开发宝典

每天学习Java技术



点赞是最大的支持 

浏览 33
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报