OpenResty XRay™ 自主部署版 (Kubernetes)
名称
OpenResty XRay 自主部署 kubernetes 版本安装与部署说明
目录
概览
其中控制台服务端运行在 docker 容器中,使用 kubernetes
进行管理,而 Agent 端则是运行在目标机器上。
XRay 的服务端分为三个组件,其中每个组件中又有一些子服务
OpenResty XRay Console
:- xray-console: console 的 web 服务,提供 XRay 的管理界面
- xray-console-pg: console 的数据库,作为 web 服务的数据库后端
OpenResty XRay BuildBox
:- build-box-[dist]: 构建 XRay 工具的后端服务。其中
dist
代表对应的操作系统发行版。 - xray-tenant-db: 对
xray-console
服务和build-box-[dist]
提供查询接口,会按照 ‘私有库 -> 公共库’ 的顺寻进行查询。该服务只会向公共库发起查询请求,而不会有数据上传到公有库 - xray-tenant-db-pl: 提供客户私有的软件数据库
- xray-tenang-db-pg: 作为客户私有软件数据库的数据库后端
- build-box-[dist]: 构建 XRay 工具的后端服务。其中
安装
kubernete 控制台服务
1. 访问镜像仓库的 secret
首先,创建命名空间以及使用邮件中提供的用户名密码创建 kubernetes 访问 openresty 镜像仓库的 secret
kubectl create ns openresty-xray
kubectl create secret docker-registry openresty-xray \
--docker-server=registry.openresty.com.cn \
--docker-username=<docker-registry username> \
--docker-password=<docker-registry password> \
-n openresty-xray
2. 创建 console 证书 secret (可选)
如果需要使用自定义的证书,则需执行此步骤。如果跳过此步骤,console会使用内置的自签证书。
将 XRay 服务端对应域名的证书放在 cert 目录下
$ ls cert/
ssl.crt ssl.key
使用以下命令创建 secret
kubectl create secret generic cert-secret --from-file=cert -n openresty-xray
找到 kubernetes.yml
文件的以下几行, 去掉注释即可使用自定义的证书
#- mountPath: /usr/local/orxray-console/conf/cert
# name: cert
# readOnly: true
...
volumes:
#- name: cert
# secret:
# secretName: cert-secret
kubernetes.yml
文件中的环境变量需要和证书中的域名一致
- name: CONSOLE_HOST
value: xxx.xx.com
3. 使用默认的数据卷持久化方案
部署服务端需要持久化的数据卷,以下是给的一个缺省的持久化数据卷方案。 这个方案是将数据存到集群中的某个选中的节点上,节点上需要分配2T左右的空间。
首先给选定的节点打上标签
kubectl label node <node_name> app=openresty-xray-console
创建数据卷,数据会持久化在选定节点的 /data
目录中,请保证 /data
目录有足够的空间。
使用邮件附件中的
kubernetes-pv.yml.sample
文件
kubectl apply -f kubernetes-pv.yml.sample
4. 部署服务端到kubernetes
执行以下命令部署服务端到kubernetes
使用邮件附件中的
kubernetes.yml
文件
kubectl apply -f kubernetes.yml
5. 访问服务
kubernetes.yml 使用 hostPort 的方式在 console 的节点上导出443端口,所以直接访问节点的 https 服务就行了。
Agent
XRay Agent 端运行在目标机器上,Agent 安装后与自主部署的控制台服务端进行通信,而 Agent 安装也是由控制台服务端配合完成的:
在浏览器访问控制端服务端后台,使用邮件中提供的用户名密码来进行登录。登录后,可以看到安装向导,及支持的操作系统,按照安装向导的提示,进行 Agent 的安装即可。
安装 Agent 后可在左侧 User
页签修改密码及新增用户。
运维
查看服务 POD 状态
$ kubectl get pods -n openresty-xray
NAME READY STATUS RESTARTS AGE
build-box-centos-7-75c954d87d-h6fkz 1/1 Running 0 18h
xray-console-5d457bb49d-q49f8 1/1 Running 0 17h
xray-console-pg-64df4cbd86-tm44n 1/1 Running 0 18h
xray-tenant-db-69d9cbd77d-nccnb 1/1 Running 0 18h
xray-tenant-db-pg-845d5cb674-rrjz8 1/1 Running 0 18h
xray-tenant-db-pl-859c5c8dfd-xk7sg 1/1 Running 0 18h
控制台服务日志查看
$ kubectl log --tail=10 xray-console-5d457bb49d-q49f8 -n openresty-xray
检查服务状态
$ kubectl describe pod xray-console-5d457bb49d-q49f8 -n openresty-xray
升级服务
升级服务会通过邮件发送附件 kubernetes.upgrade.yml
,执行以下操作:
$ kubectl apply -f kubernetes.upgrade.yml
由于导出端口使用了hostPort模式,如果升级的console服务POD会因为原POD占用主机的443端口,导致POD一直处于pending状态,需要手工删除原POD。
执行以下命令
$ kubectl delete pod xray-console-5d457bb49d-q49f8 -n openresty-xray
此租户不存在
如果使用浏览器访问 console 发现其提示“此租户不存在”,请检查访问域名或 IP 是否于 kubernetes.yml
中的 CONSOLE_HOST
变量值一致。
如访问地址为 http://xray.example.com
而 CONSOLE_HOST
的值不是 xray.example.com
则会有此提示。