线上故障排查(2019-12-02)
背景介绍:
一 背景介绍
接到产品经理反馈回来的企业微信,一个新部署的应用用户添加服务报错。由于这个平台新搭建,k8s+rancher+springCloud。
二 排查过程
服务列表:
| 服务名称 | 介绍 |
|---|---|
| ms-crf | 主应用 |
| ms-base-org | 用户服务 |
| ms-hrpaccoint | 账号服务 |
主应用ms-crf项目添加用户报错,经过查询服务日志是调用ms-base-org用户服务时候报“系统错误“,查询ms-base-org服务日志,”//hrpaccount/add 404"。
查询rancher的Deploment,ms-hrpaccoint这个服务活得好好的,按理说这个鬼玩意不应该报这个错的,其他平台上面也有这个应用的。初步怀疑是服务版本问题,spring boot 1.4 升级到2.0的时候防火墙要求url地址强校验,不能出现”//“,将账号服务升级成和测试环境一样的镜像后,没有解决。
版本没有问题,spring config查找服务网管gateway的配置文件,没有配置只能路由zuul,调用路径hrpaccount/** ,服务发现中名称ms-hrpaccount,gos将自能路由规则配置后。好高兴,问题还是没有解决,但是报错信息变了,变成了datasource url no url。
查询配置中心,果然没有配置数据库 相关信息。运维同学还是不靠谱,自己把测试环境的相关配置拷贝到gogs,将用户名密码修改后,问题解决。
这仅仅是一次问题的记录,小公司运维负责搭建k8s集群和部署基础服务,业务人员在上面部署自己应用,自己的应用自己完全负责。