1,13:40 德天大宗应用服务器绿版CUP超负载告警
Arthas线上排错记录

2,登录德天大宗绿版服务器后执行top发现进程30247和28337占用CPU为200多和100多基本占用了4核的3核
Arthas线上排错记录

3,开启Arthas工具找到对应的模块运单模块和支付模块,选择运单模块进入
Arthas线上排错记录

4,执行dashboard命令线程35和12042不正常CUP 占用49%
Arthas线上排错记录

5,执行 thread 35 thread 12042定位代码行
Arthas线上排错记录Arthas线上排错记录

6,查看代码,模拟不到二万次UUID.randomUUID()前十位会出现一次全字母的几率
Arthas线上排错记录
Arthas线上排错记录

7,最终原因是死循环导致的CPU飚高

附件Arthas常用命令:
安装:
curl -O https://arthas.aliyun.com/arthas-boot.jar
java -jar arthas-boot.jar
基础命令
help——查看命令帮助信息
cat——打印文件内容,和linux里的cat命令类似
echo–打印参数,和linux里的echo命令类似
grep——匹配查找,和linux里的grep命令类似
tee——复制标准输入到标准输出和指定的文件,和linux里的tee命令类似
pwd——返回当前的工作目录,和linux命令类似
cls——清空当前屏幕区域
session——查看当前会话的信息
reset——重置增强类,将被 Arthas 增强过的类全部还原,Arthas 服务端关闭时会重置所有增强过的类
version——输出当前目标 Java 进程所加载的 Arthas 版本号
history——打印命令历史
quit——退出当前 Arthas 客户端,其他 Arthas 客户端不受影响
stop——关闭 Arthas 服务端,所有 Arthas 客户端全部退出
keymap——Arthas快捷键列表及自定义快捷键
jvm相关
dashboard——当前系统的实时数据面板
thread——查看当前 JVM 的线程堆栈信息
jvm——查看当前 JVM 的信息
sysprop——查看和修改JVM的系统属性
sysenv——查看JVM的环境变量
vmoption——查看和修改JVM里诊断相关的option
perfcounter——查看当前 JVM 的Perf Counter信息
logger——查看和修改logger
getstatic——查看类的静态属性
ognl——执行ognl表达式
mbean——查看 Mbean 的信息
heapdump——dump java heap, 类似jmap命令的heap dump功能

class/classloader相关
sc——查看JVM已加载的类信息
sm——查看已加载类的方法信息
jad——反编译指定已加载类的源码
mc——内存编译器,内存编译.java文件为.class文件
redefine——加载外部的.class文件,redefine到JVM里
dump——dump 已加载类的 byte code 到特定目录
classloader——查看classloader的继承树,urls,类加载信息,使用classloader去getResource
monitor/watch/trace相关
请注意,这些命令,都通过字节码增强技术来实现的,会在指定类的方法中插入一些切面来实现数据统计和观测,因此在线上、预发使用时,请尽量明确需要观测的类、方法以及条件,诊断结束要执行 stop 或将增强过的类执行 reset 命令。

①monitor方法执行监控
monitor -c 5 demo.MathGame primeFactors

-c 5 未统计周期默认120s
②watch能观察到的范围为:返回值、抛出异常、入参
watch demo.MathGame primeFactors “{params,target,returnObj}” -x 2 -b -s -n 2
-x 2 输出结果的属性遍历深度
-b 方法调用前
-s 方法返回后
-n 2 执行2次
watch demo.MathGame primeFactors “{params[0],throwExp}” -e -x 2
-e表示抛出异常时才触发
④trace方法内部调用路径,并输出方法路径上的每个节点上耗时
trace demo.MathGame run

相关文章:

  • 2022-12-23
  • 2022-01-12
  • 2022-12-23
  • 2021-06-28
  • 2021-11-20
  • 2022-01-07
  • 2022-12-23
猜你喜欢
  • 2022-12-23
  • 2022-12-23
  • 2021-11-04
  • 2019-09-18
  • 2021-12-03
  • 2022-01-21
  • 2021-12-27
相关资源
相似解决方案