如何在 docker 运行压力-ng 时使用 perf 工具？

Question

我正在使用来自https://hub.docker.com/r/polinux/stress-ng/dockerfile 的stress-ng docker 映像来给我的系统施加压力。我想使用 perf 工具来监控指标。

perf stat -- stress-ng --cpu 2 --timeout 10 运行压力 ng 10 秒并返回性能指标。我尝试使用 perf stat -- docker run -ti --rm polinux/stress-ng --cpu 2 --timeout 10 对 docker 映像执行相同的操作。这会返回指标，但不会返回压力-ng 的指标。

在stress-ng上使用“perf stat”时得到的输出：

Performance counter stats for 'stress-ng --cpu 2 --timeout 10':

  19975.863889      task-clock (msec)         #    1.992 CPUs utilized          
         2,057      context-switches          #    0.103 K/sec                  
             7      cpu-migrations            #    0.000 K/sec                  
         8,783      page-faults               #    0.440 K/sec                  
52,568,560,651      cycles                    #    2.632 GHz                    
89,424,109,426      instructions              #    1.70  insn per cycle         
17,496,929,762      branches                  #  875.904 M/sec                  
    97,910,697      branch-misses             #    0.56% of all branches        

  10.025825765 seconds time elapsed

在 docker 镜像上使用 perf 工具时得到的输出：

Performance counter stats for 'docker run -ti --rm polinux/stress-ng --cpu 2 --timeout 10':

    154.613610      task-clock (msec)         #    0.014 CPUs utilized          
           858      context-switches          #    0.006 M/sec                  
           113      cpu-migrations            #    0.731 K/sec                  
         4,989      page-faults               #    0.032 M/sec                  
   252,242,504      cycles                    #    1.631 GHz                    
   375,927,959      instructions              #    1.49  insn per cycle         
    84,847,109      branches                  #  548.769 M/sec                  
     1,127,634      branch-misses             #    1.33% of all branches        

  10.704752134 seconds time elapsed

有人可以帮助我了解如何在使用 docker 运行时获取压力-ng 的指标吗？

Answer 1

@osgx 从 cmets 继续，

正如here所提到的，默认情况下，perf stat命令不仅会监控被监控进程的所有线程，还会监控其子进程和线程。

这种情况下的问题是，通过运行perf stat 并监控docker run stress-ng 命令，您并没有监控实际的stress-ng 进程。需要注意的是，作为容器的一部分运行的进程实际上不会由docker 客户端启动，而是由docker-containerd-shim 进程（它是dockerd 进程的孙进程）启动。

如果你运行 docker 命令在容器内运行stress-ng 并观察进程树，它就会变得很明显。

docker run -ti --name=stress-ng --rm polinux/stress-ng --cpu 2 --timeout 100

ps -elf | grep docker

0 S ubuntu    26379 114001  0  80   0 - 119787 futex_ 12:33 pts/3   00:00:00 docker run -ti --name=stress-ng --rm polinux/stress-ng --cpu 2 --timeout 10000
4 S root      26431 118477  0  80   0 -  2227 -      12:33 ?        00:00:00 docker-containerd-shim -namespace moby -workdir /var/lib/docker/containerd/daemon/io.containerd.runtime.v1.linux/moby/72a8c2787390669ff4eeae6f343ab4f9f60434f39aae66b1a778e78b7e5e45d8 -address /var/run/docker/containerd/docker-containerd.sock -containerd-binary /usr/bin/docker-containerd -runtime-root /var/run/docker/runtime-runc
0 S ubuntu    26610  26592  0  80   0 -  3236 pipe_w 12:34 pts/6    00:00:00 grep --color=auto docker
4 S root     118453      1  3  80   0 - 283916 -     May02 ?        01:01:57 /usr/bin/dockerd -H fd://
4 S root     118477 118453  4  80   0 - 457853 -     May02 ?        01:14:36 docker-containerd --config /var/run/docker/containerd/containerd.toml

----------------------------------------------------------------------

ps -elf | grep stress-ng

0 S ubuntu    26379 114001  0  80   0 - 119787 futex_ 12:33 pts/3   00:00:00 docker run -ti --name=stress-ng --rm polinux/stress-ng --cpu 2 --timeout 10000
4 S root      26455  26431  0  80   0 - 16621 -      12:33 pts/0    00:00:00 /usr/bin/stress-ng --cpu 2 --timeout 10000
1 R root      26517  26455 99  80   0 - 16781 -      12:33 pts/0    00:01:08 /usr/bin/stress-ng --cpu 2 --timeout 10000
1 R root      26518  26455 99  80   0 - 16781 -      12:33 pts/0    00:01:08 /usr/bin/stress-ng --cpu 2 --timeout 10000
0 S ubuntu    26645  26592  0  80   0 -  3236 pipe_w 12:35 pts/6    00:00:00 grep --color=auto stress-ng

第一个stress-ng进程的PPID是26431，这不是docker run命令，实际上是docker-containerd-shim进程。监视docker run 命令永远不会反映正确的值，因为docker 客户端完全脱离了启动stress-ng 命令的过程。

• 解决此问题的一种方法是将perf stat 命令附加到 docker 运行时启动的压力 ng 进程的 PID。

例如，如上例，一旦启动docker run 命令，您就可以立即开始执行此操作-

perf stat -p 26455,26517,26518

 Performance counter stats for process id '26455,26517,26518':

     148171.516145      task-clock (msec)         #    1.939 CPUs utilized          
                49      context-switches          #    0.000 K/sec                  
                 0      cpu-migrations            #    0.000 K/sec                  
                67      page-faults               #    0.000 K/sec                  

您可以稍微增加--timeout 以使命令运行时间更长，因为您现在开始perf stat 后开始stress-ng。此外，您还必须考虑损失的初始测量时间的一小部分。

• 另一种方法是在 docker 容器中运行 perf stat，类似于 docker run perf stat ...，但为此您必须开始向容器提供 privileges，因为默认情况下，perf_event_open系统调用在docker 中被列入黑名单。您可以阅读此答案here。