LCOV/GCOV 分支覆盖，C++ 生成分支遍布各处

Question

我们正在使用 LCOV/GCOV 来生成我们项目的测试覆盖率。最近我们尝试另外启用分支覆盖。但看起来，这并没有产生我们从高级开发人员视图中预期的结果。

将分支覆盖与 C++ 结合使用会使报告在整个地方都出现分支。我们怀疑（正如搜索问题所表明的那样）大多数异常处理代码会创建这些“隐藏分支”。而 GCOV/LCOV 似乎并没有跳过这些。

我创建了一个小测试项目来显示问题：https://github.com/ghandmann/lcov-branch-coverage-weirdness

目前我们使用的是 Ubuntu 16.04。与：

• gcc v5.4
• lcov & genhtml v1.12

我们的生产代码是在启用 c++11 的情况下构建的。最小的示例不是在启用 c++11 的情况下构建的，但是当我们对所有不同的选项（c++ 标准、优化、-fno-exceptions）进行了一些试验时，我们没有得出一个可以接受的结果。

有人有想法吗？小费？我们是否以错误的方式使用任何东西？这是 - 如其他地方所述 - 真的是预期的行为吗？

更新：

正如gcc-help mailing list 中所指出的，这些“隐藏分支”是由于异常处理而发生的。因此，将-fno-exceptions 开关添加到 gcc 会为“简单”程序产生 100% 的分支覆盖率。但是当异常被禁用时，gcc 拒绝编译实际使用异常的代码（例如 try-catch、throw）。因此，对于真正的生产代码，这不是一个选项。看起来，在这种情况下，您必须简单地将 ~50% 的覆盖率声明为新的 100%。 ;)

Answer 1

问题是 GCC 还记录每一行的分支信息，其中可能由于某些抛出的异常而退出范围（例如，在带有 GCC 6.3.1 和 lcov 1.12 的 Fedora 25 上）。

这些信息的价值是有限的。分支覆盖数据的主要用例是复杂的 if 语句，它们具有如下的多子句逻辑表达式：

if (foo < 1 && (bar > x || y == 0))

假设您有兴趣验证您的测试套件是否也涵盖 bar > x 案例，或者您是否只有 y == 0 的测试案例。

为此，分支覆盖数据收集和 lcov 的 genhtml 的可视化很有用。对于简单的 if 语句，如

if (p == nullptr) {
  return false;
}
return true;

您不需要分支覆盖率数据，因为您可以通过查看以下几行的覆盖率来了解是否采用了分支。

lcov 生成的genhtml 的输入是相对简单的文本格式（参见geninfo(1)）。因此，您可以对其进行后处理，以便删除所有以 BRDA: 开头且不属于 if 语句的行。参见例如filterbr.py，它实现了这种方法。另请参阅 gen-coverage.py 了解其他 lcov/genhtml 处理步骤和 example project where the resulting trace file is uploaded to codecov（codecov 不使用 genhtml，但可以导入 lcov 跟踪文件并显示分支覆盖率数据）。

（非）替代品

• 仅当您的 C++ 代码不使用任何异常时，才可以选择禁用异常
• 使用 -O1 -fno-omit-frame-pointer -fno-optimize-sibling-calls 之类的东西编译会在一定程度上减少记录的分支覆盖数据的数量，但不会太多
• Clang 支持 GCOV 样式覆盖收集，但也实现了不同的方法，称为 'source-based code coverage'（使用 -fprofile-instr-generate -fcoverage-mapping 编译，使用 llvm-profdata 和 llvm-cov 进行后处理）。不过，该工具链不支持分支覆盖率数据（截至 2017-05-01）。
• 默认情况下，lcov+genhtml 不会生成分支覆盖率数据 - 有时您并不真正需要它（见上文），因此，可以选择禁用它（参见 --rc lcov_branch_coverage=0 和 --no-branch-coverage )

Answer 2

GCC 会添加一堆异常处理的东西。尤其是当你进行函数调用时。

您可以通过添加 -fno-exceptions -fno-inline 来解决此问题 到你的构建。

我应该补充一点，您可能只希望这些标志用于测试。 所以是这样的：

g++ -O0 --coverage -fno-exceptions -fno-inline main.cpp -o test-coverage 

Answer 3

正在处理这些限制的 PR。 https://github.com/linux-test-project/lcov/pull/86.

This paper 解释了实现背后的理论。

Answer 4

你可以试试g++ -O3 --coverage main.cpp -o testcov。我已经在您的文件上使用 g++-5.4 进行了尝试，它工作正常，这意味着标准 printf 和字符串调用会丢弃异常。

事实上，除O0 之外的任何优化标志都会导致 gcov 忽略 CPP 文件中为普通标准库调用生成的异常。我不确定正常的异常是否也会被优化掉（我不这么认为，但还没有尝试过）。

但是，我不确定您的项目中是否有任何要求，即您的代码只能使用 O0，而不是 O1、O2、O3 甚至 Os。

Answer 5

我刚刚遇到了同样的问题，由于异常，我想摆脱这些未发现的分支。我找到了适合我的解决方案：

我只是避免在我的代码中直接使用“抛出异常”，我想直接介绍它。我设计了一个类，它提供了一些引发异常的方法。由于异常类并不那么复杂，我并不真正关心覆盖范围，所以我只是用 LCOV_EXCL_START 和 LCOV_EXCL_STOP 排除所有内容。或者，我也可以仅为该异常类关闭分支覆盖。

我承认，这不是一个简单的解决方案，但就我的目的而言，它是完美的 由于其他原因（我需要该异常类灵活，以便我可以提供不同的实现：一次抛出异常，另一次做其他事情）。

Answer 6

我做了一些工作来添加过滤到 geninfo/lcov/genhtml 以删除 C/C++ 代码中与似乎不包含任何条件的源代码行相关联的分支 - 使用一些相对简单的正则表达式。过滤器似乎可以在我们的代码库中/在使用了修改后的 lcov 工具的产品上工作。过滤器并不完美，很容易被心血来潮的用户打败。

我最近获准将我的 lcov 更新上传到上游。你可以在https://github.com/henry2cox/lcov找到他们

此版本增加了对差异覆盖以及日期和所有者分级的支持。

一个外围附加更改是添加“过滤”，如上所述 - 主要是因为没有它，分支覆盖似乎无法用于 C++ 代码。
您可以在 lcovutil::ReadCurrentSource::containsConditional 方法中找到（公认的 hacky 且容易绕过的）正则表达式 - 近行 .../bin/lcovutil.pm:1122

虽然并不完美：这个 hack 似乎适用于我们的代码。您的里程可能会有所不同。

这是用 perl/5.12.5 和 gcc/8.3.0 和 9.2.0 测试的。它也可能适用于其他版本（如果您发现可移植性问题，请告诉我，以便我修复它们）。