【问题标题】:Can invariant testing replace unit testing?不变测试可以代替单元测试吗?
【发布时间】:2009-04-20 04:14:35
【问题描述】:

作为一名程序员,我全心全意地接受 TDD 哲学,并努力为我编写的任何重要代码进行广泛的单元测试。有时这条路可能会很痛苦(行为变化导致级联多个单元测试更改;需要大量的脚手架),但总的来说,我拒绝在没有测试的情况下进行编程,每次更改后我都可以运行,而且我的代码作为结果。

最近,我一直在玩 Haskell,它是常驻测试库 QuickCheck。以一种与 TDD 截然不同的方式,QuickCheck 强调测试代码的不变量,即包含所有(或实质性子集)输入的某些属性。一个简单的例子:如果我们运行两次,一个稳定的排序算法应该给出相同的答案,应该有增加的输出,应该是输入的排列等等。然后,QuickCheck 生成各种随机数据以测试这些不变量。

在我看来,至少对于纯函数(即没有副作用的函数——如果你正确地模拟你可以将脏函数转换为纯函数),不变测试可以取代单元测试作为一个严格的超集这些能力。每个单元测试都由一个输入和一个输出组成(在命令式编程语言中,“输出”不仅是函数的返回,还包括任何更改的状态,但这可以被封装)。可以想象创建一个随机输入生成器,它足以覆盖您手动创建的所有单元测试输入(然后是一些,因为它会生成您不会想到的案例);如果由于某些边界条件而在程序中发现错误,请改进随机输入生成器,以便它也生成这种情况。

因此,挑战在于是否有可能为每个问题制定有用的不变量。我想说的是:一旦你有一个答案来看看它是否正确,这比首先计算答案要简单得多。考虑不变量也有助于阐明复杂算法的规范,这比 ad hoc 测试用例更好,后者鼓励对问题进行逐个案例的思考。您可以使用以前版本的程序作为模型实现,或者使用另一种语言的程序版本。等等。最终,您可以覆盖所有以前的测试用例,而无需显式编码输入或输出。

我是不是疯了,还是我在做某事?

【问题讨论】:

  • 我最近一直在做这个(在 erlang 中)它确实需要更多的工作来弄清楚如何为你的系统建模,但你可以做到。当你完成它时,你就知道你的代码是好的

标签: unit-testing quickcheck


【解决方案1】:

一年后,我现在想我对这个问题有了一个答案:不!特别是,单元测试对于回归测试总是必要和有用的,其中测试附加到一个错误报告并保留在代码库中,以防止该错误再次出现。

但是,我怀疑任何单元测试都可以替换为输入随机生成的测试。即使在命令式代码的情况下,“输入”也是您需要制作的命令式语句的顺序。当然,是否值得创建随机数据生成器,是否可以使随机数据生成器具有正确的分布是另一个问题。单元测试只是一个退化的例子,随机生成器总是给出相同的结果。

【讨论】:

  • 你说得对,它不能替代更通用的单元测试,但是,它绝对可以补充整体测试工作
  • 你不能确保使用相同的随机种子吗?或者以某种方式保存生成的随机输入?这个答案似乎是基于基于属性的测试框架可能缺乏功能,而不是基于基于属性的测试本身的功能。
【解决方案2】:

您提出的观点非常好——仅适用于函数式编程。您陈述了一种使用命令式代码完成这一切的方法,但您也谈到了为什么没有完成 - 这并不是特别容易。

我认为这正是它不会取代单元测试的原因:它不太适合命令式代码。

【讨论】:

  • 说得好!下一个问题是,我们能否使其适合命令式代码?
  • 绝对可以——但首先选择语言范式的论点是一样的;他们都是“平等的”,但有些地方有些东西不合适。我认为这是其中一种情况。
【解决方案3】:

怀疑

我只听说过(未使用过)这类测试,但我发现了两个潜在问题。我希望每个人都有 cmets。

误导性结果

我听说过这样的测试:

  • reverse(reverse(list)) 应该等于 list
  • unzip(zip(data)) 应该等于 data

很高兴知道这些适用于各种输入。 但如果函数只返回它们的输入,这两个测试都会通过。

在我看来,您似乎想要验证,例如,reverse([1 2 3]) 等于 [3 2 1] 以证明至少在一种情况下的行为正确,然后添加一些随机数据测试。

测试复杂度

完全描述输入和输出之间关系的不变测试可能比函数本身更复杂。如果它很复杂,它可能是错误的,但你没有测试你的测试。

相比之下,一个好的单元测试太简单了,以至于读者不会搞砸或误解。只有拼写错误才会在“期望reverse([1 2 3]) 等于[3 2 1]”中产生错误。

【讨论】:

  • 就个人而言,我不写reverse = id,所以我有理由相信,如果我真的尝试正确实现它,并且它通过了reverse . reverse = id,那么它可能是正确的
  • 你想要的真正不变量是forall x xs i, (x:xs) !! j == reverse (x:xs) !! (n - j),其中n = length xs,j = mod i (n + 1)。
  • 我可以保证满足上述不变量的任何东西,以及琐碎的reverse [] = [],都是一个真正的反转函数。无需单元测试。
【解决方案4】:

您在原始帖子中写的内容让我想起了这个问题,这是一个悬而未决的问题,即循环不变量是什么来证明循环正确...

无论如何,我不确定您在正式规范中阅读了多少,但您正在沿着这条思路前进。 david gries 的书是这方面的经典著作之一,我还没有很好地掌握这个概念,无法在我的日常编程中快速使用它。对正式规范的通常反应是,它既困难又复杂,只有在您从事安全关键系统工作时才值得付出努力。但我认为可以使用类似于 quickcheck 公开的封套技术。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2020-05-09
    • 1970-01-01
    • 1970-01-01
    • 2018-06-24
    • 1970-01-01
    • 1970-01-01
    • 2019-11-03
    相关资源
    最近更新 更多