如何从脚本重复运行 python 单元测试并收集结果

Question

我不知道如何在 python 脚本中运行单个单元测试并收集结果。

场景：我有一组测试来检查产生不同对象的各种统计分布的各种方法。测试有时会失败，因为他们应该考虑到我基本上是在检查特定类型的随机性。我想从脚本甚至解释器重复运行测试并收集结果以供进一步分析。

假设我有一个模块 myTest.py：

class myTest(unittest.TestCase):
    def setup(self):
       ...building objects, etc....
    def testTest1(self):
           ..........
    def testTest2(self):
           ..........

基本上我需要：

1. 运行设置方法
2. 运行 testTest1（比如说）100 次
3. 收集故障
4. 返回故障

我最接近的是（使用类似问题的代码）：

from unittest import TextTestRunner, TestSuite
runner = TextTestRunner(verbosity = 2)
tests = ['testTest1']
suite = unittest.TestSuite(map(myTest, tests))
runner.run(suite)

但这不起作用，因为：

runner.run(suite) 不运行设置方法

和

我无法捕捉到 testTest1 失败时抛出的异常

Answer 1

您只需将要多次运行的测试添加到套件中。

这是一个完整的代码示例。你也可以see this code running in an interactive Python console to prove that it does actually work。

import unittest
import random

class NullWriter(object):
    def write(*_, **__):
        pass

    def flush(*_, **__):
        pass

SETUP_COUNTER = 0

class MyTestCase(unittest.TestCase):

    def setUp(self):
        global SETUP_COUNTER
        SETUP_COUNTER += 1

    def test_one(self):
        self.assertTrue(random.random() > 0.3)

    def test_two(self):
        # We just want to make sure this isn't run
        self.assertTrue(False, "This should not have been run")


def suite():
    tests = []
    for _ in range(100):
        tests.append('test_one')

    return unittest.TestSuite(map(MyTestCase, tests))

results = unittest.TextTestRunner(stream=NullWriter()).run(suite())
print dir(results)
print 'setUp was run', SETUP_COUNTER, 'times'