测试脚本输出

Question

我有一个接受一个输入（文本文件）的 Python 脚本：./myprog.py file.txt。该脚本根据给定的输入输出一个字符串。

我有一组测试文件，我想用它们来测试我的程序。我知道每个文件的预期输出，并希望确保我的脚本为每个文件生成正确的输出。

进行此类测试的普遍接受的方法是什么？

我正在考虑使用Python的unittest模块作为测试框架，然后通过subprocess.check_output(stderr=subprocess.STDOUT)运行我的脚本，捕获stdout和stderr，然后做一个unittestassertEqual来比较实际和预期的字符串。我想确保我没有错过更好的解决方案。

Answer 1

这里有两个问题。测试程序，而不是函数库，测试打印的东西，而不是函数返回的值。两者都使测试变得更加困难，因此最好尽可能避开这些问题。

通常的技术是创建一个函数库，然后让你的程序成为一个精简的包装器。这些函数返回它们的结果，并且只有程序进行打印。这意味着您可以对大部分代码使用正常的单元测试技术。

您可以拥有一个既是库又是程序的文件。这是一个简单的例子，如hello.py。

def hello(greeting, place):
    return greeting + ", " + place + "!"

def main():
    print(hello("Hello", "World"))

if __name__ == '__main__':
    main()

最后一点是文件如何判断它是作为程序运行还是作为库导入的。它允许使用import hello 访问各个功能，还允许文件作为程序运行。 See this answer for more information.

然后你就可以编写一个基本正常的单元测试了。

import hello
import unittest
import sys
from StringIO import StringIO
import subprocess

class TestHello(unittest.TestCase):
    def test_hello(self):
        self.assertEqual(
             hello.hello("foo", "bar"),
            "foo, bar!"
        )

    def test_main(self):
        saved_stdout = sys.stdout
        try:
            out = StringIO()
            sys.stdout = out
            hello.main()
            output = out.getvalue()
            self.assertEqual(output, "Hello, World!\n")
        finally:
            sys.stdout = saved_stdout

    def test_as_program(self):
        self.assertEqual(
            subprocess.check_output(["python", "hello.py"]),
            "Hello, World!\n"
        )

if __name__ == '__main__':
    unittest.main()

这里test_hello是单元测试hello直接作为一个函数；在更复杂的程序中，会有更多的功能需要测试。我们还有test_main 对main 进行单元测试，使用StringIO 捕获其输出。最后，我们确保程序将作为带有test_as_program 的程序运行。

重要的是测试尽可能多的功能作为返回数据的函数，并尽可能少地测试打印和格式化的字符串，并且几乎没有通过运行程序本身来测试。在我们实际测试程序时，我们需要做的就是检查它是否调用了main。