pytest 在类中以正确的顺序运行场景

Question

所以我有以下结构：

class Test(object):

   def test_1(self):
      pass

   def test_2(self):
      pass

   def test_3(self):
      pass

它运行得很好，现在我正在添加“场景”（正如 pytest - A quick port of “testscenarios” 推荐的那样）：

def pytest_generate_tests(metafunc):
    idlist = []
    argvalues = []
    for scenario in metafunc.cls.scenarios:
        idlist.append(scenario[0])
        items = scenario[1].items()
        argnames = [x[0] for x in items]
        argvalues.append(([x[1] for x in items]))
    metafunc.parametrize(argnames, argvalues, ids=idlist)

class Test(object):
       scenarios = ['1' {'arg':'value1'},
                    '2' {'arg':'value2'}]

       def test_1(self, arg):
          pass

       def test_2(self, arg):
          pass

       def test_3(self, arg):
          pass

当我运行它时，测试顺序错误，我得到：

test_1[1]  
test_1[2]  
test_2[1]   
test_2[2]  
test_3[1]  
test_3[2]

看起来不像是 Test 类的场景。

问题：是否有任何解决方案可以以正确的顺序运行它？喜欢：

test_1[1]
test_2[1]
test_3[1]
test_1[2]
test_2[2]
test_3[2]

Answer 1

即将推出的 pytest-2.3 支持更好的（基于资源的）排序，我刚刚更新了文档中的场景示例：https://docs.pytest.org/en/latest/example/parametrize.html#a-quick-port-of-testscenarios

您可以使用

初步安装当前的开发版本

pip install -i http://pypi.testrun.org -U pytest

并且应该获得带有“py.test --version”的pytest-2.3.0.dev15并且能够使用它。

Answer 2

py.test 以分布式方式运行测试，这意味着顺序基本上是随机的。

您应该使用-n 选项并将进程号设置为1。 然后测试应该由生成的单个进程按字母顺序运行。

除此之外，我不知道你是否可以做到。无论如何，取决于测试的顺序通常是 bad 设计。所以你应该尽量不依赖它。