我已经阅读了很多关于 e2e 测试的内容，但我无法理解的一件事是 e2e 测试应该有多“真实”。
无论我在 e2e 测试中使用什么工具，我都发现它们大部分时间都在本地、开发或 alpha 环境中运行。
如果我的应用程序具有身份验证，我应该在数据库中创建一个具有有效凭据的“测试”用户吗？我应该为 Alpha 甚至生产环境这样做吗？这个测试用户如何登录我的应用程序？
假设我有臭名昭著的 TODO 应用程序。我有一个让用户登录的测试。登录后，我想测试用户是否能够创建 TODO。此 TODO 保存在数据库中。
运行测试后，我应该运行一些东西来删除 e2e 测试期间创建的数据吗？或者我应该在保存请求之前拦截请求并模拟响应（这是否是 e2e 测试的反模式）？
【问题讨论】：
标签： javascript integration-testing nightwatch.js e2e-testing cypress
端到端测试涉及确保应用程序的集成组件按预期运行。整个应用程序在真实场景中进行测试，例如与数据库、网络、硬件和其他应用程序进行通信
E2E 测试是最抽象的测试。它测试集成组件的“流量”和“完整性”。或多或少，作为测试，它是一个完整的黑盒，所有部件都应该可以互换。集成测试，检查代码组件是否可互换。 E2E 在测试层级（nginx 或 Apache？PHP 或 Java？Ms 或 MySQL？）中高出一步。
此外，E2E 测试的定义是业务需求的直接转换，并且或多或少由需求工程流程预先定义。
例如，Gherkin 是一种将用例转换为功能和场景的语言。示例：
Feature: Login functionality of social networking site Facebook.
Given: I am a facebook user.
When: I enter username as username.
And I enter the password as the password
Then I should be redirected to the home page of facebook
一个用例/功能本身可能包含几个或多个句子，具体取决于主题的复杂性。无论如何：它应该完全独立于您的应用程序。
如何处理测试取决于您，并且取决于您的应用程序：
您可能会捕获某些情况（注册用户？）或者您可能想使用每日 Cron 清理数据库？
另外，为每个功能编写测试对性能要求很高。大多数时候，您为演练（您的应用程序最重要的部分 - 资金来自哪里）或功能编写这些测试，这些测试非常重要，但从未主动测试过（cookie 信息、退订电子邮件、法律信息等） .)
【讨论】：
我目前在一家大型知名公司的测试工具和框架团队工作。所以虽然我不是专家，但这是我工作的一部分。我将专门讨论 Web 测试。对于 iOS 和 Android 等原生应用的测试有些不同，我对这些方面不是很熟悉。
e2e（端到端）和集成测试之间的术语在某种程度上可以互换，而单元测试有更具体的定义。
一般来说，e2e/集成测试应该可以在开发和生产环境中运行。根据您的设置，您的开发环境可能正在使用生产数据库的一些半频繁更新的快照。在其他情况下，您的本地环境可能会影响实际的生产数据库。这两种方法各有利弊，但这在很大程度上取决于您的公司或项目的规模。例如，如果您在一家拥有专门团队的大公司工作，那么您每天可以看到生产数据库发生许多变化，而在小型团队中，每周生产数据库的快照可能足以在本地进行测试。 一世 在基础级别，所有集成测试都应该被视为真实的。在处理 Web 应用程序时，我们必须考虑许多其他因素，例如不同的 Web 浏览器、网络活动/可用性等。因此，模拟 api 调用的数据将允许超快速测试，但会增加另一层复杂性确保模拟与真实世界的数据库保持同步。
在本地运行集成测试应该或多或少地对您的开发服务器做同样的事情，就像他们将对登台和生产做的事情一样。除了让应用检测其是否在开发、登台或生产环境中运行以切换 URL 和各种凭据之外，应用的行为方式应该完全相同。
关于您关于身份验证的问题，答案是肯定的。让我们看两个显示不同考虑因素的示例。
假设您的项目非常小。您在生产环境中创建了一些真实帐户，并且您的数据库每周都会被快照，以便在本地开发环境中使用。您只需根据需要与这些用户中的一个或多个运行集成测试。由于本地测试只针对您的本地数据库，因此您无需担心生成的数据，因为它不会影响生产。您团队中的其他工程师可以使用相同的用户而不必担心。如果一位工程师对数据库架构、ORM 等进行了一些更改，那么每个人都会获得数据库快照的新副本并继续工作。
现在来说另一个极端。假设你的项目很大。每天都有数百万用户和数百名员工共同对代码库和数据库进行更改。有各种方法可以设置基础设施来处理各种工程任务。数据太多，数据库更改太频繁，无法使用本地快照。在这种规模下，您可能正在进行持续集成并在每次提交时运行您的测试。您希望这样做，以使传入的更改不会进入生产环境并导致重大问题。您可能正在针对不断更新的暂存数据库，甚至可能针对您的生产数据库本身运行本地开发环境。 （尝试规划暂存数据库，因为它可以避免很多其他问题。）
现在，只有一小部分专门的测试用户开始成为问题。测试一直在运行，无论是自动化的还是由数十名工程师都在自己的工作中进行的。由于暂存数据库可能是共享的，因此您很容易开始遇到奇怪的冲突，因为同一个测试用户正在做各种各样的事情并开始导致测试失败。我见过的一个很好的解决方案是一种测试帐户结帐服务器。您创建了 100 个或 1000 个（或更多）测试用户帐户。当您的集成测试运行时，他们会从服务器上签出一个测试用户帐户。测试完成后，集成测试会清理他们对该用户所做的任何更改，并告诉结帐服务器该用户再次空闲。然后它随机被某人/其他人签出并继续循环。
因此，与您的问题直接相关的要点：
【讨论】：
我已经阅读了很多关于 e2e 测试的内容，但我无法理解的一件事是 e2e 测试应该有多“真实”。
E2e 应该尽可能地模仿生产系统，更重要的是，您可以使用 e2e 自动化来重现任何生产问题，如生产数据，
无论我在 e2e 测试中使用什么工具，我都发现它们大部分时间都在本地、开发或 alpha 环境中运行。
e2e 自动化必须适用于任何资源/数据库/datatsore/消息总线等，以及任何环境，包括本地/远程或云平台
如果我的应用程序具有身份验证，我应该在数据库中创建一个具有有效凭据的“测试”用户吗？我应该为 Alpha 甚至生产环境这样做吗？这个测试用户如何登录我的应用程序？
只要应用凭据是应用配置的一部分，您就可以灵活地控制专用于测试的凭据。我强烈建议运行并行的全自动 e2e 专用基础设施，它不会泄露或共享生产机密。
假设我有臭名昭著的 TODO 应用程序。我有一个让用户登录的测试。登录后，我想测试用户是否能够创建 TODO。此 TODO 保存在数据库中。
通过 e2e 测试，您有兴趣识别所有应用输入（如 UI 交互或 REST/HTTP 请求）、配置文件和带有验证规则的输出。这包括 UI 更改、生成的日志/消息、数据存储/数据库更改。
运行测试后，我应该运行一些东西来删除 e2e 测试期间创建的数据吗？或者我应该在保存请求之前拦截请求并模拟响应（这是否是 e2e 测试的反模式）？
作为 e2e 测试的一部分，您需要注意设置初始应用程序状态，以及每个用例的状态（如果适用）。通过 e2e 测试，您希望测试所有应用程序行为，因此这里没有太多可以模拟的地方。运行测试后可以销毁所有应用资源，服务清空数据库。我相信这是可选步骤，因为设置应用程序或用例状态涉及资源/数据库准备。
最后，如果您没有正确的工具集和良好的数据组织策略，e2e 测试可能会很有挑战性，尤其是随着时间的推移，您最终会针对中小型应用程序进行数百个用例测试。除此之外，您还需要能够与用任何语言（java、javascript golang 等）编写的多堆栈应用程序一起工作的 e2e 测试工具，并支持任何平台的自动化，包括 localbox、docker、kubernetess、无服务器云。
以下是一些有趣的读数：
【讨论】：
以下是我们的测试工作方式。这种程度的努力在许多组织中可能不可行，但我确实认为它运作良好。相对于您最初的问题，我认为，在可能的情况下，使用真实的东西而不是模拟，例如，使用如下所述的真实数据库。
基本架构
完整的 CI/CD 已到位。 CI 在 docker 容器中运行。每次推送都会运行整个测试策略（UAT 测试除外）。
中间件
前端
标准的角度单元/组件测试通过角度工具 + 业力运行。
端到端
UAT 测试
产品所有者在发布之前进行的手动测试。
【讨论】：