【问题标题】:iOS App Alpha and Beta testing with more than 100 testersiOS App Alpha 和 Beta 测试,超过 100 名测试人员
【发布时间】:2014-06-07 07:38:59
【问题描述】:

我们正在寻找与大量 Beta 测试人员一起进行测试的解决方案。 我们希望先测试 2,000 名用户的应用程序,然后将测试人员的数量增加到 30,000 人,然后再将应用程序发布给普通用户。

我的理解是,使用常规 Apple 开发帐户,我们仅限于 100 台设备,使用企业帐户,我们无法在组织之外分发构建。

还有哪些其他 Apple 可接受的测试策略可用于在发布前进行大规模用户测试?

【问题讨论】:

  • 这个问题似乎是题外话,因为它是关于规避 Apple 的政策,而不是编程。
  • 没有 Apple 认可的方法。使用普通 AdHoc 最多 100 或使用 Enterprise 在您的组织内进行测试。就是这样。

标签: ios testing mobile qa


【解决方案1】:

Apple 提供称为 Testflight 的 Beta 测试模式:https://developer.apple.com/testflight/

根据规范,您最多可以使用电子邮件地址邀请 10,000 名测试人员。

如果您需要覆盖超过 10,000 名测试人员,您可以在一些特定的测试国家/地区发布应用(最好使用与目标国家/地区相同的母语)

【讨论】:

    【解决方案2】:

    @Elvin R.

    最初您希望从大约 25 名内部测试人员开始(这将是您的 Alpha 测试),然后最终扩展到 1000 名外部测试人员(这将是您的 Beta 测试)。

    当你满意后,你就可以上线了。

    有关使用试飞进行 alpha 和 beta 测试的详细信息:

    https://developer.apple.com/library/mac/documentation/IDEs/Conceptual/AppDistributionGuide/DistributingYourAppUsingTestFlight/DistributingYourAppUsingTestFlight.html#//apple_ref/doc/uid/TP40012582-CH37-SW1

    https://developer.apple.com/testflight/

    要开始使用,您可以转到以下页面。页面内有链接可以帮助您,底部有上一个和下一个链接可以帮助您使用 iTunes。

    https://developer.apple.com/library/mac/documentation/IDEs/Conceptual/AppDistributionGuide/SubmittingYourApp/SubmittingYourApp.html

    【讨论】:

      【解决方案3】:

      因为删除用户不会释放 100 个用户限制中的空间(直到明年),所以在 Beta 测试甚至只是 dogfooding 时很容易遇到这个问题。我们使用以下平台进行版本分发和安装:

      TestFlight:在遇到几个问题后我们最终放弃了这个,其中最大的问题是大部分时间“实时”崩溃报告在几个小时甚至几天内都没有出现。当我们开始多个 iOS 开发团队时,其他问题是不一致的堆栈跟踪符号化和分发列表的烦恼。

      HockeyApp: 这并不完美,但这对我们来说工作得更顺利,解决了我们的主要痛点。

      无论您选择什么,我都强烈建议您使用 SDK 进行应用内更新和反馈以及崩溃报告和其他分析。

      【讨论】:

        【解决方案4】:

        这可能不是您要寻找的答案,但据我所知,如果您正在寻找控制谁专门测试您的游戏的方法,唯一的方法是使用促销代码 (每个批准的二进制版本 100 个)和 Ad-Hoc(还有另外 100 个特定设备。)

        您可能已经知道这些,所以这里有另一种(控制较低的)方法:在 1-3 个小国家/地区发布。我看到其他公司这样做了很多。如果我没记错的话,Rovio 会先在加拿大发布游戏来测试他们的游戏,以便“测试”游戏是否好,或者系统上是否有更多人会出现任何关键问题,并且最有可能测试他们的指标。据我所知,其他公司也在这样做。

        由于您可以精确控制发布到的国家/地区,因此这可能是一个不错的选择。尽管正如我之前所说,您将无法真正控制样本量并准确确定谁可以或不能测试您的应用程序。

        编辑:不管怎样,当我们第一次软启动我们的游戏时,我们将使用这种方法。我们将首先从新加坡开始,因为它是一个非常小的国家,拥有非常好的全国移动网络支持和智能手机普及率。此外,英语是该国的官方语言之一。

        【讨论】:

          猜你喜欢
          • 2014-12-27
          • 1970-01-01
          • 2014-11-06
          • 1970-01-01
          • 1970-01-01
          • 2015-01-01
          • 2015-04-12
          • 1970-01-01
          • 2015-05-07
          相关资源
          最近更新 更多