您如何衡量界面更改是提高还是降低了可用性？

Question

对于电子商务网站，您如何衡量对网站的更改是否确实提高了可用性？您应该收集什么样的测量结果？您将如何建立一个框架来让这个测试成为开发的一部分？

Answer 1

Multivariate testing 和报告是实际衡量这类事情的好方法。

它允许您测试哪些页面元素组合具有最高的转化率，从而持续改进您的网站设计和可用性。

Google Web Optimiser 对此有支持。

Answer 2

你用来识别可用性问题的类似方法——可用性测试。通常，您确定您的用例，然后进行实验室研究评估用户如何实现某些目标。实验室测试通常适合 8-10 人。

我们为了解用户而采用的更多信息方法是进行匿名数据收集（您可能需要用户许可、明确您的隐私政策等）。这只是评估用户点击了哪些按钮/导航菜单、如何点击用户删除了一些东西（即改变数量 - 更多用户输入 0 并更新数量或点击 X）？这设置起来有点复杂；您必须开发一个基础设施来保存这些数据（实际上只是计数器，即“点击次数 x：138838383，输入次数 0：390393”）并允许根据需要创建数据点以插入设计。

Answer 3

第一种方式可以是完全主观的或部分量化的：用户投诉和积极反馈。这样做的问题是，在过滤这些反馈时，您可能会有一些强烈的偏见，因此您最好尽可能量化。拥有一些票务系统来归档用户的每个报告并收集有关每个版本界面的统计信息可能会很有用。只需正确统计数据即可。

第二种方法是衡量最终用户对界面进行的问卷调查中的差异。每个问题的答案应该是一组离散值，然后您可以再次收集界面每个版本的统计数据。

后一种方式可能更难设置（设计问卷和可能的受控环境以及解释结果的指南本身就是一门手艺），但前者很容易搞砸测量。例如，您必须考虑这样一个事实，即您为每个版本获得的票证数量取决于它使用的时间，并且所有时间范围都不相等（例如，在使用的第三或第四周，或者用户可能倾向于在使用的第一天不提交票证，即使他们发现问题等）。

Answer 4

为了将 UI 改进的测量从最终用户（数据收集可能需要一段时间）推到设计或实施的流程中，可以使用一些简单的启发式方法：

• 执行场景所需的操作数是否更少？ （如果是，那么它已经改进了）。测量：减少/增加的步骤数。

• 更改是否会减少要使用的输入设备种类的数量（即使步数相同）？我的意思是，如果你把依赖鼠标和键盘的东西改成 only 依赖鼠标或 only 依赖键盘，那么你已经改进了可用性。衡量标准：使用的设备数量的变化。

• 更改是否使网站的不同部分保持一致？例如。如果电子商务站点的一部分丢失了您未登录时所做的更改，而另一部分则没有，这是不一致的。更改它以使它们具有相同的行为可以提高可用性（最好是更具容错性！）。测量：制作一个图表（实际上是流程图）来映射特定操作的执行方式。改进是减少了图上的边数。

• 等等……找到一些通用的 UI 提示，找出类似上面的一些指标，然后你就可以估算出可用性的改进。

一旦您获得了用户改进的这些设计近似值，然后收集了长期数据，您就可以查看设计级可用性改进对最终用户反应是否有任何预测能力（例如：过去 10 个项目，我们已经看到，对于每个删除的操作，场景平均快 1%，范围为 0.25%，标准开发为 0.32%。

Answer 5

托里尔偷了我的答案。虽然如果有一个衡量完成某项任务需要多长时间。如果时间减少了，任务还是完成了，那是好事。

另外，如果有办法记录取消的次数，那也可以。