机械土耳其人答案

【问题标题】：Mechanical Turk机械土耳其人
【发布时间】：2011-02-07 04:29:10
【问题描述】：

我正在尝试发布一个典型的心理学实验作为机械土耳其人的 HIT。我正在呈现一组十几个词对，我需要随机化/平衡呈现的词对的顺序。在典型的 HTML 表单上似乎没有办法做到这一点。有没有办法使用 API 或命令行界面来做到这一点？

【问题讨论】：

HTML 表单是静态的，因此根据定义，仅使用 HTML 是不可能的。也就是说，这绝对是可能的，但需要使用 HTMLQuestion 问题结构（而不是 MTurk 的 QuestionForm 问题结构），然后使用 javascript 动态显示内容。（作为历史记录，我认为 HTMLQuestion 在发布此问题时不可用）。不过，坦率地说，使用场外调查/实验工具可能比尝试开发它更容易；但是，这将取决于你想要做什么。

标签： mechanicalturk

【解决方案1】：

2016 年 5 月 20 日更新：改用 PsiTurk。查看@John McDonnel 的答案

2013 年 6 月 25 日更新：这个答案已经很老了。见Solomon Messing's blog post on MTurk in Social science for a starting point。

鉴于 AMT 上开始出现大量心理研究，您会认为他们会将此作为选项添加！

据我所知，如果没有以下网络界面，您将无法做到这一点：

创建一堆模板（表单 A、表单 B、表单 C、表单 D）。
运行第一个表单（表单 A）。
向工人付款，然后阻止所有工人。
运行第二个表单（表单 B）。
从第 1 步和第 2 步支付工人和阻塞。
然后重复直到完成。

这很糟糕有几个原因。首先是您必须手动创建不同的表单。第二个是通过阻止工作良好的工人，您会对他们在网站上的声誉产生负面影响。您的 IRB 可能不会对此表示友好。

解决此问题的“最佳”方法是不使用 Web 界面，而是使用命令行工具 (CLT) 创建 ExternalQuestions。这样，您编写一个可以处理随机化细节的 web 应用程序，在不依赖资格的情况下给予工人知情同意，并“礼貌地阻止”已经完成工作的工人。（已经参与的工人会收到一条短信要求他们归还HIT。）

如果您有兴趣走这条路，我有一些details on my blog 告诉您我是如何做到的。

【讨论】：

【解决方案2】：

如果您决定采用@Nathan VanHoudnos 列出的外部问题路线，我已经构建了一个框架，用于使用外部问题界面在 Mechanical Turk 上运行心理学实验。您可以查看here。该代码运行一个简单的 stroop 实验，希望您可以更改它以运行任何您想要的。如果您需要任何帮助来设置它，请告诉我！

【讨论】：