在 Mechanical Turk 中，如何限制每个工人一次 HIT

Question

我从与 Mechanical Turk 工人的交流中了解到，有一种方法可以限制特定工人可以完成的 HIT 数量，但我不知道该怎么做。任何帮助将不胜感激！

Answer 1

我开发了一个脚本来主要解决这个问题。主要思想是根据数据库检查工作人员 ID，然后在工作人员已经完成相关 HIT 时隐藏 HIT。

为了让您无需托管自己的数据库服务器，我已将我的脚本作为（免费）服务提供，地址为：http://uniqueturker.myleott.com。如果您在使用脚本时遇到任何问题，或者有任何问题或建议，请告诉我。

我也在此处包含脚本，以防您希望将其与您自己的 URL/数据库一起使用。如果你走这条路，你需要为你的数据库设置一个 Web 界面，该界面接受一个工人 ID，如果允许工人在 HIT 上工作，则返回“1”，否则返回“0”。然后，您只需替换下面的“YOUR_URL”以指向该 Web 界面：

<script type="text/javascript">
 (function() {
  var assignmentId = turkGetParam('assignmentId', '');
  if (assignmentId != '' && assignmentId != 'ASSIGNMENT_ID_NOT_AVAILABLE') {
   var workerId = turkGetParam('workerId', '');
   var url = 'http://YOUR_URL/?workerId='+workerId;
   var request = new XMLHttpRequest();
   request.open('GET', url, false);
   request.send();
   if (request.responseText != '1') {
    document.getElementById('mturk_form').style.display = 'none';
    document.getElementsByTagName('body')[0].innerHTML = "You have already completed the maximum number of HITs allowed by this requester. Please click 'Return HIT' to avoid any impact on your approval rating.";
   }
  }
 })();
</script>

Answer 2

创建一个真正是单个 HIT 的匹配，但每次查看时使用 javascript 动态更改 HIT。然后在发布 HIT 时，将“每个 HIT 的作业数”设置为您想要的参与者数量。这样，您只会获得唯一的参与者。

根据您要运行的 HIT 类型，这是一种可能适合您的技术。我用它来随机化显示给参与者的刺激。

Answer 3

您也可以通过外部问题来做到这一点。我在机械土耳其人身上进行心理学实验，所以我需要独特的参与者。除了要求工人只执行一次 HIT 之外，我还使用 python 脚本来验证唯一性。我的 HIT 都运行 cgi 脚本来产生问题。该脚本查阅一个日志文件，如果该工作人员之前接受过相关工作，它会礼貌地通知他们，因为我需要唯一的参与者，所以 HIT 将不可用。

我以前是有资格的，但发现它真的限制了参与。

Answer 4

如果您想要 x 个唯一用户，请在“设计”部分中使每个 HIT 的分配数等于 x。然后，在加载您的 csv 文件时，只需在文件中放入一个 HIT。

Answer 5

见

http://docs.amazonwebservices.com/AWSMechanicalTurkRequester/2008-08-02/

您可以设置两种类型的限制：

• 对于您创建的特定 HIT 类型，任何 Worker 可以接受的最大分配数。在您设置之前，该值是未定义的。
• 任何 Worker 可以为您的所有 HIT 接受的最大分配数，这些 HIT 没有分配特定于 HIT 类型的限制。初始默认值为 10。

最初，无论 HIT 类型如何，您的所有 HIT 都会与适用于该组的总体限制（默认为 10）分组在一起。

请注意，这是指工作人员当前可以接受的任务数量。工作人员提交任务后，他们可以接受另一个任务。

您可能不应该关心一个工作人员总共完成了多少 HIT，但您可能有一个原因要更改工作人员当前可以接受的数量，而不是默认的 10。当然，工作人员只能接受一个来自具有多个分配的 HIT 分配。

如果您真的非常想限制一个工作人员实际可以执行的 HIT 数量，您将需要指定您不会接受超过每个工作人员的特定数量，明确说明您'将在达到限制后拒绝任何提交，或者您可以使用资格类型来做这件事（但这可能需要大量工作）！

作为后者的一个例子，如果你想限制某人总共做 N 个任务，你可以为每个 HIT 设置一个资格类型，并授予任何一个工人不超过 N 个类型。

Answer 6

只是为了澄清您是否只希望唯一的工人完成单次打击，您所要做的就是将最大分配设置为您想要的任意数量的唯一工人，而 Mechanical Turk 默认情况下只会为该打击分配唯一的工人。

现在，如果您想要跨越多个点击的唯一工人，那么您必须花哨并使用外部问题以及记录工人 id 分机的脚本......

Answer 7

psiTurk（MTurk 行为研究应用程序）使用类似于@david-l 的方法自动防止工人重复 HIT。披露：我是该项目的开发人员之一。