允许多个语言环境作为 Mechanical Turk 中的资格测试答案

【问题标题】：Allow multiple locales as a qualification test in Mechanical Turk允许多个语言环境作为 Mechanical Turk 中的资格测试
【发布时间】：2012-05-15 14:59:23
【问题描述】：

我想要一个要求用户位于美国或加拿大的 HIT。我正在使用命令行工具，但似乎任何资格都被视为 all 必需的——我想要一个布尔或。这可能吗？

例如，在.properties 文件中，我有：

# Worker_NumberHITsApproved > 100
qualification.1:00000000000000000040
qualification.comparator.1:GreaterThan
qualification.value.1:100

# Worker_PercentAssignmentsApproved > 95%
qualification.2:000000000000000000L0
qualification.comparator.2:GreaterThan
qualification.value.2:95

# Worker_Locale
qualification.3:00000000000000000071
qualification.comparator.3:EqualTo
qualification.locale.3:US

所有这三个资格都是必需的。假设我想要求前两个，然后是 US 或 CA 的语言环境。这有语法吗？

【问题讨论】：

你能不能把它作为两个任务来完成，一个需要包括美国语言环境在内的所有内容，第二个除了需要加拿大语言环境之外都一样吗？
也许可以，但我想限制每个工人执行任务的次数，所以我认为这行不通。如果没有办法做到这一点，我会感到惊讶——看起来很简单。

标签： mechanicalturk

【解决方案1】：

Mechanical Turk now 支持新的 In 和 NotIn 比较器，允许多个区域设置。以下是来自该链接的示例 SOAP 请求，它需要来自美国、加拿大或英国的工作人员：

<QualificationRequirement>
   <QualificationTypeId>00000000000000000071</QualificationTypeId>
   <Comparator>In</Comparator>
   <LocaleValue>US</LocaleValue>
   <LocaleValue>CA</LocaleValue>
   <LocaleValue>UK</LocaleValue>
</QualificationRequirement>

另见AWS MTurk documentation。

【讨论】：

有人知道如何用 boto 做到这一点吗？我试过这个min_qualifications.add(LocaleRequirement(comparator='In', required_to_preview=False, locale=['US', 'CA', 'GB', 'IE', 'AU'] 和这个locale='US, CA, GB, IE, AU'。两者都抛出AWS.InvalidEnumeratedParameter，它提供了一个未引用的预期值列表。但如果我取消引用，boto 会认为变量。
是的，那完全是另一回事。我也尝试过但没有成功 - 尝试按照您的建议进行操作，并将 LocaleRequirement 子类化以更改其 get_as_params() 方法。
This answer 解释了如何使用mturk-python

【解决方案2】：

更新：此缺陷可能已得到解决，请参阅dmcc's answer 了解更多信息。

我认为你运气不好。来自the API docs（强调添加）：

区域设置资格

...剪辑...

注意
工人必须满足 HIT 的所有资格要求才有资格获得 HIT。这意味着您不能指定多个区域设置资格要求，因为给定的 Worker 将只能满足其中一项要求。 无法让不同地区的工人有资格获得单一 HIT。

【讨论】：

我上周就同样的问题联系了亚马逊。他们说你只需要为美国和加拿大设置单独的 HIT。
现在已经不是这样了。请参阅@dmcc 的回答。

【解决方案3】：

TurkPrime.com 使用 Web 界面提供此功能以及更多功能。您可以排除和包括工作人员、向他们发送电子邮件、重新开始调查等等。

我和我的同事已经使用了一段时间，并且非常喜欢它。

【讨论】：

【解决方案4】：

这个问题及其答案在这一点上已经相当老了，但我无法找到专门针对命令行工具的解决方案。幸运的是，我在玩了一段时间后能够弄清楚。在您的.properties 文件中：

# user must be located in the US or Canada
qualification.1:00000000000000000071
qualification.comparator.1:In
qualification.locale.1.1:US
qualification.locale.1.2:CA

一个相当适中的解决方案，但在我看来没有很好的记录:)

【讨论】：