【问题标题】:Showing Amazon mechanical turk qualification test result显示亚马逊机械土耳其人资格测试结果
【发布时间】:2012-05-09 18:34:56
【问题描述】:

我希望设置一个 Amazon mturk 资格测试,能够向员工展示他们做错了哪些问题。

例如:

如果他们的工人错误地将此问题回答为“相同”,我想显示另一个屏幕以提示他们确实犯了错误,并指出正确答案背后的原因。

我在亚马逊文档网站上苦苦寻找,但无济于事。我也知道这是可能的,因为我在尝试自己进行一些资格测试时遇到了具有相同功能的资格测试,特别是来自 CrowdSource。

【问题讨论】:

  • 此功能在资格测试中不可用,因为它们必须使用 QuestionForm,除非 QuestionForm 包含 java 小程序来执行请求的功能。

标签: amazon-web-services mechanicalturk


【解决方案1】:

Thomas 的答案是正确的答案。您无法在 Amazon Mechanical Turk 中检索 QualificationTest 的结果。 Thomas 提出的将 Java Applet 作为“解决方法”的建议是可行的,但会给资格创建者带来很多复杂性。

如果您决定采用该方法,则需要使用Application 标记,该标记记录在QuestionForm 问题类型中。您可以在此处查看更多信息:http://docs.aws.amazon.com/AWSMechTurk/latest/AWSMturkAPI/ApiReference_QuestionFormDataStructureArticle.html

它会像下面这样工作:

<Application>
  <JavaApplet>
    <AppletPath>http://tictactoe.amazon.com/applets/</AppletPath>
    <AppletFilename>GameViewer.class</AppletFilename>
    <Width>400</Width>
    <Height>300</Height>
    <ApplicationParameter>
      <Name>game_id<Name>
      <Value>01523</Value>
    </ApplicationParameter>
  </JavaApplet>
</Application> 

作为替代建议,您可以考虑只创建一个 HIT(诚然,您可能需要向工人提供奖励,例如 0.01 美元)并要求工人完成此操作。抓住那些通过你的测试的人,并为那些工人创建一个资格。这将为您提供 HIT 的全部功能(HTML、IFRAME 等),您将获得所有结果。不利的一面是,您可能需要向工人支付至少 0.01 美元才能完成资格认证,但这并不是严格要求的(您可以创建 HIT 并将其定价为 0.00 美元)。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多