【问题标题】:Mechanical Turk: get workers to complete all HITs in a batchMechanical Turk:让工人分批完成所有 HIT
【发布时间】:2014-01-12 17:26:43
【问题描述】:

我正在 AMT 上进行实验。我有 24 个 HIT 批次。为了使我的设计保持平衡,我希望工人只能在一批完成所有 HIT 后才能提交。

我知道一个可能的解决方案是创建一个具有 24 个字段的 HIT,但我想避免这种情况,因为我想将所有 HIT 的信息分开。

提前非常感谢, 加布里埃拉

【问题讨论】:

    标签: mechanicalturk


    【解决方案1】:

    您可以为每批 HIT 创建自定义资格类型。对于每个批次,找到将完成该批次的工人(通过一些资格测试或手动),并将资格授予该工人。确保工人知道他们必须完成批次中的所有 HIT 才能被接受。

    现在,工人将是唯一允许完成批次的工人,您可以对许多批次执行此操作。但是,这需要您进行一些体力劳动。

    【讨论】:

    • 这并不能解决任何问题。仍然没有办法强制工人在不使用 RejectAssignment 的情况下完成所有 HIT。此外,如果工人在其中一个 HIT 到期时,他们应该被拒绝 23 次吗?一个有 24 个问题的 HIT 是解决这个问题的唯一明智的方法。
    • 我认为说它不能解决任何问题是短视的。这解决了用户提供的一些额外工作(直接联系工人并进行资格测试)的参数内的问题。如果工人希望以某种特定格式保存他/她的数据,以便进行 HIT 的唯一方法是单独提问,这可以解决他/她的问题。显然,如果工人遇到技术障碍,例如即将到期的 HIT,可以进行特殊调整,但这种解决方案在大多数情况下都有效。
    【解决方案2】:

    这是不可能的。没有办法强制工人提交您的批次中的所有 HIT 或不提交。您可以运行 RejectAssignment 来拒绝提交

    我知道一种可能的解决方案是创建一个具有 24 个字段的 HIT,但我想避免这种情况,因为我想将所有 HIT 的信息分开。

    我不明白你不想这样做的原因,但这是唯一可能的方法。您可以使用 JavaScript 让他们一次只看到一个问题。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多