【问题标题】:Amazon Mechanical Turk: Random Questions in One Qualification TypeAmazon Mechanical Turk:一种资格类型中的随机问题
【发布时间】:2017-03-19 07:53:42
【问题描述】:

我正在使用CreateQualificationType 操作在 MTurk 中创建一个新的资格类型,以便我可以在我的 HIT 中要求此资格测试。

现在我有一组关于这个资格测试的问题,但我只希望要求这个资格测试的 MTurk 工人回答这些问题的一小部分,不同的作品回答 不同的问题随机。我在AWS Document about Qualifications 中没有找到任何有用的答案。有没有办法做到这一点?

【问题讨论】:

    标签: amazon-web-services mechanicalturk


    【解决方案1】:

    实际上是小菜一碟。您需要做的是在循环中创建问题 xml 文件,然后从该问题 xml 创建命中。在下面的示例中,我手工制作了一个问题 xml,并验证它在沙箱上是否有效。然后我将问题 xml 文件拆分为与未更改的部分相对应的 a、b、c 部分,然后在我的循环中将 xml 代码写入文本文件。

    • 部分
    • 部分问题发生变化,在本例中为图像
    • partb 部分改变的问题,在这种情况下是多项选择
    • 部分

    在进度结束时,我有一个有效的 xml 文件,我在创建命中时打开并使用它。现在我知道这个问题是关于资格的,但想法完全一样。

    for hit_number in range(how_many):
        print(hit_number)
        my_emotions = sample(emotion_names,5)
        my_emoji = sample(emoji_numbers,1)
        HIT_image = <a url on S3 is convenient>
    
        f_out = open('data/dynamic_question.xml', 'w')
        f_out.write(parta)
        f_out.close()
    
        f_out = open('data/dynamic_question.xml', 'a')
        f_out.write('    <DataURL>' + HIT_image + '</DataURL>' + '\n')
        f_out.write(partb)
    
        for emotion in my_emotions:
            f_out.write('          <Selection>' + '\n')
            f_out.write('            <SelectionIdentifier>' + emotion + '</SelectionIdentifier>' + '\n')
            f_out.write('            <Text>' + emotion.capitalize() + '</Text>' + '\n')
            f_out.write('          </Selection>' + '\n')
    
        f_out.write(partc)
        f_out.close()
    
        with open("data/dynamic_question.xml") as f:
            question = f.read()
    
        # Create the HIT 
        response = client.create_hit(
    

    【讨论】:

    • 请您完成您的示例好吗?看起来你最后遗漏了一些代码。
    【解决方案2】:

    很遗憾,这是不可能的。资格测试只能使用 QuestionForm XML 设置,不允许任何类型的随机化。最常推荐的替代方法是创建包含您想要的内容的 HIT,然后根据员工对 HIT 的响应为他们分配资格分数。不太理想,但却是唯一的选择。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2015-07-10
      相关资源
      最近更新 更多