Amazon Mechanical Turk：一种资格类型中的随机问题答案

【问题标题】：Amazon Mechanical Turk: Random Questions in One Qualification TypeAmazon Mechanical Turk：一种资格类型中的随机问题
【发布时间】：2017-03-19 07:53:42
【问题描述】：

我正在使用CreateQualificationType 操作在 MTurk 中创建一个新的资格类型，以便我可以在我的 HIT 中要求此资格测试。

现在我有一组关于这个资格测试的问题，但我只希望要求这个资格测试的 MTurk 工人回答这些问题的一小部分，不同的作品回答 不同的问题随机。我在AWS Document about Qualifications 中没有找到任何有用的答案。有没有办法做到这一点？

【问题讨论】：

标签： amazon-web-services mechanicalturk

【解决方案1】：

实际上是小菜一碟。您需要做的是在循环中创建问题 xml 文件，然后从该问题 xml 创建命中。在下面的示例中，我手工制作了一个问题 xml，并验证它在沙箱上是否有效。然后我将问题 xml 文件拆分为与未更改的部分相对应的 a、b、c 部分，然后在我的循环中将 xml 代码写入文本文件。

部分
部分问题发生变化，在本例中为图像
partb 部分改变的问题，在这种情况下是多项选择
部分

在进度结束时，我有一个有效的 xml 文件，我在创建命中时打开并使用它。现在我知道这个问题是关于资格的，但想法完全一样。

for hit_number in range(how_many):
    print(hit_number)
    my_emotions = sample(emotion_names,5)
    my_emoji = sample(emoji_numbers,1)
    HIT_image = <a url on S3 is convenient>

    f_out = open('data/dynamic_question.xml', 'w')
    f_out.write(parta)
    f_out.close()

    f_out = open('data/dynamic_question.xml', 'a')
    f_out.write('    <DataURL>' + HIT_image + '</DataURL>' + '\n')
    f_out.write(partb)

    for emotion in my_emotions:
        f_out.write('          <Selection>' + '\n')
        f_out.write('            <SelectionIdentifier>' + emotion + '</SelectionIdentifier>' + '\n')
        f_out.write('            <Text>' + emotion.capitalize() + '</Text>' + '\n')
        f_out.write('          </Selection>' + '\n')

    f_out.write(partc)
    f_out.close()

    with open("data/dynamic_question.xml") as f:
        question = f.read()

    # Create the HIT 
    response = client.create_hit(

【讨论】：

请您完成您的示例好吗？看起来你最后遗漏了一些代码。

【解决方案2】：

很遗憾，这是不可能的。资格测试只能使用 QuestionForm XML 设置，不允许任何类型的随机化。最常推荐的替代方法是创建包含您想要的内容的 HIT，然后根据员工对 HIT 的响应为他们分配资格分数。不太理想，但却是唯一的选择。

【讨论】：