MapReduce 批量更新数据存储

Question

我需要使用 Python 批量更新包含 CSV 文件（250,000 行）的数据存储。通过研究这个领域，我可以看到 MapReduce 可以解决这个问题。

我找到了一些显示类似操作的示例，但似乎找不到如何使用此库对数据存储进行简单批量更新的示例。

你知道这方面的任何例子吗，或者你能指出我正确的方向吗？

谢谢

http://code.google.com/p/appengine-mapreduce/wiki/GettingStartedInPython

Answer 1

mapreduce 可以产生 mapreduce.operation.db.Put(entity) 作为迭代器，应用引擎可以非常有效地处理更新。或者您可以将 db.put(entities) 放入您的 mapreduce 方法中。在我看来，您正在从文件中读取数据并更新所有相关实体，mapreduce 可能不是最好的工具。

Answer 2

您还可以使用bulk uploader 将数据从 csv 上传到数据存储区。