Mapreduce 作业随机失败，并出现“BadValueError：名称必须低于 500”答案

【问题标题】：Mapreduce job randomly fails with 'BadValueError: name must be under 500'Mapreduce 作业随机失败，并出现“BadValueError：名称必须低于 500”
【发布时间】：2013-03-05 10:47:22
【问题描述】：

我正在运行一个映射大约 10 万条记录的 map reduce 作业。

映射步骤在数千条记录后失败（每次不同的地方），应用引擎日志中出现以下错误BadValueError: name must be under 500

管道作业 ID：baada59c857d11e28527e1efd5a519d7

输出 Blob 文件名：content_contributors_report_1362478582.csv

日志转储

 Final result for job '1581739058957C0CA88F5' is 'success' E2013-03-05
 12:25:21.637 name must be under 500 bytes. Traceback (most recent call
 last):   File
 "/python27_runtime/python27_lib/versions/third_party/webapp2-2.5.2/webapp2.py",
 line 1535, in __call__
     rv = self.handle_exception(request, response, e)   File "/python27_runtime/python27_lib/versions/third_party/webapp2-2.5.2/webapp2.py",
 line 1529, in __call__
     rv = self.router.dispatch(request, response)   File "/python27_runtime/python27_lib/versions/third_party/webapp2-2.5.2/webapp2.py",
 line 1278, in default_dispatcher
     return route.handler_adapter(request, response)   File "/python27_runtime/python27_lib/versions/third_party/webapp2-2.5.2/webapp2.py",
 line 1102, in __call__
     return handler.dispatch()   File "/python27_runtime/python27_lib/versions/third_party/webapp2-2.5.2/webapp2.py",
 line 572, in dispatch
     return self.handle_exception(e, self.app.debug)   File "/python27_runtime/python27_lib/versions/third_party/webapp2-2.5.2/webapp2.py",
 line 570, in dispatch
     return method(*args, **kwargs)   File "/base/data/home/apps/s~myap/a-276.365486148015822746/mapreduce/base_handler.py",
 line 68, in post
     self.handle()   File "/base/data/home/apps/s~myapp/a-276.365486148015822746/mapreduce/handlers.py",
 line 437, in handle
     spec, state, self.base_path())   File "/base/data/home/apps/s~myapp/a-276.365486148015822746/mapreduce/handlers.py",
 line 517, in _finalize_job
     mapreduce_spec.mapper.output_writer_class().finalize_job(mapreduce_state)
 File
 "/base/data/home/apps/s~myapp/a-276.365486148015822746/mapreduce/output_writers.py",
 line 454, in finalize_job
     files.blobstore.get_blob_key(filename)))   File "/base/data/home/apps/s~myapp/a-276.365486148015822746/mapreduce/lib/files/blobstore.py",
 line 112, in get_blob_key
     _BLOB_FILE_INDEX_KIND, ticket, namespace='')])[0]   File "/python27_runtime/python27_lib/versions/1/google/appengine/api/datastore_types.py",
 line 504, in from_path
     ValidateString(id_or_name, 'name')   File "/python27_runtime/python27_lib/versions/1/google/appengine/api/datastore_types.py",
 line 176, in ValidateString
     raise exception('%s must be under %d bytes.' % (name, max_len)) BadValueError: name must be under 500 bytes.

【问题讨论】：

您使用的是哪个版本的 mapreduce？
看看这是否有帮助：stackoverflow.com/questions/11178869/…
感谢@lucemia，原来我使用了错误的版本，不久前我不得不下载一个单独的 mapreduce 库并将其添加到我的项目代码库中，我现在恢复到与 SDK 捆绑的这似乎已经解决了问题。

标签： google-app-engine python-2.7 mapreduce

【解决方案1】：

不同版本的mapreduce可能会导致这个问题。基于Run Map Reduce on non-default versions? 推荐使用https://code.google.com/p/appengine-mapreduce/

文档中陈旧的捆绑包链接是一个错误。那会被清理干净很快。

我们的一些 SDK 包含一些 MapReduce（出于历史原因），但是开源版本是目前的最佳选择。

【讨论】：

我们最终恢复到 SDK 中的版本