aws 海王星因大图下降而超时 ()答案

【问题标题】：aws neptune times out for large graph drop ()aws 海王星因大图下降而超时 ()
【发布时间】：2021-12-09 04:18:04
【问题描述】：

已经有一些关于这个主题的线程.. 特别是this one

但是除了批处理之外还有什么推荐的解决方案来删除大图吗？我尝试增加超时，但它不起作用

下面是例子..

gremlin> g.V().count()

==>5230885

gremlin> g.V().drop().iterate()

{"requestId":"77c64369-45fa-462f-91d7-5712e3308497","detailedMessage":"在评估 [RequestMessage{, requestId=77c64369-45fa-462f-91d7-5712e3308497 期间，脚本发生超时， op='eval', processor='', args={gremlin=g.V().drop().iterate(), bindings={}, batchSize=64}}] - 考虑增加超时时间","code": "TimeLimitExceededException"} 输入 ':help' 或 ':h' 寻求帮助。显示堆栈跟踪？ [yN]N

gremlin> g.E().count()

==>83330550

gremlin> ：远程配置超时无

==>远程超时已禁用

gremlin> g.E().drop().iterate()

{"requestId":"d418fa03-72ce-4154-86d8-42225e4b9eca","detailedMessage":"在评估 [RequestMessage{, requestId=d418fa03-72ce-4154-86d8-42225e4b9eca 时脚本中发生超时， op='eval', processor='', args={gremlin=g.E().drop().iterate(), bindings={}, batchSize=64}}] - 考虑增加超时时间","code": "TimeLimitExceededException"} 输入 ':help' 或 ':h' 寻求帮助。显示堆栈跟踪？ [yN]N

【问题讨论】：

标签： gremlin amazon-neptune

【解决方案1】：

您可以使用参数组选项neptune_query_timeout 来增加您的海王星集群的超时时间。

如果使用 3.3.7 版本的 Java 客户端，您可以为特定请求指定它： Set Timeouts at a Per-Query Level

希望你很快就能跑起来：

g.with("scriptEvaluationTimeout", 600).V().drop()

【讨论】：

【解决方案2】：

您目前有两种选择来删除整个大图。当然，一种选择是删除当前集群并创建一个新集群。要删除现有图，最好的方法是使用多个线程分批删除图块。我一直在研究一些可以做到这一点的 Python 代码。它目前在这个位置的一个分支上。

https://github.com/awslabs/amazon-neptune-tools/tree/master/drop-graph

对于您拥有的工具应该可以正常工作的大小图表。目前它确实有一些限制在代码中记录。

2021 年 12 月 8 日更新添加：

自从提出这个问题以来，Amazon Neptune 现在支持快速重置 API，可用于删除集群中的所有数据。更多细节在这里：https://docs.aws.amazon.com/neptune/latest/userguide/manage-console-fast-reset.html

【讨论】：

谢谢，我试试看
链接好像没有了
感谢您指出这一点。我将编辑答案。该代码是已合并的 PR。当然，这意味着链接已更改。

【解决方案3】：

如果您遇到 LOAD 或 UNLOAD 请求超时问题，请考虑应用 neptune_query_timeout 配置设置，但必须为您处理的每个数据库实例进行设置（而不仅仅是为集群设置一次）。不同的配置参数集可以应用于集群和单个实例，因此请确保相关实例的参数集具有正确的超时设置。

【讨论】：