【发布时间】:2017-04-28 23:02:31
【问题描述】:
我是 arango 的新手。我正在尝试将我的一些数据从 Neo4j 导入到 arango。 我正在尝试添加数百万个节点和边来存储各种人的播放列表数据。我有来自 neo4j 的 csv 文件。我运行了一个脚本来将节点的 csv 文件的格式更改为具有 _key 属性。并且边缘具有 _to 和 _from 属性。 当我在一个非常小的数据集上尝试这个时,一切都很完美,我可以在 UI 上看到图表并执行查询。宾果游戏!
现在,我正在尝试添加数百万行数据(每个 arangoimp 批次导入大约 100,000 行的 csv)。每批有 5 个集合(每个集合有一个不同的 csv 文件) 在大约 7-8 批这样的数据之后,系统突然变得很慢,没有响应并抛出以下错误:
ERROR 错误消息:失败并出现错误:集合损坏 这只是随机出现的任何批次,尽管数据的格式与之前的批次完全相同
错误无法连接到端点'tcp://127.0.0.1:8529',数据库:'_system',用户名:'root' FATAL 从服务器收到错误:HTTP 401(未经授权)'
否则它只会持续处理几个小时而几乎没有任何进展
我猜这一切都与大量进口有关。有帖子说可能我的文件描述符太多了,不知道怎么处理。
我注意到的另一件事是,所有 5 个集合中最大的一个是最容易出错的那个(尽管其他的也有)。即使在不同的导入语句中,文件描述符是否仍然特定于某个集合?
有人可以帮我指出正确的方向吗?我不确定如何开始调试问题
提前谢谢你
【问题讨论】:
标签: arangodb