使用 AQL（或 arangojs）从 ArangoDB 获取 d3 的数据

Question

我正在构建一个基于 d3 力导向图的应用，后端使用 ArangoDB，我希望能够尽可能高效地从 Arango 动态加载节点和链接数据。

我不是 d3 方面的专家，但总的来说，力布局似乎希望其数据作为节点数组和链接数组，这些链接以实际节点对象作为源和目标，如下所示：

var nodes = [
        {id: 0, reflexive: false},
        {id: 1, reflexive: true },
        {id: 2, reflexive: false}
    ],
    links = [
        {source: nodes[0], target: nodes[1], left: false, right: true },
        {source: nodes[1], target: nodes[2], left: false, right: true }
    ];

目前我正在使用以下 AQL 查询来获取相邻节点，但它非常繁琐。部分困难是我想包含节点的边信息，即使这些边没有被遍历（以便在从数据库加载这些链接之前显示节点具有的链接数）。

LET docId = "ExampleDocClass/1234567"

 // get data for all the edges
LET es = GRAPH_EDGES('EdgeClass',docId,{direction:'any',maxDepth:1,includeData:true})

// create an array of all the neighbor nodes
LET vArray = ( 
    FOR v IN GRAPH_TRAVERSAL('EdgeClass',docId[0],'any',{ maxDepth:1})
        FOR v1 IN v RETURN v1.vertex
    )

// using node array, return inbound and outbound for each node 
LET vs = (
    FOR v IN vArray
        // inbound and outbound are separate queries because I couldn't figure out
        // how to get Arango to differentiate inbout and outbound in the query results
        LET oe = (FOR oe1 IN GRAPH_EDGES('EdgeClass',v,{direction:'outbound',maxDepth:1,includeData:true}) RETURN oe1._to)
        LET ie = (FOR ie1 IN GRAPH_EDGES('EdgeClass',v,{direction:'inbound',maxDepth:1,includeData:true}) RETURN ie1._from)
        RETURN {'vertexData': v, 'outEdges': oe, 'inEdges': ie}
    )
RETURN {'edges':es,'vertices':vs}

最终输出如下所示： http://pastebin.com/raw.php?i=B7uzaWxs ...几乎可以直接读取到 d3 中（我只需要删除一些重复数据）。

我的图节点有大量链接，因此性能很重要（无论是在服务器和客户端的负载方面，还是在两者之间通信的文件大小方面）。除了简单地扩展相邻节点之外，我还计划创建各种命令来与图形交互。有没有办法更好地构造这个 AQL 查询（例如，通过避免四个单独的图形查询）或使用 arangojs 函数或 FOXX 应用程序完全避免 AQL，同时仍然以我需要的 d3 格式构建响应（包括与每个节点的链接数据)?

Answer 1

抱歉回复晚了，我们正忙于构建 v2.8 ;) 我建议在数据库端做尽可能多的事情，因为通过网络复制和序列化/反序列化 JSON 通常很昂贵，因此传输尽可能少的数据应该是一个好的目标。

首先，我使用了您的查询并在我创建的示例数据集上执行了它（我的数据集中有大约 800 个顶点和 800 个边） 作为基线，我使用了查询的执行时间，在我的例子中是 ~5.0s

因此，我尝试仅在 AQL 中创建与您需要的完全相同的结果。 我在您的查询中发现了一些改进： 1.GRAPH_NEIGHBORS比GRAPH_EDGES快一点。 2.如果您不需要数据，请尽可能避免{includeData: true} 尤其是如果您只需要与GRAPH_NEIGHBORS 和{includeData: false} 来往/来自vertices._id 的性能优于GRAPH_EDGES 一个数量级。 3. GRAPH_NEIGHBORS 去重，GRAPH_EDGES 没有。在您的情况下，这似乎是需要的。 3. 你可以在那里去掉几个子查询。

所以这是我能想到的纯 AQL 查询：

LET docId = "ExampleDocClass/1234567"
LET edges = GRAPH_EDGES('EdgeClass',docId,{direction:'any',maxDepth:1,includeData:true})
LET verticesTmp = (FOR v IN GRAPH_NEIGHBORS('EdgeClass', docId, {direction: 'any', maxDepth: 1, includeData: true})
  RETURN {
    vertexData: v,
    outEdges: GRAPH_NEIGHBORS('EdgeClass', v, {direction: 'outbound', maxDepth: 1, includeData: false}),
    inEdges: GRAPH_NEIGHBORS('EdgeClass', v, {direction: 'inbound', maxDepth: 1, includeData: false})
  })
LET vertices = PUSH(verticesTmp, {
  vertexData: DOCUMENT(docId),
  outEdges: GRAPH_NEIGHBORS('EdgeClass', docId, {direction: 'outbound', maxDepth: 1, includeData: false}),
  inEdges: GRAPH_NEIGHBORS('EdgeClass', docId, {direction: 'inbound', maxDepth: 1, includeData: false})
})
RETURN { edges, vertices }

这会产生与您的查询相同的结果格式，并且具有连接到 docId 的每个顶点在顶点中仅存储一次的优点。 docId 本身在顶点中也只存储一次。 客户端不需要重复数据删除。 但是，在每个顶点的 outEdges / inEdges 中，所有连接的顶点也恰好是一次，我不知道您是否需要知道此列表中的顶点之间是否也有多个边。

此查询在我的数据集上使用 ~0.06s。

但是，如果您付出更多努力，您也可以考虑在 Foxx 应用程序中使用手工遍历。 这有点复杂，但在你的情况下可能会更快，因为你做的子查询更少。 代码可能如下所示：

var traversal = require("org/arangodb/graph/traversal");
var result = {
  edges: [],
  vertices: {}
}
var myVisitor = function (config, result, vertex, path, connected) {
  switch (path.edges.length) {
    case 0:
      if (! result.vertices.hasOwnProperty(vertex._id)) {
        // If we visit a vertex, we store it's data and prepare out/in
        result.vertices[vertex._id] = {
          vertexData: vertex,
          outEdges: [],
          inEdges: []
        };
      }

      // No further action
      break;
    case 1:
      if (! result.vertices.hasOwnProperty(vertex._id)) {
        // If we visit a vertex, we store it's data and prepare out/in
        result.vertices[vertex._id] = {
          vertexData: vertex,
          outEdges: [],
          inEdges: []
        };
      }
      // First Depth, we need EdgeData
      var e = path.edges[0];
      result.edges.push(e);
      // We fill from / to for both vertices
      result.vertices[e._from].outEdges.push(e._to);
      result.vertices[e._to].inEdges.push(e._from);
      break;
    case 2:
      // Second Depth, we do not need EdgeData
      var e = path.edges[1];
      // We fill from / to for all vertices that exist
      if (result.vertices.hasOwnProperty(e._from)) {
        result.vertices[e._from].outEdges.push(e._to);
      }
      if (result.vertices.hasOwnProperty(e._to)) {
        result.vertices[e._to].inEdges.push(e._from);
      }
      break;
  }
};
var config = {
  datasource: traversal.generalGraphDatasourceFactory("EdgeClass"),
  strategy: "depthfirst",
  order: "preorder",
  visitor: myVisitor,
  expander: traversal.anyExpander,
  minDepth: 0,
  maxDepth: 2
};
var traverser = new traversal.Traverser(config);
traverser.traverse(result, {_id: "ExampleDocClass/1234567"});
return {
  edges: result.edges,
  vertices: Object.keys(result.vertices).map(function (key) {
              return result.vertices[key];
            })
};

这种遍历的想法是访问从起始顶点到最多两条边的所有顶点。 深度为 0 - 1 的所有顶点都将与数据一起添加到顶点对象中。 源自起始顶点的所有边都将与数据一起添加到边列表中。 深度为 2 的所有顶点只会在结果中设置 outEdges / inEdges。

这样做的好处是，vertices 被删除了重复数据。和 outEdges/inEdges 包含所有连接的顶点多次，如果它们之间有多个边。

此遍历在我的数据集上执行 ~0.025s，因此它的速度是仅 AQL 解决方案的两倍。

希望这仍然有帮助；）