去除边缘时 Titan 性能提高

Question

以下是我的测试程序，用于测试 Titan 中去除边缘时的性能：

顶点 v1 = g.addVertex( null ); 诠释 i = 0; long lastTime = System.currentTimeMillis(); 而（真）{ 顶点 v2 = g.addVertex( null ); 可迭代迭代 = v1.getEdges(Direction.IN, "last-data" ); for( 边 e : 可迭代 ) { e.删除（）； } v2.addEdge（“最后一个数据”，v1）； g.commit(); 如果 ( 我 % 100 == 0 ) { 持续时间长 = ( System.currentTimeMillis() - lastTime ); System.out.println("count:" + String.format("%7s", i) + ", duration:" + String.format("%7s", duration) + "ms"); lastTime = System.currentTimeMillis(); } // 万一 我++； } // 结束而

随着时间的推移，移除边缘所需的时间会越来越长，即使边缘的数量始终保持为 1。

这是一个错误吗？ 由于边缘的数量始终为 1，因此移除边缘所需的时间不应该保持不变吗？ 是什么导致了这种行为？ 无论如何解决方法？

Answer 1

可以在每个创建的v2 上执行setProperty 加速降级，如下所示：

    byte[] bytes = new byte[ 65536 ];
    Arrays.fill( bytes, (byte) 0 );

    Vertex v1 = g.addVertex( null );
    Edge pE = null;

    int i = 0;
    long lastTime = System.currentTimeMillis();
    while ( true ) {
        Vertex v2 = g.addVertex( null );
        v2.setProperty( "chunk", bytes );

        if ( pE != null ) {
            pE.remove();
        }

        pE = v2.addEdge( "last-data", v1 );

        g.commit();

        if ( i % 1000 == 0 ) {
            long duration = ( System.currentTimeMillis() - lastTime );
            System.out.println( "count:" + String.format( "%7s", i ) + ", duration:" + String.format( "%7s", duration ) + "ms" );
            lastTime = System.currentTimeMillis();
        } // end if
        i++;
    } // end while

即使我保持之前的优势pE，性能仍会攀升，但速度会较慢（少于 50000 次循环）。

Answer 2

当您删除一条边时，它可能会从图的角度消失，但实际上它已被删除，以便在未来的压缩中删除。

您的代码正在向一个现有顶点添加边，即v1，（以及每个循环上新创建的顶点）并通过从v1 中删除边来删除它。这意味着随着被删除边的数量在压缩之前增加，您必须读取墓碑数据以到达最后添加的边。

除了执行压缩之外，另一种方法是从相反方向（即从v2）删除边缘或通过其 ID 删除边缘。这些方法让我克服了这些问题。具体给定您的代码，假设这是一个现实世界的问题，您正在从超级节点快速添加/删除边，那么某种形式的以顶点为中心的查询可能会有所帮助......比如：

v1.query().limit(1).edges()

可能修复您的“测试代码”，但您必须尝试看看。这种方法对我有用（您可以粘贴到 Titan Gremlin REPL）：

g = TitanFactory.open('conf/titan-cassandra.properties')

v1 = g.addVertex(null)

bytes = new byte[ 65536 ]
Arrays.fill( bytes, (byte) 0 )

i = 0;
lastTime = System.currentTimeMillis();
toRemove = null
while ( true ) {
  def v2 = g.addVertex( null );
  v2.setProperty('b',bytes)

  if (toRemove != null) toRemove.remove()

  toRemove = v2.addEdge( "last-data", v1 );

  g.commit();

  if ( i % 100 == 0 ) {
      def duration = ( System.currentTimeMillis() - lastTime );
      println "count:" + String.format( "%7s", i ) + ", duration:" + String.format( "%7s", duration ) + "ms"
      lastTime = System.currentTimeMillis();
  } // end if
  i++;
} 

Answer 3

性能下降很可能是由于堆积了标记先前添加的边缘删除的墓碑。这些仅在下一次压实时被清除。这就是为什么您会看到 Cassandra 的性能受到影响，而 BerkeleyJe 的性能受到影响（它以不同的方式处理删除）。

有一些调整选项可以为此类用例获得更好的性能，但从根本上说，这种行为不会消失。 我们正在努力支持边缘上的生存时间标记，这将允许您为边缘指定过期时间，如果适用的话，这将是一种在这种情况下处理删除的更具可扩展性的方式。