来自 PostgreSQL 的自定义 ETL OrientDB

Question

我正在做一个 Rails 项目，数据库是 OrientDB 图形数据库。我需要将数据从 Postgres 传输到 OrientDB 图。我在 Ruby 中编写了脚本来从 postgres 中获取数据，并通过创建相关的边和节点将其加载到图形结构中。

但是，这个过程非常缓慢，并且需要几个月的时间才能输入百万条记录。该图在某种程度上是一个密集连接的图。

我想使用 OrientDB 提供的内置 ETL 配置，但它似乎相对复杂，因为我需要从同一个表中的字段创建多个顶点，然后将它们连接起来。我提到了这个documentation。

我可以编写自定义 ETL 以与内置 ETL 工具相同的速度将数据加载到 OrientDB 中吗？

此外，是否有任何关于将数据加载到 OrientDB 的速度的基准。

Answer 1

如果 ETL 不能满足您的需求，您可以使用 Java 或您选择的任何其他 JVM 语言编写自定义导入器。 如果只需要导入一次db，最好的方法是使用plocal访问（嵌入式），然后将生成的数据库移动到服务器下。 使用这种方法，您可以获得最佳性能，因为不涉及网络。 代码应该是这样的 sn-p:

    OrientGraphFactory fc = new OrientGraphFactory("plocal:./databases/import", "admin", "admin");

Connection conn =  DriverManager.getConnection("jdbc....");

Statement stmt = conn.createStatement();

ResultSet resultSet = stmt.executeQuery("SELECT * from table ");

while (resultSet.next()) {
  OrientGraph graph = fc.getTx();

  OrientVertex vertex1 = graph.addVertex("class:Class1", "name", resultSet.getString("name"));
  OrientVertex vertex2 = graph.addVertex("class:Class2", "city", resultSet.getString("city"));

  graph.addEdge(null, vertex1, vertex2, "class:edgeClass");
  graph.shutdown();

}


fc.close();
resultSet.close();

stmt.close();

conn.close();

它是比工作代码更多的伪代码，但将其作为模板用于从原始 RDBMS 导入单个查询/表所需的操作。 关于性能，很难给出数字，它取决于许多因素：架构复杂性、访问类型（plocal、远程）、查找、数据源的连接速度。

关于传送器的更多信息。它将自动导入 OrientDB 中的原始数据库模式和数据。 AFAIK 你有一个工作的 OrientDB 并且肯定 Teleporter 不会在 OrientDb 上创建你所做的相同模式。