【问题标题】:How to Load Data into Titan through Spark如何通过 Spark 将数据加载到 Titan
【发布时间】:2016-08-29 10:35:43
【问题描述】:

我想将数据加载到titanDB,我知道批量加载和gremlin 脚本会这样做,但我想使用spark 做同样的事情。我有 json 格式的数据,我想使用 spark 加载它。他们在 Titan 0.9 和 1.0.0 中将 spark 与 Titan 集成在一起。但是使用 SparkGraphComputer 我可以从 titan 读取数据,但我想做相反的事情,我想使用 spark 将数据写入 titan

参考资料 http://tinkerpop.apache.org/docs/3.1.0-incubating/#sparkgraphcomputer

https://groups.google.com/forum/#!topic/aureliusgraphs/DGwJnpdHPmU

【问题讨论】:

  • 欢迎来到 StackOverflow。请参考stackoverflow.com/help/how-to-ask 了解如何提出好问题。
  • 你认为这不是一个好问题吗??
  • 我不明白,但除此之外,您没有提供您尝试过的示例。您确实提供了一些代表您进行研究的文档的链接,但我认为这还不够。
  • 感谢您的回复 好的,我想将数据加载到 titanDB 中,并且我知道批量加载和 gremlin 脚本会这样做,但我想使用 spark 做同样的事情。我有 json 格式的数据,我想使用 spark 加载它。他们在 Titan 0.9 和 1.0.0 中将 spark 与 Titan 集成在一起。但是使用 SparkGraphComputer 我可以从 titan 读取数据,但我想做相反的事情,我想使用 spark 将数据写入 titan
  • 如果你更新你的问题会更好。无论如何,由于我不熟悉泰坦,因此我无法为您提供帮助。不过,请更新您的问题,以便其他人可以。

标签: graph apache-spark titan gremlin-server


【解决方案1】:

你需要使用 TinkerPop 的BulkLoaderVertexProgram:

http://s3.thinkaurelius.com/docs/titan/1.0.0/titan-hadoop-tp3.html

您可以在此 Titan 数据迁移示例存储库中查看其工作原理的一些示例:

https://github.com/dkuppitz/openflights

以及这个通过 CSV 加载数据的示例:

https://groups.google.com/forum/#!msg/gremlin-users/AetuGcLiBxo/KW966WAyAQAJ

【讨论】:

    猜你喜欢
    • 2013-11-23
    • 1970-01-01
    • 2015-12-30
    • 2017-12-17
    • 2016-06-27
    • 1970-01-01
    • 1970-01-01
    • 2015-10-13
    • 2016-05-01
    相关资源
    最近更新 更多