graphloader 可以分发吗？我的集群机器处于生产模式

【问题标题】：Does graphloader can be distributed ? I have cluster machines on production modegraphloader 可以分发吗？我的集群机器处于生产模式
【发布时间】：2017-03-24 11:07:03
【问题描述】：

我使用 DSE Graph Loader 从 Hadoop 分布式文件系统读取输入文件。

我想以分布式的方式将数据插入dse图集群（在多台机器上）。如何做？

【问题讨论】：

标签： spark-streaming datastax datastax-enterprise datastax-enterprise-graph

【解决方案1】：

DSE Graph Loader 是一个命令行实用程序，支持从多种来源加载数据，包括 CSV、文本、JSON、Gryo、HDFS 和 AWS S3 来源。它不能作为 Hadoop/Spark 作业运行。

要使用多个线程并行化注入，请配置参数 load_threads（默认为 1）。文档可以在这里找到：Configuring DSE Graph Loader

【讨论】：

spark job可以管理在10台机器上运行的graphloader吗？（并行）
不，Graph Loader 是一个命令行实用程序。具有线程的单个进程是当前状态。这不是您可以运行的 Hadoop/Spark 作业。