【问题标题】:Unable to install Hadoop and Spark through Gremlin Shell无法通过 Gremlin Shell 安装 Hadoop 和 Spark
【发布时间】:2016-06-29 19:10:49
【问题描述】:

我正在尝试通过 Gremlin shell 安装 hadoop-gremlin 和 spark-gremlin。

我下载了Gremlin console 3.2.0-incubating

当我运行bin/gremlin.sh 时,gremlin 控制台启动时没有错误。但是,我无法安装 spark-gremlin 或 hadoop-gremlin。

gremlin> :install org.apache.tinkerpop spark-gremlin 3.2.0-incubating
==>Error grabbing Grapes -- [unresolved dependency: com.github.jeremyh#jBCrypt;jbcrypt-0.4: not found]
gremlin> :install org.apache.tinkerpop hadoop-gremlin 3.2.0-incubating
==>Error grabbing Grapes -- [unresolved dependency: com.github.jeremyh#jBCrypt;jbcrypt-0.4: not found]

存在以下(看似相关的)jar:$HOME/lib/apache-gremlin-console-3.2.0-incubating/lib/jBCrypt-jbcrypt-0.4.jar。另外,我在运行控制台之前设置了这些环境变量:

GREMLINHOME=$HOME/lib/apache-gremlin-console-3.2.0-incubating
export HADOOP_GREMLIN_LIBS=$GREMLINHOME/ext/spark-gremlin/plugin:$GREMLINHOME/ext/hadoop-gremlin/plugin:$GREMLINHOME/ext/gremlin-groovy/plugin:$GREMLINHOME/lib
export HADOOP_HOME=/usr/hdp/current/hadoop-client/client
export CLASSPATH=$HADOOP_HOME/*:$HADOOP_HOME/lib/*:$HADOOP_HOME/etc/hadoop

虽然this question 看起来非常相似,但该解决方案似乎是针对 neo4j 的。

如果我可以提供任何其他信息,请告诉我。

【问题讨论】:

    标签: hadoop apache-spark gremlin tinkerpop


    【解决方案1】:

    你需要在~/.groovy/grapeConfig.xml下设置一个葡萄配置文件

    <ivysettings>
      <settings defaultResolver="downloadGrapes"/>
      <resolvers>
        <chain name="downloadGrapes">
          <filesystem name="cachedGrapes">
            <ivy pattern="${user.home}/.groovy/grapes/[organisation]/[module]/ivy-[revision].xml"/>
            <artifact pattern="${user.home}/.groovy/grapes/[organisation]/[module]/[type]s/[artifact]-[revision].[ext]"/>
          </filesystem>
          <ibiblio name="codehaus" root="http://repository.codehaus.org/" m2compatible="true"/>
          <ibiblio name="central" root="http://central.maven.org/maven2/" m2compatible="true"/>
          <ibiblio name="jitpack" root="https://jitpack.io" m2compatible="true"/>
          <ibiblio name="java.net2" root="http://download.java.net/maven/2/" m2compatible="true"/>
        </chain>
      </resolvers>
    </ivysettings>
    

    jBCrypt 依赖来自jitpack 存储库。

    您可以在Apache TinkerPop documentation 中了解更多信息。

    【讨论】:

    • 非常感谢!我现在在加载 hadoop 插件时遇到问题:(我在尝试时得到No FileSystem for scheme: wasb)。从我所做的研究来看,这听起来像是一个类路径问题,但似乎我的类路径是有序的(spark-shell 运行没有问题)。这是一个简单的解决方法,还是我应该将其作为一个单独的问题提出?
    • 听起来像是一个单独的问题
    猜你喜欢
    • 1970-01-01
    • 2018-06-05
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2023-01-30
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多