【问题标题】:spark-submit is not recognized as an internal or external commandspark-submit 未被识别为内部或外部命令
【发布时间】:2018-12-16 12:59:12
【问题描述】:

我正在尝试运行我的第一个 spark 程序,但我陷入了困境。

我正在为 python 使用 enthought canopy 并设置我的路径变量 %SPARK_HOME%\ , %JAVA_HOME%\,C:\WINDOWS/system32 。 在我的canopy 命令提示符中运行 spark-submit ratings-counter.py 时,显示 spark-submit 的错误不是内部或外部命令、可运行程序或批处理文件。 任何人都可以提供帮助会很棒

【问题讨论】:

    标签: apache-spark


    【解决方案1】:

    在窗口中 转到命令提示符并键入 set SPARK_HOME

    然后将打印主目录,然后键入以下命令行:

    %SPARK_HOME%\bin\spark-shell
    

    如果它正确,那么您的配置是正确的。通过 Canopy 也可以试试。

    进一步...看看

    从 linux 提示符中查找现有 spark 配置的提示:

    找到您现有的 spark 安装和正在使用的 spark 配置的位置。这通常在/etc/spark/conf

    readlink -f spark-submit  // windows doesnt have readlink
    

    输出会像

    /opt/cloudera/parcels/CDH-5.5.0-1.cdh5.5.0.p0.27
    
    /opt/cloudera/parcels/CDH-5.5.0-1.cdh5.5.0.p0.27/lib/spark/conf -> /etc/spark/conf
    

    【讨论】:

    • 先生,我按照你上面所说的做了,spark 运行得非常好。现在如何在 enthought canopy 中运行应用程序。我正在做 spark-submit "文件名" 并按 enter 。但它显示了无法识别的相同错误。
    • 请看我的更新。有不同的方式来设置 spark home 路径。
    猜你喜欢
    • 2014-04-29
    • 1970-01-01
    • 1970-01-01
    • 2013-10-06
    • 2013-10-11
    • 2013-01-25
    • 2016-10-01
    • 2022-01-22
    • 2012-02-06
    相关资源
    最近更新 更多