【问题标题】:bluemix spark as a service - how to run spark-submit.sh with cygwin?bluemix spark as a service - 如何使用 cygwin 运行 spark-submit.sh?
【发布时间】:2016-05-19 06:44:47
【问题描述】:

bluemix 上提供的自定义 spark-submit.sh 脚本规定了以下限制:

限制:在 Linux 和 Mac OS X 上支持运行 spark-submit.sh 脚本。

来源https://console.ng.bluemix.net/docs/services/AnalyticsforApacheSpark/index-gentopic3.html#genTopProcId4

假设只要有正确的二进制文件可用,该脚本也可以与 cygwin 一起使用,例如bash, sed, grep, curl, hash?

【问题讨论】:

    标签: apache-spark ibm-cloud


    【解决方案1】:

    我不明白为什么它不应该在 Cygwin 中工作,但可能有一些事情可能会失败,当你测试不同的场景时你会知道。

    我使用 cygwin 和非常简单的程序 hellopy.py 对此进行了测试,该程序可以打印出 sparkcontext 版本,并且运行良好。

    我得到了所有的文件 stdout、sterr、spark-submit_xxx.log。所以 curl 有效。

    这是我在安装 cygwin 时安装的(bash、sed、grep、curl、hash 和 OPENSSL、libdev)。获取所有更高版本。(Curl 7.471。libcurl 7.48,OpenSSL 1.0.2 libssh)

    这是我在执行 curl -V 时看到的 $卷曲-V curl 7.47.1 (i686-pc-cygwin) libcurl/7.48.0 OpenSSL/1.0.2h zlib/1.2.8 libidn/1.29 libpsl/0.13.0 (+libidn/1.29) libssh2/1.7.0 nghttp2/1.7.1 协议: dict 文件 ftp ftps gopher http https imap imaps ldap ldaps pop3 pop3s rtsp scp sftp smb smbs smtp smtps telnet tftp 功能: 调试 IDN IPv6 Largefile GSS-API Kerberos SPNEGO NTLM NTLM_WB SSL libz TLS-SRP HTTP2 UnixSockets Metalink PSL

    注意:- 当您在 cygwin 安装页面中搜索上述库时,只需检查其他支持库,如 perl 和其他东西(无论有什么建议)。

    我希望它有所帮助。 在正式测试之前,请考虑将上述作为临时解决方案。

    谢谢, 查尔斯。

    【讨论】:

      猜你喜欢
      • 2017-11-25
      • 1970-01-01
      • 1970-01-01
      • 2015-02-01
      • 1970-01-01
      • 1970-01-01
      • 2016-08-11
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多