Window 环境下安装 Mobius 遇到困难？答案

【问题标题】：Facing difficulties in Installing Mobius in Window environment?Window 环境下安装 Mobius 遇到困难？
【发布时间】：2019-07-11 21:22:45
【问题描述】：

我基本上是一名 .net 程序员，我的任务是使用 SPARK 和 Cassandra 分析数据。我一直在寻找与 SPARK 一起使用的 C# API，但我发现了 Mobius（因为我不懂 JAVA）。我开始从 GitHub 下载 Mobius 项目，并且按照 Windows 的构建，我按照上面提到的步骤进行操作，但无法正常工作。我有以下问题。

1) 我在 Ubuntu 机器上有一个 DataStax 企业，我的 Cassandra 和 SPARK 可用（独立）。现在我想从我的 .NET 项目连接到 SPARK，然后在 Cassandra 中处理数据。我可以这样做吗？我想在调试模式下这样做吗？我只会使用 SPARK-SQL，因为我对 SQL 很熟悉。

2) 为了让 Mobius 工作，必须在我的 Windows 机器上安装 SOLR 和 SPARK 吗？我可以从 Windows SPARK 和 Mobius 连接到 CASSANDRA（Ubuntu 机器）吗？

3) 当我运行命令“sparkclr-submit.cmd debug”以获取 CSharpBackendPortNumber 的值时，我收到“ load-spark-env.cmd”丢失。我在哪里可以找到这个文件，如何获得 CSharpBackendPortNumber 的值？我的windows机器有必要安装SPARK吗？

【问题讨论】：

对于迟到的未回复，我深表歉意。我在此处发布此内容是为了帮助其他人找到将 .NET 与 Apache Spark 一起使用的受支持方式。微软刚刚通过 .NET Foundation OSS 发布了一个基于数据框的 .NET 对 Apache Spark 的支持。有关详细信息，请参阅dot.net/spark。

标签： c# apache-spark mobius

【解决方案1】：

在 Linux 中使用 Windows 客户端连接到基于 YARN 的 Spark 集群是 Mobius 支持/验证的方案。我从未尝试过将 Mobius 的 Windows 客户端与基于 Linux 的独立 Spark 集群一起使用。我建议首先使用 Linux 机器作为 Mobius 客户端来验证 Mobius 中的基本功能。
Mobius 不需要 Solr。您应该能够使用 Mobius 连接到部署在任何操作系统中的 Cassandra。
load-spark-env.cmd 是 Spark 版本的一部分。运行 sparkclr-submit.cmd 之前需要设置 SPARK_HOME 环境变量

【讨论】：