.NET Apache Spark 的单元测试答案

【问题标题】：UnitTest for .NET Apache Spark.NET Apache Spark 的单元测试
【发布时间】：2020-08-11 05:53:36
【问题描述】：

我想为我用 C#/.NET 编写的 Spark 应用程序编写单元测试。我目前正在使用 XUnit 编写测试，但我还没有找到任何好的文档来编写单元测试来测试我的 spark 应用程序组件。

我已经编写了一个 spark 单元测试，但是如果我运行“dotnet test”命令它会失败。如果我使用 spark-submit 运行测试，则没有像测试通过或失败这样的输出。我使用的 Spark 提交命令是“spark-submit --class org.apache.spark.deploy.dotnet.DotnetRunner --master local bin/Debug/netcoreapp3.1/microsoft-spark-2.4.x-0.12.1.jar dotnet bin/Debug/netcoreapp3.1/MedicalClaims.SparkUnitTests.dll"

任何帮助将不胜感激。

【问题讨论】：

标签： unit-testing apache-spark xunit.net .net-spark

【解决方案1】：

我已修复并且测试确实有效。我失踪了

test 在 spark 提交中。因此，使用 C#/.NET 运行 spark 测试的正确语句是 spark-submit --class org.apache.spark.deploy.dotnet.DotnetRunner --master local bin/Debug/netcoreapp3.1/microsoft-spark -2.4.x-0.12.1.jar dotnet test bin/Debug/netcoreapp3.1/MedicalClaims.SparkUnitTests.dll

【讨论】：

您好，我也在寻找带有 dotnet spark 的测试用例。你能帮忙看看你是怎么做到的吗？