在火花流测试中使用火花 cassandra 连接器时如何模拟 cassandra 的数据？答案

【问题标题】：How to mock data for cassandra when using spark cassandra connector in spark streaming testing?在火花流测试中使用火花 cassandra 连接器时如何模拟 cassandra 的数据？
【发布时间】：2019-06-01 19:38:29
【问题描述】：

我有一个完全用 scala 编写的代码，它使用 spark 流从 kafka 主题获取 json 数据，然后在经过一些处理后将其转储到 cassandra 和另一个 kafka 主题。现在我需要为此代码编写一个单元测试。我需要有关如何编写此类测试以及在使用 spark cassandra 连接器时如何模拟数据的帮助。

【问题讨论】：

标签： scala apache-spark spark-structured-streaming spark-cassandra-connector

【解决方案1】：

您可以使用与连接器本身一起开发的spark-cassandra-connector-embedded。只需将 Maven 或 SBT 依赖项添加到您的项目中，例如，对于 SBT：

"com.datastax.spark"  %% "spark-cassandra-connector-embedded" % {latest.version}

【讨论】：