使用 Scala 在 SPARK 中捕获数据包答案

【问题标题】：Packet Capture in SPARK using Scala使用 Scala 在 SPARK 中捕获数据包
【发布时间】：2014-06-24 13:31:40
【问题描述】：

如何使用 scala 在 SPARK 中捕获数据包？ java中有没有像jpcap这样的库？谁能告诉我如何编写一个 scala 程序来捕获实时数据包？

【问题讨论】：

【解决方案1】：

您可以创建自定义接收器并使用任何类型的库或 bash 命令（如调用 tshark）来捕获数据包并将其用作输入。

【讨论】：

如何将使用库捕获的数据包传递到火花流中？是否可以将它们作为参数传递？
既然你可以给 Spark Streaming 一个文件夹作为输入，你可以直接将 Spark Streaming 指向它们并读取它们，最好是文本文件。如果不是，我建议您向 Spark Streaming 提供文件的 URI，然后使用一些 bash 命令来处理它们。不太明白您所说的“作为参数”是什么意思。
我的意思是如何将使用库捕获的数据包直接传递给 Spark Streaming？接收程序的结构如何？
您可以在此处查看使用队列实现的接收器示例：github.com/apache/spark/blob/master/examples/src/main/scala/org/…
谢谢。我有 Spark 0.9。这是我编写的接收器示例。 Receiver程序应该是这样吗？ github.com/swe0523/Test-Receiver/blob/master/Receiver