spark流和spark sql注意事项

Question

我正在使用 spark 流 (scala) 并在每 20 分钟后通过 kafka 接收客户呼叫呼叫中心的记录。这些记录在 rdd 和更高版本的数据帧中转换以利用 spark sql。我有一个业务用例，我想识别在过去两个小时内打电话超过 3 次的所有客户。

最好的方法是什么？我是否应该继续在配置单元表中插入每批收到的所有记录并运行单独的脚本来继续查询谁在过去两个小时内进行了 3 次调用，或者还有另一个更好地使用 spark 的内存功能？

谢谢。

Answer 1

对于这种用例，您可以使用 spark 获得结果（不需要 hive）。您必须有一些客户唯一 ID，因此您可以准备一些查询，例如

ROW_NUMBER() OVER(PARTITION BY cust_id ORDER BY time DESC) as call_count

您必须使用call_count=3 对最近 2 小时的数据应用过滤器，以便获得预期的结果。然后，您可以将此 spark 脚本设置为 crontab 或任何其他自动运行方法。