使用 memSQL 和 spark 流式传输速度慢了很多，Spark 流式传输作业的事件/秒

Question

我有一个火花流作业，在某些情况下会访问 memSQL。对于不访问 memSQL 的情况，Events/sec 在 3000 左右。但是对于它正在访问 memSQL 的情况，Events/sec 仅在 500 左右。我正在访问 memSQL，如下所示：

What is the correct way of using memSQL Connection object inside call method of Apache Spark code

谢谢

Answer 1

这可能是因为您正在为微批处理中的每个分区建立连接。如果你增加每批的大小，它会更快。