WSO2SP 流处理器，从 MongoDB 加载数据答案

【问题标题】：WSO2SP Streaming processor , load data from MongoDBWSO2SP 流处理器，从 MongoDB 加载数据
【发布时间】：2019-10-07 15:40:31
【问题描述】：

我正在尝试从 mongodb 集合中加载数据。该集合包含超过 10M 的文档，我找不到任何方法来限制 SP 加载的文档数量。

显然 WsoSO 将所有文档加载到内存中，wisch 引发了 java out-of-memory 错误。

有什么建议吗？

谢谢

【问题讨论】：

【解决方案1】：

MongoDB 不会将所有数据加载到内存中。这将取决于您的连接查询。

from TestStream join TestTable
select * 
into Outputstream;

是的，这将加载所有数据，因为您没有限制要获取的记录。添加适当的条件，它将仅加载需要的记录。

【讨论】：

【解决方案2】：

感谢尼维西卡，

如果我直接在 mongodb 中执行查询，它的工作没有任何问题。

在 WSO2 SP 中，我添加了（限制 1）来限制结果。

像下面这样：

从TestStream加入TestTable
选择 *
限制 1
进入输出流；

我遇到内存不足错误。

问候。

【讨论】：