【发布时间】：2022-01-05 20:48:48
【问题描述】：
我正在使用 apach NiFi 将 postgres 中的基础传输到 bigquery，但是，有些表很大（29GB），并且我收到了 VM 的内存错误。我可以跳过这个限制吗？我需要在我的桌面升级以支持这种过渡吗？还是存在另一种方式？
错误：java.lang.outofmemoryerror：超出 gc 开销限制
架构：imageSchema
【问题讨论】：
-
首先 - 您必须提供有关环境的更多信息。计算机上可用的内存，为 nifi 保留的内存（-xmx 参数），哪个处理器出现故障，来自 nifi 日志文件的堆栈跟踪的完整错误消息。
-
嗨@daggett，感谢您的回答。我开始使用该工具，但我不知道使用 100%，但是，我阅读并发现 VM JAVA 有内存限制。我尝试使用 290 MB 并通过了限制，但使用 130 MB 时它可以工作，因此，虚拟机它必须介于此值之间。我的电脑有 8 GB 内存。我需要使用此工具或其他工具来传递大量数据。
-
请回答所有问题-也许有人可以帮助您
-
嗨@dagget！我写了错误并添加了我在 nifi 中的方案。
标签： google-bigquery etl apache-nifi