多线程 Flask 应用程序导致 rpy2 R 进程中的堆栈错误

Question

与此处的错误基本相同，但这些解决方案没有提供足够的信息来复制工作示例：Rpy2 in a Flask App: Fatal error: unable to initialize the JIT

在我的 Flask 应用程序中，使用 rpy2.rinterface 模块，每当我初始化 R 时，我都会收到相同的堆栈使用错误：

import rpy2.rinterface as rinterface 
from rpy2.rinterface_lib import openrlib

with openrlib.rlock: 
    rinterface.initr()

Error: C stack usage 664510795892 is too close to the limit Fatal error: unable to initialize the JIT

rinterface 是 rpy2 中的低级 R 钩子，但更高级别的 robjects 模块给出了相同的错误。我尝试将上下文锁和 R 初始化包装在来自多处理模块的 Process 中，但有同样的问题。文档说多线程环境会给 R 带来问题：https://rpy2.github.io/doc/v3.3.x/html/rinterface.html#multithreading 但是上下文管理器似乎并没有阻止与 R

接口的问题

Answer 1

rlock 是 Python 的 threading.Rlock 的一个实例。它应该处理多线程问题。

但是，如果嵌入式 R 在子进程之间共享，多重处理可能会导致类似的问题。此演示脚本的代码显示了 R 和 Python 进程的并行处理说明了这一点：https://github.com/rpy2/rpy2/blob/master/doc/_static/demos/multiproc_lab.py

我认为解决这个问题的方法是配置 Flask，或者很可能是您的 wsgi 层，以创建独立的子进程，或者让您的所有 Flask 进程将 R 计算委托给辅助进程（动态创建，或在等待任务执行的进程池）。

Answer 2

正如其他类似问题的答案所暗示的那样，Flask 用户需要在 WSGI 上下文之外初始化和运行 rpy2，以防止嵌入式 R 进程崩溃。我使用 Celery 实现了这一点，其中工作人员提供了一个独立于 Flask 的环境来处理在 R 中发出的请求。

我使用问题中提到的低级 rinterface 库，并使用类编写 Celery 任务

import rpy2.rinterface as rinterface
from celery import Celery

celery = Celery('tasks', backend='redis://', broker='redis://')

class Rpy2Task(Task):   
    def __init__(self):
        self.name = "rpy2"

    def run(self, args):    
        rinterface.initr()
        r_func = rinterface.baseenv['source']('your_R_script.R')
        r_func[0](args) 
        pass

Rpy2Task = celery.register_task(Rpy2Task())
async_result = Rpy2Task.delay(args)

在工作人员运行的任务主体之外的任何地方调用 rinterface.initr() 都会导致上述崩溃。 Celery 通常与 redis 打包在一起，我发现这是一种支持 R 和 Python 之间交换信息的有用方式，但当然 Rpy2 也提供了灵活的方式来做到这一点。