【问题标题】:Retain Non-Serializable Object's Values After Tomcat ReloadedTomcat 重新加载后保留不可序列化对象的值
【发布时间】:2023-04-07 19:17:02
【问题描述】:

我的程序必须经过一个大约需要 15 分钟才能完成的学习步骤。这种学习的结果是两个模型存储在两个公共对象中,然后将在其他类中使用。我把这个学习步骤放在下面的方法中:

public void init()

以便在服务器启动时执行。问题是,每次服务器重新加载时,它都会重新执行学习步骤。我必须再等 15 分钟才能看到一个小变化的效果。我想知道是否有办法在程序和服务器的整个运行过程中保留某些对象的值。这是我的代码:

public static Model model1;
public static Model model2;

@Override
public void init()
{
    model1= readModel(source1)
    model2= readModel(source2)
}

PS。我正在使用带有 JSP 页面和 Tomcat 服务器的 Servlet。

【问题讨论】:

  • 一旦准备好就可以将模型序列化到磁盘吗?
  • 试过了,没用。首先它显示 NotSerializableException.. 然后我在模型类中实现了接口 Serializable。但仍然得到同样的错误。我正在读取的模型重量超过 5 GB,我得到的序列化文件约为 1KB。
  • 您是使用现有的标准库来训练这些模型,还是您的一些手写逻辑?问题的原因是大多数机器学习库都有二进制模型的标准模型导出。如果它是 R 或 weka 之类的库,也许您可​​以使用它们的导出功能将模型转储到磁盘上。

标签: java jsp servlets


【解决方案1】:

酌情使其成为会话或应用程序范围的 bean,并将其作为 bean 而不是普通对象访问。

【讨论】:

  • 如果 bean 不可序列化,Tomcat 将无法在重新启动后保留 bean。
【解决方案2】:

作为一般解决方案,我建议您将学习部分和模型保留在服务容器之外。可能是不同的虚拟机/进程。这样,只要进程需要运行,您就可以保留模型,而与您的 tomcat 客户端进程的状态无关。

详细

您可以通过几个步骤实现这一目标

  • 首先,您需要将模型准备和缓存迁移到不同的程序。该程序将作为守护进程运行,您可以使用 Apache 的 Daemon 将其作为后台服务运行
  • 其次,假设您的守护程序已启动并正在运行,您的模型使用者可以使用标准协议与模型 VM 进行通信。协议的选择取决于您的确切要求。它可以是通过 TCP/HTTP 或 RMI 或其他任何方式公开的 API。

交替

正如我在 cmets 中所建议的,您还可以在训练模型后将模型二进制文件转储到文件系统。在 tomcat 启动时缓存模型。 io 将比学习阶段快得多。

【讨论】:

  • 您能否详细说明我是如何做到这一点的,或者我应该在哪里学习?
  • 如果对象不可序列化,RMI 将无法跨进程发送对象。因此,应该为 TCP/HTPP 或 RMI 提供某种包装服务。
  • 我认为该服务的唯一数据传输将是模型的输入和输出。整个模型永远不会跨虚拟机移植,因为这打破了将它完全放在不同虚拟机中的整个想法。考虑到模型输入和输出中涉及的数据类型是可序列化的(普遍是可序列化的),RMI 可以用作包装器。
【解决方案3】:

你可以看看here吗? 这个想法要么在某处保存会话并将你的模型对象放在那里,要么只使用 Hazelcast(可能有点矫枉过正:))

【讨论】:

  • 这可能是一条评论。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2018-12-11
  • 1970-01-01
  • 2019-07-10
  • 1970-01-01
  • 2012-04-28
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多