【问题标题】:Job ManifoldCF works, but freezes after some secondsJob ManifoldCF 工作,但几秒钟后冻结
【发布时间】:2017-04-21 09:28:29
【问题描述】:

我已经安装了ManifoldCF,它们是连接器和 postgres。我的ManifoldCF 有 2 个工作:

  • 生产环境中外部 SolR 的 LocalFile 作业
  • 本地 SolR 的 JCIFS 作业

在这张图片上,您可以看到问题。我可以开始工作,他们索引文档,但他们的工作在几秒钟后冻结,如果冻结,我不能中止他们的工作。如果它们被冻结,我需要重新启动 manifoldCF 以中止和/或重新启动它们的作业。你有解决办法吗?

PS:冻结前的时间,不是固定的。文档数也索引。不是相关性。 PS2:我没有这个问题的日志

日志文件夹:cat . -name * | grep -R ERROR | grep 2017-04-21 在 ManifoldCF 接口上只返回错误图像 tiff。

【问题讨论】:

  • 我有很多信息。 Manifold 在 postgreSQL 上生成死锁。你有解决方案吗?
  • 有一些新东西。当 ManifoldCF 完成读取服务器上的所有文档时,它会在此时冻结。

标签: postgresql solr web-crawler cifs manifoldcf


【解决方案1】:

在死锁的情况下,我们创建了单独的 restful 服务来重新启动代理,重新启动运行 ManifoldCF 的 Tomcat 服务器,如果我们正在运行它,还重新启动 zookeeper。

避免此类死锁的方法: 1. 为 ManifoldCF 提供更多的堆空间和内存。 2. 调整 properties.xml 中的工作线程数,并根据您提供的 Ram/heap 调整每个作业/repo/connector 节流阀。 3. 也尝试为 Solr 提供更多堆,并检查其日志是否没有导致任何问题。由于我们从 Solr 端而不是 ManifoldCF 面临大部分问题。 4. 尝试使用基于多进程 zookeeper 或基于多进程文件的示例。 5. 使用 postgresql / MySQL 代替默认使用的 hsql。 6. 使用数据库时,按照给出的说明正确配置。还定期进行真空和详细。

最后,当作业卡住时,甚至我们不得不求助于重新启动代理或 Tomcat 本身。

【讨论】:

  • 我已经解决了我与 Karl 的问题。中继版更正问题。
  • 您可以接受这个答案是正确的,因为它为您提供了避免此类死锁所需的所有解决方案。
猜你喜欢
  • 1970-01-01
  • 2017-04-06
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2023-03-22
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多