错字3网站爬虫没有索引

Question

我正在尝试在旧的 TYPO3 4.5 网站上使用索引搜索和站点爬虫索引页面 - 但我尝试了几乎任何方法都无济于事。

我正在运行网站爬虫，它会获取可以爬取的 URL 的完整列表，并且我正在运行整个队列

我已经设置了一个“索引配置”

还有一个网站爬虫

但它不会索引

“cache_pages”表似乎也是空的 - 但所有页面都启用了缓存。

我可能会错过什么？

Answer 1

显示爬虫队列的屏幕截图看起来不错。爬虫似乎配置正确，但索引搜索没有索引页面。 空页面缓存表明您已禁用缓存 shomehow。

索引搜索是在满足少数条件时索引页面：

1. 页面是可缓存的（TypoScript 中没有page.config.no_cache = 1，页面属性中没有禁用缓存，PHP 代码中没有禁用缓存）
2. 源代码中有特殊标记<!--TYPO3SEARCH_begin-->和<!-- TYPO3SEARCH_end-->
3. TypoScript page.config.index_enable = 1 已设置
4. 页面被访问的用户没有登录到后端或爬虫

你可以检查的是：

• 请在 TypoScript 对象浏览器中验证 index_enable 和 no_cache 值对于未编入索引的页面是否具有正确的值。
• 在扩展管理器中为爬虫和索引搜索启用调试模式
• 对于某些未编入索引的页面，单击“queue id”列中的数字并检查其中显示的数据。
• 在开始索引之前，仔细检查索引搜索配置记录中的“会话 ID”字段是否为空
• 从索引搜索配置记录的“下一个索引日期”字段中删除日期

几个有用的链接：

• You can find indexed_search documentation here

• Crawler documentation

• Useful tutorial on setting indexed search with crawler

Answer 2

如果 Tymoteusz 的建议都不起作用，请检查您是否使用自签名证书以 https 模式运行您的网站（例如，如果您在本地计算机上开发）。如果是这种情况，只需在没有 https 的情况下运行您的网站并重新测试爬虫。我最近测试了一个正确配置了爬虫和 indexed_search 的 TYPO3 6.2 网站，并且页面从未被编入索引。我在爬虫日志中收到的错误是一条空的错误消息，并且在数据库中 tx_crawler_queue 表显示值 b:0;在“结果数据”列中。 一旦我传递给 http，一切都正常。

在生产中，只要您使用有效的证书，它就可以使用 https 正常工作。