【发布时间】：2018-07-24 11:20:48
【问题描述】：
我想禁用前端索引以使用爬虫。如何设置爬虫配置：
A) 用多种语言索引页面树
B) 索引多种语言的自定义记录
但是文档中没有提及语言：
【问题讨论】：
标签： typo3 multilingual tx-indexed-search
【发布时间】：2018-07-24 11:20:48
【问题描述】：
索引搜索始终使用前端索引。只是有访问者调用您的页面还是爬虫调用了该页面。每次缓存被填充（通过第一次调用）时，内容都会被索引。
可以在手册中找到语言配置：
https://docs.typo3.org/typo3cms/extensions/crawler/ExtCrawler/Configuration/ConfigurationRecords/Index.html（参见“配置”字段）或描述paramSets.[key]的下一页。
注意 URL 参数 L 的任何设置，该参数用作 TYPO3 的 语言参数。
【讨论】：
-
也已经找到了。但是在 8.7 LTS 上，似乎没有 EXT:crawler 了......？是否集成到 EXT:indexed_search 和配置一样？
-
我有一个更好的解决方案：如果页面已经有一个有效的自动生成的 xml-sitemap（它应该！），包括扩展记录，最好通过 wget 抓取这个站点地图。这可以防止在多个地方（站点地图 + 爬虫）对自定义记录、语言等进行冗余配置。示例："wget --quiet domain.tld/sitemap.xml --output-document - | egrep -o "https?://[^