【问题标题】:Web crawlers truncating URLs with single quotes. Bad sitemap.xml maybe?网络爬虫用单引号截断 URL。可能是坏的 sitemap.xml?
【发布时间】:2014-10-03 15:15:18
【问题描述】:

我的服务器上收到了很多失败的请求,它们主要来自网络爬虫,它们遇到了带有单引号的 URL。

示例:http://www.example.com/events/2013/5/5/someone's-event

爬虫最终浏览到

http://www.example.com/events/2013/5/5/someone

现在我的 sitemap.xml 的 URL 条目包含原始单引号(不是实体转义);然而,所有的在线站点地图生成器实际上都会生成相同的东西——它们不会实体转义单引号。此外,我已将我的 sitemap.xml 提交给在线验证器,并且每次都会验证。

我注意到的一件事是这些在线生成器问题:

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.sitemaps.org/schemas/sitemap/0.9 http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd">

而我的 sitemap.xml 仅包含:

&lt;urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:image="http://www.google.com/schemas/sitemap-image/1.1"&gt;

这和它有关系吗?

【问题讨论】:

    标签: xml sitemap url-encoding


    【解决方案1】:

    单引号需要在 XML 文档中编码。不幸的是,有很多爬虫程序(包括一些主要的爬虫程序)不使用 URL 的解码版本。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2023-03-13
      • 2020-10-14
      • 2016-10-28
      • 1970-01-01
      • 2017-01-26
      相关资源
      最近更新 更多