【发布时间】:2014-10-03 15:15:18
【问题描述】:
我的服务器上收到了很多失败的请求,它们主要来自网络爬虫,它们遇到了带有单引号的 URL。
示例:http://www.example.com/events/2013/5/5/someone's-event
爬虫最终浏览到
http://www.example.com/events/2013/5/5/someone
现在我的 sitemap.xml 的 URL 条目包含原始单引号(不是实体转义);然而,所有的在线站点地图生成器实际上都会生成相同的东西——它们不会实体转义单引号。此外,我已将我的 sitemap.xml 提交给在线验证器,并且每次都会验证。
我注意到的一件事是这些在线生成器问题:
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://www.sitemaps.org/schemas/sitemap/0.9 http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd">
而我的 sitemap.xml 仅包含:
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:image="http://www.google.com/schemas/sitemap-image/1.1">
这和它有关系吗?
【问题讨论】:
标签: xml sitemap url-encoding