我正在为我的网站创建站点地图。我这样做是因为我有大量页面，用户通常只能通过搜索表单访问。
我创建了一种自动化方法，用于从数据库中提取链接并将它们编译成站点地图。但是，对于所有可定期访问且不在数据库中的页面，我必须手动浏览并将它们添加到站点地图中。
让我印象深刻的是，常规页面是普通爬虫无论如何都能找到的页面，因此手动添加这些页面似乎很麻烦，然后确保站点地图随时更新它们的任何更改。
如果它们已经被编入索引并且我的站点地图只包含我的动态页面，那么将它们排除在外是不是很糟糕？
【问题讨论】：
标签： sitemap
Google 会抓取它发现的所有网址（robots.txt 允许），即使它们不在站点地图中。只要您的静态页面都可以从站点地图中的其他页面访问，就可以排除它们。但是，站点地图 XML 的其他功能可能会激励您在站点地图中包含静态 URL（例如修改日期和优先级）。
如果您愿意编写一个脚本来自动为数据库条目生成站点地图，那么更进一步，让您的脚本也为静态页面生成条目。这可以像通过 webroot 搜索并查找 *.html 文件一样简单。或者，如果您使用的是框架，请遍历框架的静态路由。
【讨论】：
是的，我认为将它们排除在外并不好。我认为寻找一种无需站点地图的爬虫可以找到您的搜索页面的方法也是可取的。例如，您可以添加某种高级搜索页面，用户可以在其中选择表单中的搜索词。爬虫也可以填写这些表格。
【讨论】：