【发布时间】：2010-10-28 22:45:58
【问题描述】：
你能推荐一些工具吗？我们应该建立自己的吗？我们应该手动创建站点地图吗？
【问题讨论】：
【发布时间】：2010-10-28 22:45:58
【问题描述】：
适用于 IIS 的 Google 站点地图生成器会根据对您服务器的实际 HTTP 请求生成站点地图（与其他依赖首页可抓取路径的站点地图生成器不同，Google 的方法实际上不会抓取您的网站）。
它特别适合动态应用程序，尤其是那些仅通过用户查询就可以显示出大量数据的应用程序。
【讨论】：
我个人用过谷歌的sitemapgen，一个Python脚本，它会根据一个XML配置文件和一个url列表自动生成站点地图。
似乎还有一个名为googlesitemapgenerator 的更新工具，根据其网站，它更新并支持更多格式：
谷歌之前发布的sitemapgen， 一个基于 Python 的工具，用于 Sourceforge。 与 sitemapgen 相比，谷歌 站点地图生成器是下一代 依赖网络服务器的工具 过滤而不是爬行， 提供增强的功能，并且 支持更多格式。
【讨论】：
我一直用这个XML-Sitemap。这是一个在线网站，而不是一个独立的应用程序..
【讨论】：
如果你有这个能力，我会建议你建立自己的。站点地图应包含您要抓取的所有文件，并且这并不总是站点中的每个文件。自动下载脚本可能需要大量配置来处理您不想在站点地图中列出的内容。 除非您希望站点上的每个文件都被蜘蛛化，否则在这种情况下，列出的脚本之一可能是一个不错的选择。我自己通常会在 SEO 和控制提交的页面以及对我的重要性等细节方面投入更多精力。
【讨论】：
最大的问题是：您的网站有多大：如果所有页面都链接在您的网站上，那么您可能根本不需要任何站点地图 50000，您应该制作自己的 sitemap.xml。因为那时您处于分销 SEO 业务中，您需要绝对控制您的网站以及您与谷歌沟通的内容（以及何时），因为这样您就可以控制：好的，我提交了谷歌 25.000 个页面，他抓取了其中的 99% 并编入索引（根据谷歌网站管理员工具）30%，我从它那里获得 X 次访问，让我们再添加 25.000 ......等等。
【讨论】：
GSiteCrawler 是我过去使用过的一个，它对我有好处。
【讨论】：