【发布时间】：2012-11-16 00:39:20
【问题描述】：
感谢您阅读我的问题。我正在建立一个网站，将列出每个制造商的产品。我计划将 URL 构造为以下变体：
www.mysite.com/manufacturer_name/product_name/product_id
www.mysite.com/product_name/product_id
www.mysite.com/manufacturer_name
有数百万种产品，我希望所有主要搜索引擎都能抓取它们。这样做的最佳方法是什么？
只需将网站提交给所有搜索引擎就足够了吗？我假设如果我提交列出所有制造商名称作为链接的制造商页面，搜索引擎将点击每个链接并点击每个制造商链接中显示的所有产品（我将对产品进行分页），因此搜索引擎可以继续在网站上爬取每个制造商的更多产品，直到页码用完为止。
在每个搜索引擎上列出每个产品就足够了吗？还是有一种新的更好的方法来做到这一点？可能有我不知道的新的 SEO 技巧。我希望你能指出我正确的方向。
我之前曾使用 robots.txt 告诉搜索引擎要抓取哪些页面，而且效果似乎很好。
谢谢， bad_at_coding
【问题讨论】：
-
我是否列出了sitemap.xml 中的所有产品？或者只是一个或两个 URL 将他们引导到制造商页面？
标签： seo search-engine web-crawler