我有大量的项目，每个项目都有一个类似这个站点的页面/item_show.aspx?id=The_ID_here 有数万个项目，每天添加近两千个。此外，每个项目在其页面中都有一个描述，因此对于每个项目，其页面都应该被搜索引擎抓取。
我的问题是关于所描述的大量数据：如何生成站点地图或类似的东西以使所有项目都能被谷歌和其他搜索引擎看到？
很明显，我无法在第一页显示所有项目，但我可以制作仅包含项目链接的页面，并为搜索引擎提供每页数十个项目。它会起作用还是更好地让项目被谷歌索引？
【问题讨论】：
标签： asp.net seo search-engine google-crawlers
基本上有 3 种方法可以帮助您进行大规模索引： 1. 为您的所有页面创建一个 XML SiteMap 并从您的主页链接到它。 2. 你应该安装了谷歌网站管理员工具，你可以将相同的 XML 文件加载到其中。 3. 有一个有组织的类别结构 - 根据您网站的类型考虑一个逻辑类别结构，例如在电子商务商店中，所有产品都按产品主类别分类，然后是产品子类别，有时还按品牌等... - 当然，您应该通过您的购物车平台执行此操作 - 请记住，如果您开始更改 URL 结构，您需要处理从旧 URL 到新 URL 的所有重定向。
【讨论】：
首先，使用 XML 站点地图并将其提交给 Google（请注意，我说的是站点地图 - 不止一个）。
接下来，确保您的网站内容被很好地组织成类别和子类别 - 理想情况下，您希望所有元素都可以通过尽可能少的点击访问，而无需用户（或 Googlebot）求助于搜索函数。
最后，确保您更受欢迎/更重要的商品出现在首页或 1-2 次点击深度，并获得指向这些特定商品页面的链接和社交分享。
【讨论】：
受欢迎并获得指向您网站的链接。有一个可以处理爬虫的好服务器。
我们的抓取也没有硬性限制。最好的思考方式 大约是我们抓取的页面数量大致是 与您的 PageRank 成正比。因此，如果您有很多传入链接 在您的根页面上，我们一定会抓取它。然后你的根页面 可能会链接到其他页面，这些页面将获得 PageRank，我们将抓取 那些也是。然而，随着您对网站的深入了解， PageRank 趋于下降...
https://www.stonetemple.com/matt-cutts-interviewed-by-eric-enge-2/
【讨论】：