我的一个网站上的几个文件夹存在问题。有一个名为 Publications_A 的文件夹和一个名为 Publications_B 的文件夹。每个文件夹中都有几个子文件夹（基本上是过去几年的存档文件夹）、一个索引页和一些显示在索引页上的文档。
问题 1：GSA 抓取了 Pub A 文件夹中的一堆文档，这些文档引发了“未找到”错误。这是真的，因为这些文件甚至都不存在。它们实际上位于其中一个子文件夹中。即使重置索引后，这些仍然会出现在这里。
问题 2：显示在主文件夹中的文档没有显示在它们实际所在的子文件夹中！我不明白。在其中一个子文件夹（名为 2014）中，GSA 只提取了 5 个文档，尽管其中实际上有 10 个。即使我向 GSA 提供了这些丢失文档的完整路径，它也不会索引它们。它们都是PDF文档，在2014文件夹下的index.asp文件中有指向它们的链接。我已经检查过，其中任何一个都没有机器人禁止抓取标签。
我已经玩了好几个小时了，我这辈子都想不通。有人有什么想法吗？
【问题讨论】：
我会使用实时诊断来尝试获取“丢失”文档之一，看看您是否收到“200”响应。
不应该显示的页面可能是由于其他内容中的“相对”链接。例如，PDF 文档内部可能包含非完全限定的 URL 链接，这可能导致 GSA 抓取实际上不存在的链接。
确保您的索引页面列出了您要抓取的所有内容。
【讨论】：
问题 1：如果它的抓取文件夹不存在 - 那么您将跟随路径设置在更高级别 - 它将跟随任何子文件夹。
修复：更改跟随路径/添加不跟随路径 此外，正如特里钱伯斯所说...如果您的关注和不关注路径正确列出，那么您的页面内容将有一个“链接”（以某种方式）到不想要的内容（为 A 或 B 显示的子文件夹)。
如果文件夹 A 有一个链接可以将你带到文件夹 B - 那么是的，它会抓取并索引它。 删除链接以避免不良影响。
希望这会有所帮助。
【讨论】：
“问题 2：显示在主文件夹中的文档没有显示在它们实际所在的子文件夹中！我不明白。在其中一个子文件夹（名为 2014）中GSA 只拾取 5 个文档，尽管实际上有 10 个文档。即使我向 GSA 提供这些丢失文档的完整路径，它也不会索引它们。它们都是 PDF 文档，并且里面有指向它们的链接2014 文件夹中的 index.asp 文件。我检查了，其中没有任何一个 robots 无爬虫标签。"
如果内容不是“可选择的”或换句话说图像是“平面”的，PDF 文档可能会出现爬网/索引问题
您还可以尝试在文档、图像类型文件等中嵌入页脚/页眉（在内部或通过 HTML）。这应该允许这些文档被抓取和索引。
希望这会有所帮助。
【讨论】：