禁止某些图像文件夹

Question

我正在制作我的 robots.txt 文件。但我对如何禁用 Googlebot-Image 有点不安全。我想允许谷歌机器人抓取我的网站，除了我在下面做出的禁止。这是我做的：

User-agent: Googlebot
Disallow:

Disallow: /courses/
Disallow: /portfolio/portfolio-template.php/

User-agent: Googlebot-Image
Disallow: 
/images/graphics/erhvervserfaring/
/images/graphics/uddannelse/

sitemap: http://www.example.com/sitemap.xml

User-agent：Googlebot和User-agent: Googlebot-Image是否应该写在一起，所以改成这个？：

用户代理：Googlebot-Image 用户代理：Googlebot 禁止：

Disallow: /courses/
          /portfolio/portfolio-template.php/
          /images/graphics/erhvervserfaring/
          /images/graphics/uddannelse/

Answer 1

不，您应该将它们与 Disallow 信息一起单独编写。 另外，您也应该复制 Disallow 信息。

User-agent: Googlebot-Image
Disallow: /courses/
Disallow: /portfolio/portfolio-template.php/
Disallow: /images/graphics/erhvervserfaring/
Disallow: /images/graphics/uddannelse/

User-agent: Googlebot
Disallow: /courses/
Disallow: /portfolio/portfolio-template.php/
Disallow: /images/graphics/erhvervserfaring/
Disallow: /images/graphics/uddannelse/

作为参考，您可以在他们的 robots.txt 中查看 Facebook 和 apple 做了什么。