Yoast SEO如何允许爬虫机器人

Question

我找到了一份工作来摆脱网站上的“此页面没有可用信息”。该网站使用 Yoast SEO，但它被禁用了，所以我重新启用它，然后我得到了一个基本的 robots.txt 像这样

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

大约六个小时前我已经应用了该设置，尝试在 Google 中搜索它，但仍然没有任何变化。我现在感到很焦虑。 这足以让爬虫阅读网站吗？我错过了什么吗？我需要弄乱 .htaccess 吗？我在 SEO 方面的经验为零，因此非常感谢您的帮助。

Answer 1

复制并粘贴到您的robot.txt中

User-agent: Googlebot
Disallow: 
User-agent: googlebot-image
Disallow: 
User-agent: googlebot-mobile
Disallow: 
User-agent: MSNBot
Disallow: 
User-agent: Slurp
Disallow: 
User-agent: Teoma
Disallow: 
User-agent: Gigabot
Disallow: 
User-agent: Robozilla
Disallow: 
User-agent: Nutch
Disallow: 
User-agent: ia_archiver
Disallow: 
User-agent: baiduspider
Disallow: 
User-agent: naverbot
Disallow: 
User-agent: yeti
Disallow: 
User-agent: yahoo-mmcrawler
Disallow: 
User-agent: psbot
Disallow: 
User-agent: yahoo-blogs/v3.9
Disallow: 
User-agent: *
Disallow: 
Sitemap: https://www.yoursitename.com/sitemap.xml