【发布时间】:2023-03-20 20:30:01
【问题描述】:
当我在 google 中搜索我的网站时,它显示为我的域的第一位,但描述是“此页面没有可用信息。”以便我像这样更正我的 robots.txt
User-agent: *
Disallow: /bin/
而且我的主页已经包含这样的适当元信息:
<meta name="description" content="My website Search Engine description"/>
<meta name="keywords" content="some,keywords"/>
<title>My website Title</title>
<meta name="robots" content="INDEX,FOLLOW"/>
在谷歌网站管理员中,我重新提交了我的 sitemap.xml 并获取了我的主页 URL,但仍然没有任何更改任何建议? 或任何其他强制重新抓取的方法
另外,当我更改robot.txt 或meta 时,默认的自动抓取时间是多少?
【问题讨论】:
标签: search robots.txt google-crawlers