读取 robots.txt 文件？

Question

我正在尝试抓取一个网站，他们的 robots.txt 文件是这样写的：

（其中 zoeksuggestie 是英文搜索建议）

User-agent: *

# Miscellaneous
Disallow: /mijn/
Disallow: /*/print/*
Disallow: /koop/zoeksuggestie/
Disallow: /huur/zoeksuggestie/
Disallow: /nieuwbouw/zoeksuggestie/
Disallow: /recreatie/zoeksuggestie/
Disallow: /europe/zoeksuggestie/
Disallow: /*/brochure/download/
Disallow: */uitgebreid-zoeken/*
Disallow: /makelaars/*/woningaanbod/*
Disallow: /zoekwidget/*
Allow: /zoekwidget/$
Disallow: /relatedobjects
Disallow: /mijn/huis/wonen/toevoegen/
Disallow: /*/woningrapport/

# Prevent bots from indexing combinations of locations
Disallow: /koop/*,*
Disallow: /huur/*,*
Disallow: /nieuwbouw/*,*
Disallow: /recreatie/*,*
Disallow: /europe/*,*

这是否意味着我无法抓取 /koop/*,* 的任何链接？ *,*是什么意思？我真的需要从这个网站获取一个项目的数据，但我一直被scrapy/beautiful soup阻止。

Answer 1

robots.txt 文件是“机器人排除标准”的一部分，每当机器人访问网站时，它们都会检查 robots.txt 文件以查看它们无法访问的内容。 Google 使用它来不索引或至少公开显示与 robots.txt 文件中的 URL 匹配的 URL。

但该文件并非必须遵守 robots.txt。 * 是一个通配符，所以/koop/*,* 将匹配 /koop/[wildcard],[wildcard] 的任何内容。 这是 robots.txt https://geoffkenyon.com/how-to-use-wildcards-robots-txt/ 中通配符的精彩指南

你提到scrapy不工作，那是因为scrapy默认遵循robots.txt。这可以在设置中禁用，该问题已在此处回答：getting Forbidden by robots.txt: scrapy