X-Robots-Tag 的格式不可用_after

Question

这里的信息 - https://yoast.com/robots-meta-tags/ - 声明如下：

Note: Must be in RFC850 format (e.g., Monday, 15-Aug-05 15:52:01 UTC).

但是祖父本人的例子 - https://developers.google.com/search/reference/robots_meta_tag - 显示：

X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST

那么，谁是正确的？ 因为我使用的是 C#，所以如果我必须满足所有不同的时区，就没有简单的方法来创建 DateTime。

Answer 1

X-Robots-Tag 的规范是 here。这就是unavailable_after 的日期格式：

日期/时间必须以广泛采用的格式指定，包括但不限于 RFC 822、RFC 850 和 ISO 8601。

因此，不幸的是，格式没有精确指定，您确实需要能够解析多种可能未知的格式，以编写适用于所有符合标签的爬虫。