在 Robots.txt 中屏蔽特定页面

Question

据此 http://support.google.com/webmasters/bin/answer.py?hl=en&answer=156449

Disallow: /page1/
所有 page1 URL 都将被禁止，即 page1/foo/bar 也将被阻止。
Disallow: /page1

只有page1 会被阻止，page1/foo/bar will 会被允许。
但这并没有发生，我怎样才能只阻止 page1 并允许 page1/foo/bar 被抓取

编辑： 实际问题是同一页面在不同路径中被爬网两次 如/page 和/page/

Answer 1

为什么不添加一个机器人元标记？

<meta name="robots" content="noindex, nofollow, noarchive"/>