禁用本地请求的 web.config 重写规则答案

【问题标题】：Disable web.config rewrite rules for local requests禁用本地请求的 web.config 重写规则
【发布时间】：2011-11-29 18:57:23
【问题描述】：

我有一个页面抓取工具用于从站点的子目录中抓取内容，而我的重写规则干扰了内容抓取。比如爬虫正在抓取旧版网站的内容：

/catalog/catalog.asp?page=23&section=14

然后使用它来填充新版本：

/PartsBook/Catalog.aspx?page=23&section=14

除了使用此内容预填充新网站之外，我还将旧网址重定向给已将其标记为新网址的人的旧网址。问题在于它导致刮板尝试读取新页面而不是旧页面。有没有办法使用规则条件将规则限制为仅影响非本地请求？

【问题讨论】：

标签： .net web-config urlrewriter.net

【解决方案1】：

也许您可以使用此 sn-p 进行 URL 重写。您可以通过将 {REMOTE_ADDR} 与 scraper IP 进行比较来进行过滤。

<rule name="Block SomeRobot" stopProcessing="true">
    <match url="^folder1/folder2" />
        <conditions logicalGrouping="MatchAny">
            <add input="{REMOTE_ADDR}" pattern="XXX\.XXX\.XXX\.[0-5]" />
        </conditions>
        <action type="redirect" url=""/>
</rule>

【讨论】：