如何创建本地代理来处理 http 响应中的无效标头

Question

我需要向网站发出一个简单的 GET 请求并解析响应。

我打算使用下面的简单代码

var httpClient =_httpClientFactory.CreateClient();
var initialRequest = await httpClient.GetAsync(_config.WebsiteUrl, cancellationToken);

但是，该站点制作不当，并在其响应中发送了无效标头，即“X=Frame-Options”，导致以下异常。

System.Net.Http.HttpRequestException: Received an invalid header name: 'X=Frame-Options'.

很遗憾，我无法控制该网站，而且这个问题不太可能很快得到解决。因此需要一种解决方法。

我的想法是创建一个本地“中间人”，可以这么说，它会在到达我的代码之前拦截从站点发送的响应，删除有问题的标头，然后传递响应。

我不熟悉 C# 中的网络，我想知道这个用例是否有任何好的库或现有示例。

我尝试过使用 Flurl 库，但不幸的是，它在实现中使用了 httpclient，所以仍然会抛出异常。

或者我是否遗漏了一些明显的东西，并且有某种方法可以禁用引发上述异常的标头验证？

Answer 1

如果您使用网络平台或App.confing 文件的桌面，则必须在web.config 文件中将useUnsafeHeaderParsing 设置为true以允许接收不安全的请求

<configuration>
  //..............................
  <system.net>
    <settings>
      <httpWebRequest useUnsafeHeaderParsing="true"/>
    </settings>
  </system.net>
  //..............................
</configuration>

或在代码后面添加以下方法

public static bool SetAllowUnsafeHeaderParsing(bool value)
{
    //Get the assembly that contains the internal class
    Assembly aNetAssembly = Assembly.GetAssembly(typeof(System.Net.Configuration.SettingsSection));
    if (aNetAssembly != null)
    {
        //Use the assembly in order to get the internal type for the internal class
        Type aSettingsType = aNetAssembly.GetType("System.Net.Configuration.SettingsSectionInternal");
        if (aSettingsType != null)
        {
           //Use the internal static property to get an instance of the internal settings class.
           //If the static instance isn't created allready the property will create it for us.
           object anInstance = aSettingsType.InvokeMember("Section", BindingFlags.Static | BindingFlags.GetProperty | BindingFlags.NonPublic, null, null, new object[] { });

           if (anInstance != null)
           {
              //Locate the private bool field that tells the framework is unsafe header parsing should be allowed or not
             FieldInfo aUseUnsafeHeaderParsing = aSettingsType.GetField("useUnsafeHeaderParsing", BindingFlags.NonPublic | BindingFlags.Instance);
             if (aUseUnsafeHeaderParsing != null)
             {
                aUseUnsafeHeaderParsing.SetValue(anInstance, value);
                return true;
             }
           }
        }
    }
    return false;
}

现在使用

SetAllowUnsafeHeaderParsing(true);
var httpClient =_httpClientFactory.CreateClient();
var initialRequest = await httpClient.GetAsync(_config.WebsiteUrl, cancellationToken);
var response = await initialRequest.Content.ReadAsStringAsync();