如何在 C# 中添加超时并重试 url 调用？

Question

我有一个.tgz 文件，我需要在Testing 文件夹中给定一个网址下载该文件。我可以使用WebClient从网址成功下载.tgz文件。

下面是我的代码：

private void DownloadTGZFile(string url, string fileToDownload)
{
    using (var client = new WebClient())
    {
        client.DownloadFile(url + fileToDownload, "Testing/configs.tgz");
    }
}

我想看看如何在此调用中添加超时，以便如果 url 在特定时间内没有响应，那么它应该超时，但它可以重试 3 次然后放弃。另外，我想看看如何在此处使用 HttpClient 而不是 WebClient，因为它是较旧的 BCL 类，不推荐使用。

Answer 1

要使用HttpClient 下载文件，您可以：

// Is better to not initialize a new HttpClient each time you make a request, 
// it could cause socket exhaustion
private static HttpClient _httpClient = new HttpClient()
{
    Timeout = TimeSpan.FromSeconds(5)
};

public async Task<byte[]> GetFile(string fileUrl)
{
    using (var httpResponse = await _httpClient.GetAsync(fileUrl))
    {
        // Throws an exception if response status code isn't 200
        httpResponse.EnsureSuccessStatusCode();
        return await httpResponse.Content.ReadAsByteArrayAsync();
    }
}

For more details about socket exhaustion with HttpClient

如您所见，要为Http 调用定义超时，您应该在创建新的HttpClient 时设置超时。

---

要为之前的代码实施重试策略，我会安装Polly NuGet package，然后：

public async Task<byte[]> GetFile(string fileUrl)
{
    return await Policy
       .Handle<TaskCanceledException>() // The exception thrown by HttpClient when goes in timeout
       .WaitAndRetryAsync(retryCount: 3, sleepDurationProvider: i => TimeSpan.FromMilliseconds(300))
       .ExecuteAsync(async () =>
       {
           using (var httpResponse = await _httpClient.GetAsync(fileUrl))
           {
               // Throws an exception if response status code isn't 200
               httpResponse.EnsureSuccessStatusCode();
               return await httpResponse.Content.ReadAsByteArrayAsync();
           }
       });
}

在这种情况下，我定义了 3 次重试，每次尝试之间的间隔为 300 毫秒。另请注意，我没有为每种Exception 定义重试，因为如果——例如——你输入了一个无效的URL，那么重试就是无稽之谈。

最后，如果你想将该字节数组保存到文件中，你可以这样做：

File.WriteAllBytes(@"MyPath\file.extension", byteArray);

Answer 2

您可以在不依赖外部库的情况下使用此函数。它适用于任何文件大小。

EDIT 传播TaskCanceledException 的版本。

public async Task<bool> DownloadFileAsync(string url,
    string destinationFile,
    TimeSpan timeout,
    int maxTries = 3,
    CancellationToken token = default)
{
    using (var client = new HttpClient { Timeout = timeout })
    {
        for (var i = 0; i < maxTries; i++, token.ThrowIfCancellationRequested())
        {
            try
            {
                var response = await client.GetAsync(url, token);
                if (!response.IsSuccessStatusCode)
                    continue;

                var responseStream = await response.Content.ReadAsStreamAsync();
                using (var outputStream = new FileStream(destinationFile, FileMode.Create, FileAccess.Write))
                {
                    await responseStream.CopyToAsync(outputStream, 8 * 1024, token);
                    return true;
                }
            }
            catch (HttpRequestException)
            {
                //ignore
            }
        }
        return false;
    }
}