在 Web API 响应中添加 zip 文件作为内容，下载时文件大小加倍

Question

我正在将 zip 文件保存到 AWS S3 存储桶。我现在正在尝试创建一个 C# .NET API，它允许我从存储桶中下载指定的密钥并将其保存到 Content 密钥中的 HttpResponseMessage。

我参考了以下问题来设置我对 zip 文件的回复：How to send a zip file from Web API 2 HttpGet

我已修改上一个问题中的代码，使其改为从 TransferUtility 流中读取。

问题是我在尝试提取或查看如下所示的文件时遇到错误：

我从 API 返回的响应如下所示：

相关代码如下：

[HttpGet, Route("GetFileFromS3Bucket")]
public HttpResponseMessage GetFileFromS3Bucket(string keyName)
{
    HttpResponseMessage response = new HttpResponseMessage();
    string bucketName = "myBucket";
    RegionEndpoint bucketRegion = RegionEndpoint.ARegion;
    IAmazonS3 s3Client;
    s3Client = new AmazonS3Client(bucketRegion);

    try
    {
        var fileTransferUtility = new TransferUtility(s3Client);
        var stream = fileTransferUtility.OpenStream(bucketName, keyName);
        response.Content = new StreamContent(stream);
        response.Content.Headers.ContentDisposition = new System.Net.Http.Headers.ContentDispositionHeaderValue("attachment");
        response.Content.Headers.ContentDisposition.FileName = keyName + ".zip";
        response.Content.Headers.ContentType = new System.Net.Http.Headers.MediaTypeHeaderValue("application/zip");
        response.StatusCode = HttpStatusCode.OK;
    }
    catch (Exception e)
    {
        response.Content = new StringContent("Something went wrong, error: " + e.Message);
        response.StatusCode = HttpStatusCode.InternalServerError;
    }

    return response;
}

故障排除结果：

• 来自 Web API 的文件的大小几乎是 S3 中预期大小的两倍。这在不同文件中是一致的
• 将存储桶更改为可公开访问没有帮助（设置后恢复为不允许公开访问）
• 将文件类型更改为 XML 未显示格式正确的错误（有一个建议，如果 S3 提供错误，您可能会收到 XML 响应）
• 将 S3 流保存到文件，然后直接保存到文件会产生正确的文件大小。似乎可以肯定地说来自 S3 的流不是问题

HTTPResponseMessage 处理 zip 文件的方式似乎存在问题。我不确定它实际上是在服务器端，还是在客户端来解析数据，而 Swagger 根本无法做到这一点。任何帮助将不胜感激。

更新 1 我不相信这个字符串是 Base64 编码的，因为我将流转换为字符串得到的结果如下：

我已经更新了代码示例，其中两行显示了从流到字符串的转换。

更新 2 我已经确认问题在于响应如何处理流，或者响应本身的某些内容。从 S3 下载文件流并保存到本地计算机上的新文件会生成按预期打开的有效文件。

更新 3 链接到带有测试文件的 GDrive 文件夹：https://drive.google.com/drive/folders/1q_N3NTHz5E_nebtBQJHor3HfqUZWhGgd?usp=sharing 很遗憾，我无法提供对原始文件的访问权限，因为它包含敏感数据。但是，提供的文件仍然会导致相同的问题。 有趣的是，测试文件看起来像：

文件名两边的下划线很奇怪。

我正在运行以下相关软件包：

更新 4 我在各种文件中发现了以下 UTF8 引用：

文件：configuration91.svcinfo

我在项目的任何地方都找不到任何关于“responseEncoding”的内容。

Answer 1

我要抛出一个答案，因为发生在你身上的事情是非正统的。我在很多事情上都使用 S3，并且在过去没有任何问题地完成了你正在做的事情。为了确保我模仿你在做什么，我复制了你的代码：

[HttpGet, Route("GetFileFromS3Bucket/{keyName}")]
public HttpResponseMessage GetFileFromS3Bucket(string keyName)
{
    string bucketName = "testzipfilesagain";
    string awsAccessKey = "AKIAJ********A3QHOUA";
    string awsSecretKey = "IYUJ9Gy2wFCQ************dCq5suFS";

    IAmazonS3 client = new AmazonS3Client(awsAccessKey, awsSecretKey, RegionEndpoint.USEast1);

    var fileTransferUtility = new TransferUtility(client);
    var stream = fileTransferUtility.OpenStream(bucketName, "md5.zip");

    var resp = new HttpResponseMessage();

    resp.Content = new StreamContent(stream);
    resp.Content.Headers.ContentDisposition = new System.Net.Http.Headers.ContentDispositionHeaderValue("attachment");
    resp.Content.Headers.ContentDisposition.FileName = keyName + ".zip";
    resp.Content.Headers.ContentType = new System.Net.Http.Headers.MediaTypeHeaderValue("application/zip");
    resp.StatusCode = HttpStatusCode.OK;

    return resp;
}

这些是我安装的包：

  <ItemGroup>
    <PackageReference Include="AWSSDK.S3" Version="3.3.111.37" />
    <PackageReference Include="Microsoft.AspNetCore.Mvc.WebApiCompatShim" Version="2.2.0" />
    <PackageReference Include="Swashbuckle.AspNetCore" Version="5.5.1" />
  </ItemGroup>

一切运行良好。

尝试对您的代码进行故障排除将徒劳无功，因为它工作得非常好，但是您的环境有问题。

因此，这不是对您的问题的回答，而是对如何尝试解决手头的问题并克服这个问题的回答。

1. 确保您的 nuget 包是最新的
2. 您的管道中是否注入了任何中间件？如果有，是什么？
3. 发布您的 startup.cs -- 可能您的 Configure 例程中出现问题。
4. 您能开始一个全新的项目并在其中尝试您的代码吗？
5. 您能否尝试一个 5KB 的小 zip 文件并发布原始文件和损坏的文件以便我们查看？

我很想深入了解这一点，因为我真的很想解决这些类型的问题。

---

编辑 1

所以我查看了 zip 文件，它们已通过 UTF8 编码过程运行。因此，如果您使用原始 zip 文件并在其上运行此代码：

    var goodBytes = File.ReadAllBytes("Some test to upload to S3.zip");
    var badBytes = File.ReadAllBytes("_Some test to upload to S3.zip.zip_");

    File.WriteAllText("Some test to upload to S3.zip.utf8", Encoding.UTF8.GetString(goodBytes));
    var utf8EncodedGoodBytes = File.ReadAllBytes("Some test to upload to S3.zip.utf8");

    var identical = badBytes.SequenceEqual(utf8EncodedGoodBytes);

结果是：

我将进行一些研究并找出可能导致您的流变成 UTF-8 编码的原因。你的配置中有looks like this 的东西吗？您能否在整个解决方案中搜索类似于“utf”、“utf8”或“utf-8”的任何内容？