Golang 上传 Http 请求 FormFile 到 Amazon S3

Question

我正在创建一个微服务来处理上传到 Amazon S3 的一些附件，我想要实现的是接受一个文件，然后将其直接存储到我的 Amazon S3 存储桶中，这是我当前的功能：

func upload_handler(w http.ResponseWriter, r *http.Request) {
  file, header, err := r.FormFile("attachment")

  if err != nil {
    fmt.Fprintln(w, err)
    return
  }

  defer file.Close()

  fileSize, err := file.Seek(0, 2) //2 = from end
    if err != nil {
         panic(err)
    }

    fmt.Println("File size : ", fileSize)

  bytes := make([]byte, fileSize)
  // read into buffer
  buffer := bufio.NewReader(file)
  _, err = buffer.Read(bytes)

  auth := aws.Auth{
        AccessKey: "XXXXXXXXXXX",
        SecretKey: "SECRET_KEY_HERE",
  }
  client := s3.New(auth, aws.EUWest)
  bucket := client.Bucket("attachments")

  err = bucket.Put(header.Filename, bytes, header.Header.Get("Content-Type"), s3.ACL("public-read"))

  if err != nil {
    fmt.Println(err)
    os.Exit(1)
  }
}

问题是存储在S3中的文件都损坏了，经过小验证，文件payload似乎没有被读取为字节

如何将文件转换为字节并正确存储到 S3 中？

Answer 1

使用ioutil.ReadAll:

bs, err := ioutil.ReadAll(file)
// ...
err = bucket.Put(
    header.Filename, 
    bs, 
    header.Header.Get("Content-Type"), 
    s3.ACL("public-read"),
)

Read 是一个具有微妙行为的低级函数：

Read 将数据读入 p。它返回读入 p 的字节数。它在底层 Reader 上最多调用一次 Read，因此 n 可能小于 len(p)。在 EOF 时，计数为零，err 为 io.EOF。

所以可能发生的事情是文件数据的某些子集与一堆 0 一起被写入 S3。

ioutil.ReadAll 通过一遍又一遍地调用Read 来填充动态扩展的缓冲区，直到它到达文件末尾。 （所以也不需要bufio.Reader）

此外，Put 函数会在处理大文件时出现问题（使用 ReadAll 意味着整个文件必须适合内存），因此您可能希望使用 PutReader 代替：

bucket.PutReader(
    header.Filename, 
    file, 
    fileSize, 
    header.Header.Get("Content-Type"), 
    s3.ACL("public-read"),
)