为什么 Golang http.ResponseWriter 执行被延迟？

Question

我试图在收到请求后立即发送页面响应，然后处理某些内容，但我发现响应没有“首先”发送出去，即使它是代码序列中的第一个。在现实生活中，我有一个用于上传 Excel 工作表的页面，该工作表保存到数据库中，这需要时间（50,0000+ 行）并希望更新用户进度。这是一个简化的示例； （取决于您有多少 RAM，您可能需要在计数器中添加几个零才能看到结果）

package main

import (
    "fmt"
    "net/http"
)

func writeAndCount(w http.ResponseWriter, r *http.Request) {
    w.Write([]byte("Starting to count"))

    for i := 0; i < 1000000; i++ {

        if i%1000 == 0 {
            fmt.Println(i)
        }
    }
    w.Write([]byte("Finished counting"))

}

func main() {
    http.HandleFunc("/", writeAndCount)
    http.ListenAndServe(":8080", nil)

}

Answer 1

HTTP protocol 的原始概念是一个简单的请求-响应服务器-客户端计算模型。没有流式传输或“连续”客户端更新支持。如果它需要某种信息，那么（曾经）总是首先联系服务器的客户端。

此外，由于大多数 Web 服务器会缓存响应直到它完全准备好（或达到某个限制 - 通常是缓冲区大小），所以您写入（发送）到客户端的数据不会立即传输。

“开发”了几种技术来解决这个“限制”，以便服务器能够通知客户端有关更改或进度，例如 HTTP 长轮询、HTTP 流、HTTP/2 服务器推送或 Websocket。你可以在这个答案中阅读更多关于这些的信息：Is there a real server push over http?

所以要实现你想要的，你必须绕过 HTTP 协议的原始“边界”。

如果您想定期发送数据，或将数据流式传输到客户端，则必须将此告知服务器。最简单的方法是检查交给你的http.ResponseWriter 是否实现了http.Flusher 接口（使用type assertion），如果实现了，调用它的Flusher.Flush() 方法会将任何缓冲的数据发送到客户端。

使用http.Flusher 只是解决方案的一半。由于这是 HTTP 协议的非标准用法，通常还需要客户端支持才能正确处理。

首先，您必须通过设置ContentType=text/event-stream 响应标头让客户端了解响应的“流式传输”性质。

接下来，为避免客户端缓存响应，请务必同时设置Cache-Control=no-cache。

最后，为了让客户端知道您可能不会将响应作为单个单元（而是作为定期更新或作为流）发送，以便客户端应该保持连接处于活动状态并等待更多数据，请设置Connection=keep-alive 响应头。

一旦响应头设置如上，你就可以开始你的长期工作，每当你想更新客户端关于进度的时候，写一些数据并调用Flusher.Flush()。

让我们看一个“正确”的简单示例：

func longHandler(w http.ResponseWriter, r *http.Request) {
    flusher, ok := w.(http.Flusher)
    if !ok {
        http.Error(w, "Server does not support Flusher!",
            http.StatusInternalServerError)
        return
    }

    w.Header().Set("Content-Type", "text/event-stream")
    w.Header().Set("Cache-Control", "no-cache")
    w.Header().Set("Connection", "keep-alive")

    start := time.Now()
    for rows, max := 0, 50*1000; rows < max; {
        time.Sleep(time.Second) // Simulating work...
        rows += 10 * 1000
        fmt.Fprintf(w, "Rows done: %d (%d%%), elapsed: %v\n",
            rows, rows*100/max, time.Since(start).Truncate(time.Millisecond))
        flusher.Flush()
    }
}

func main() {
    http.HandleFunc("/long", longHandler)
    panic(http.ListenAndServe("localhost:8080", nil))
}

现在，如果您在浏览器中打开 http://localhost:8080/long，您将看到每秒“增长”的输出：

Rows done: 10000 (20%), elapsed: 1s
Rows done: 20000 (40%), elapsed: 2s
Rows done: 30000 (60%), elapsed: 3s
Rows done: 40000 (80%), elapsed: 4.001s
Rows done: 50000 (100%), elapsed: 5.001s

还请注意，在使用 SSE 时，您应该将更新“打包”到 SSE 帧中，即您应该以 "data:" 前缀开始它们，并以 2 个换行符结束每个帧："\n\n"。

“文学”和延伸阅读/教程

阅读更多关于Server-sent events on Wikipedia的信息。

查看Golang HTML5 SSE example。

见Golang SSE server example with client codes using it。

在Server-Sent Events - One Way Messaging 上查看 w3school.com 的教程。

Answer 2

您可以检查ResponseWriter 是否为http.Flusher，如果是，则强制刷新到网络：

if f, ok := w.(http.Flusher); ok {
    f.Flush()
}

但是，请记住，这是一个非常规的 HTTP 处理程序。将进度消息流式传输到响应中，就好像它是一个终端一样会带来一些问题，特别是如果客户端是一个 Web 浏览器。

您可能需要考虑一些更符合 HTTP 特性的方法，例如立即返回一个 202 Accepted 响应，并带有一个唯一标识符，客户端可以使用该标识符来检查处理状态，然后调用您的 API。