如何下载、修改和提供远程页面

Question

我尝试创建一个 http 服务器，它将在 https://google.com 下载 HTML 并提供它（在 localhost:3000）。一种代理。

使用此代码：

const express = require('express')
const https = require('https')

const app = express()

app.get('/', function (req, mainRes) {
    https.get('https://www.google.fr', (res) => {
        res.on('data', (d) => {
            mainRes.send(d)
        })
    })
})

app.listen(3000)

google.com 的 html 似乎已下载，但服务器因此错误而崩溃：

Error: Can't set headers after they are sent.

我知道这与 2 个打包的请求有关，但我不知道如何解决。

Answer 1

@sdgluck && @kwesi1337 帮我找到了解决方案，我需要连接 data 事件中的所有块：

const express = require('express')
const https = require('https')

const app = express()
let data = ''

app.get('/', function (req, mainRes) {
    https.get('https://www.google.fr', (res) => {
        res.on('data', (chunk) => {
            data += chunk;
        })
        res.on('end', () => {
            mainRes.end(data);
        });
    })
})

app.listen(3000)

Answer 2

在您的代码中，参数res 是一个流（请参阅https.get 的文档）。

目前，您正在尝试在每次通过该流接收到块时发送完整的响应。因此，您收到错误Can't set headers after they are sent.，因为第二次调用mainRes.send()，您正试图再次发送整个响应。 （请参阅 express 的文档'res.send。）

您想通过快速响应对象通过管道传递res，因为这也是一个流：

const express = require('express')
const https = require('https')

const app = express()

app.get('/', function (req, mainRes) {
    https.get('https://www.google.fr', (res) => {
        mainRes.pipe(res)
    })
})

app.listen(3000)

Answer 3

我不是 100% 确定您的情况，但我建议您添加调试器语句并逐步执行。