使用 nodejs 的网络请求进行 Web 抓取

Question

我刚刚被分配了一个在 nodejs 中涉及网络请求（发送 get/post 请求）的任务，例如获取 .php 或 .json 文件。

我在网上搜索过，但没有运气。有公会吗？我从哪里开始？

Answer 1

当你想从 Node.js 发送 http (https) 请求时，有很多选择：

1.使用内置的http module

这是更底层的处理方式，如果您是使用 Node.js 的新 http，我不会推荐它。当您需要完全控制请求或确实需要速度时，您会使用这种方法。

2。使用第三方库

这是发送http请求的更常见的方式。 Node.js 有很多 http 库，其中很少有：

• Request（已弃用）

Request 是最常用的 http 请求库之一，但由于它已被弃用一段时间，因此不应在新软件中使用它。

• Axios

Axios 是一个基于 Promise 的 http 客户端。

• SuperAgent

与 Axios 类似，SuperAgent 是一个基于 Promise 的 http 客户端，但它有一些有用的功能，例如 URL query parameters。

• Got

Got 也是一个基于 Promise 的 http 客户端，但它比其他 http 客户端更简洁。

选择您的首选选项后，您应该可以轻松找到它的文档。