使用 Node.js 从不同站点下载数据答案

【问题标题】：Download data from different sites using Node.js使用 Node.js 从不同站点下载数据
【发布时间】：2018-03-03 07:33:10
【问题描述】：

我应该创建一些代码，允许我从不同的站点下载数据（例如：WHO、Unicef、Eurostat，...），然后将这些数据转换为我认为有用的格式，例如作为JSON。（如果我理解正确，这意味着要进行网页抓取，对吗？）。

数据可以有不同的格式：html、PDF、xlsx、tsv、csv等。例如：

我需要对它们进行处理并将它们转换为统一格式，以便进行比较。

显然数据收集可以手动完成，但我更喜欢自动程序来为我完成。

我从来没有做过这样的事情，我不知道如何开始。

目前，我只使用过客户端Javascript，而我对服务器端编程知之甚少。他们建议我使用Node.js、Express.js 和MongoDB。我读到MEAN 存在：一个用于构建动态网站和网络应用程序的 JavaScript 软件，但我不知道如何使用它。

我从未使用过 Node.js 或 Express.js 或 MongoDB。我很高兴学习，但我需要帮助。

有人可以帮助我吗？我没有找到适合我的教程或指南。

谢谢！

【问题讨论】：

【解决方案1】：

您只需要与 URL 对话的东西。您可以使用 Node.js 或任何其他提供与 URL 对话的功能的框架来完成。之后，您可以根据需要编写解析器来清理数据。

这里是描述如何在 Node.js 中执行此操作的页面的链接。

【讨论】：