【发布时间】:2016-05-25 17:36:55
【问题描述】:
我正在尝试使用 X-Ray 执行以下操作,我不熟悉网络抓取,我正在寻找适合我使用的技术。
浏览到一个页面,在其中分配一个特定的表单,设置一些变量,然后提交它。 然后获取其他页面,以此类推……
什么是最好的基于 NodeJS 的解决方案,带有示例和文档来完成这项工作?
谢谢。
【问题讨论】:
标签: node.js web-scraping web-crawler
我正在尝试使用 X-Ray 执行以下操作,我不熟悉网络抓取,我正在寻找适合我使用的技术。
浏览到一个页面,在其中分配一个特定的表单,设置一些变量,然后提交它。 然后获取其他页面,以此类推……
什么是最好的基于 NodeJS 的解决方案,带有示例和文档来完成这项工作?
谢谢。
【问题讨论】:
标签: node.js web-scraping web-crawler
为网页抓取创建了许多 Node 模块。
其中一些是:
请参阅 Node.js Scraping Libraries - Moritz Klack 在 Webkid 博客上的一个非常好的比较。
网上有一些关于如何使用它们的好文章,主要是关于 Cheerio:
值得一提的是,x-ray 模块是由 Cheerio 的作者编写的 - 请参阅 DailyJS 上的:X-Ray: A Scraper by the Author of Cheerio。
【讨论】: