如何在公共网站页面上找到网站页面添加

Question

如果公司公共网站在该网站上添加文档，我想收到通知。我需要为大约 400 个公共站点执行此操作。由于每个站点都会有不同的文档目录，所以我会在本地服务器的 Mysql 中为所有站点目录信息创建数据库。

示例 1

http://www.hubpower.com

文档目录放在以下路径

http://www.hubpower.com/wp-content/themes/hubco/pdf/

上述文件夹中还有两个文档链接：

http://www.hubpower.com/wp-content/themes/hubco/pdf/3Q2K17%20Result.pdf http://www.hubpower.com/wp-content/themes/hubco/pdf/1910-financial-results-announcements-(dec-2015).pdf

示例2

http://www.pk.abbott/investor/investor-information.html

有两个文件目录放在以下路径

http://dam.abbott.com/en-pk/documents/pdf/investors/ http://dam.abbott.com/en-pk/investor-relations/

这里是文档链接：

http://dam.abbott.com/en-pk/documents/pdf/investors/Q12017.pdf http://dam.abbott.com/en-pk/investor-relations/2016Q3.pdf http://dam.abbott.com/en-pk/investor-relations/Abbott_A_R_2016.pdf http://dam.abbott.com/en-pk/investor-relations/AR2015.pdf

如果网站在上述路径上添加更多 pdf 文档，我希望通过电子邮件收到通知，并进一步将新文档从网站目录下载到我的本地服务器。

请提出一些解决方案来实现这一目标。我更喜欢与 Restful、PHP、Angularjs、Nodejs、python、Javacript

感谢和问候

Answer 1

您可以使用任何Website Content Changes tool，例如Chrome Plugin Visualping，它可以向您发送电子邮件。

Form this Answer 一般来说，如果没有其他可能性（如新闻提要），您将需要对网站进行调查。你不能强迫他们提供这样的服务。

对于 Wikipedia 的详细信息，有实时更新 IRC 流，每个项目一个。 Wikistream 就是这样一个读取 feed 的应用，你可以在 github 上查看它的开源 node.js 代码。

Answer 2

您可以使用 nodejs 和 request 模块获取您提到的每 400 个页面的 html，然后使用 cheerio 解析它，然后使用 mysql 模块将所有数据放入数据库中，你还可以检查你抓取的数据是否已经存在于你的数据库中，如果是，你什么都不做，你可以每天这样做一次