【发布时间】:2009-06-13 04:20:22
【问题描述】:
我要构建一个可视化网络爬虫。软件所需的最重要功能是“视觉”,例如http://mozenda.com/。 该软件创建了一个像网络浏览器这样的工具,不仅允许用户浏览网页,执行一些任务,如认证、点击链接、进行搜索……而且还可以跟踪所有这些任务。 有谁知道实现这一点的技术? 谢谢。
【问题讨论】:
标签: screen-scraping web-crawler
我要构建一个可视化网络爬虫。软件所需的最重要功能是“视觉”,例如http://mozenda.com/。 该软件创建了一个像网络浏览器这样的工具,不仅允许用户浏览网页,执行一些任务,如认证、点击链接、进行搜索……而且还可以跟踪所有这些任务。 有谁知道实现这一点的技术? 谢谢。
【问题讨论】:
标签: screen-scraping web-crawler
import.io 是要走的路!这是免费的ATM
【讨论】:
你检查Selenium了吗?
【讨论】:
使用 IRobotSoft Visual Web Scraper,您可以直观地记录 Web 抓取操作。
【讨论】:
我不知道您在寻找什么样的任务...但这听起来像是您正在尝试构建和自动化的 Firefox 扩展。
我会查看这些文档,了解如何附加到主浏览器窗口并跟踪这些点击和键盘操作。
【讨论】: