【问题标题】:writing UI for web scraping为网页抓取编写 UI
【发布时间】:2020-04-27 14:04:22
【问题描述】:

我正在尝试建立一个用于网络抓取的网站。它旨在抓取“类似购物”的网站(如亚马逊)。 我希望用户输入一个 url 并在我网站的框架中打开抓取的网站(如“iframe”),以便用户可以从中选择要抓取的功能,非常类似于“SelectorGadget”(@987654321 @) 或 google 的开发者工具 UI。 问题是“iframe”只打开网站,我想更改它(也许更改“悬停”(css 设计)和每个标签的侦听器)并且还能够从中获取 css 选择器。有没有什么有效的方法让它发挥作用?

我对网络编程很陌生,我知道 HTML、javascript、css,并且我非常愿意学习任何其他可以提供帮助的工具。 我会使用任何建议或相关来源。

【问题讨论】:

  • 如果你试图修改别人的网站,你会遇到法律问题...

标签: javascript html css screen-scraping


【解决方案1】:

您必须重新考虑您的解决方案的外观。

由于 COORS 限制,您无法访问其他网站的标签,但您绝对可以抓取像亚马逊这样的网站。我的建议是使用scrapy,因为它的配置非常简单,而且大多数情况下你可以用不到50行代码构建一个基本的蜘蛛。

这是一个解释 how to build that for Amazon 的 YT 视频

【讨论】:

    猜你喜欢
    • 2020-06-18
    • 1970-01-01
    • 1970-01-01
    • 2019-03-12
    • 1970-01-01
    • 1970-01-01
    • 2017-11-06
    • 1970-01-01
    相关资源
    最近更新 更多