【问题标题】:Python crawler in an ajax website (modem-router settings)ajax 网站中的 Python 爬虫(调制解调器路由器设置)
【发布时间】:2016-03-01 18:51:26
【问题描述】:

如何为始终具有相同 url 的 ajax 网站创建 python 爬虫?
是否可以?

我是否应该一步一步地从索引页面到我想要的页面,并希望一切正常? (或者还有其他通往天堂的方式?)


编辑:
网址是http://192.168.1.1/
我实际上想访问我的路由器设置。

【问题讨论】:

  • SO 不是一个代码编写服务,如果你想得到一个正确的答案,你需要用你迄今为止尝试过的代码更新你的问题,并告诉我们它的问题。或Minimal, Complete, and Verifiable example 告知您将要实现的目标。
  • 问题已完成。我只想知道有没有可能!我没有尝试,因为我不知道该怎么做。我们总是给我们的爬虫一个 url 并要求一段内容。但除了那个网站的索引页,我没有任何网址。

标签: python ajax beautifulsoup web-crawler urllib


【解决方案1】:

简短的回答是“是的,有可能”

您可以打开浏览器控制台(网络选项卡),然后查找将由前端脚本调用并包含所需数据的 api url。 响应通常是 json/xml,因此您可以轻松解析它们

【讨论】:

  • 所以这意味着在浏览器中导航并记下路径(&...),然后在编程语言中尝试同样的事情。对吗?
猜你喜欢
  • 2012-09-12
  • 1970-01-01
  • 2012-10-04
  • 1970-01-01
  • 2019-04-17
  • 2013-02-03
  • 2016-11-26
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多