【发布时间】:2017-07-19 18:55:55
【问题描述】:
我正在尝试用 python 编写一个网络爬虫,但我有一个问题,该网站的内容没有编码到 html 中,似乎它们来自不同的来源,我想知道是否有任何 python可以为我获取内容的库,或者是否有我愿意学习的任何其他语言的此类工具。
【问题讨论】:
-
你能给我们举个例子吗?
标签: python web-scraping web-crawler
我正在尝试用 python 编写一个网络爬虫,但我有一个问题,该网站的内容没有编码到 html 中,似乎它们来自不同的来源,我想知道是否有任何 python可以为我获取内容的库,或者是否有我愿意学习的任何其他语言的此类工具。
【问题讨论】:
标签: python web-scraping web-crawler
见:Is this possible to load the page after the javascript execute using python?
您必须执行 JS 以及生成所需 HTML 的任何其他内容。您可以通过多种方式做到这一点,但我上面链接的答案建议使用Selenium Web Driver。
【讨论】: