阅读 URL 不显示其内容 [重复]答案

【问题标题】：Reading URL does not show its contents [duplicate]阅读 URL 不显示其内容 [重复]
【发布时间】：2018-09-11 07:32:41
【问题描述】：

我正在尝试完全按照here. 的建议阅读网址

但是，我在输出中得到的内容与我在网站上看到的内容不同。

myfile = f.read()
link = "http://www.primatiming.com/#/participant/11/40/37380"
f = urllib.request.urlopen(link)
myfile = f.read()
print(myfile)


b'<!doctype html>\n<html lang="en">\n<head>\n  <meta charset="utf-8">\n
<title>primatiming</title>\n  <base href="/">\n\n  <meta name="viewport"
content="width=device-width, initial-scale=1">\n  <link rel="icon" type="image/x-icon"
href="favicon.ico">\n<link rel="stylesheet" href="styles.1b97fe46abe0706759da.css">
</head>\n<body>\n  <app-root></app-root>\n<script type="text/javascript"
src="runtime.a66f828dca56eeb90e02.js"></script><script type="text/javascript"
src="polyfills.7b309130c7fc8668d4f8.js"></script><script type="text/javascript" 
src="scripts.8e2ccd20353c3cf5326a.js"></script><script type="text/javascript" 
src="main.a865153f87c564c09e4f.js"></script></body>\n</html>\n'

我想知道是否有人可以建议阅读此页面的任何方法？

这样做的原因是我只是想从primetiming url中的多个页面下载站点中的表格，以便我可以对它们进行一些数据分析。

谢谢。

【问题讨论】：

标签： python html url

【解决方案1】：

如您所见，您正在获取一些带有脚本标签的 html：其中的 javascript 应该在您访问页面时单独运行和下载内容。

当您正常访问该页面时，您的浏览器会自动为您执行此操作。要验证这一点，请转到浏览器的开发工具网络部分，检查“保留日志”并尝试访问目标页面。如果您copy the response，您将看到与使用 urllib 给您的结果相同的结果。所以你需要一些可以运行 javascript 的东西来获取数据。

一种流行的方法是使用 Selenium，如 suggested here。

【讨论】：

【解决方案2】：

您似乎需要某种无头 Web 浏览器（或 Selenium）来处理和呈现 javascript，以便您可以获取生成的 html。

【讨论】：

【解决方案3】：

这是因为该站点使用xhr，您需要为此使用无头浏览器或直接尝试他们的公共api。

【讨论】：

【解决方案4】：

我不太明白你的问题，但我想你想从这个页面获取信息？

所以我可以建议您将 xpath 与 libxml 一起使用！

在网络上进行一些研究以进行抓取

【讨论】：

如果您不理解问题，请不要回答 - 而是发表评论要求澄清。
@brunodesthuilliers 完全正确，他已经 > 50 代表