如何在.net中动态更新网页的viewsource

Question

有一个名为“www.localbanya.com”的网站，我想从那个网站获取HTML信息，他们列出产品，他们的显示结构是：

1. 首先，他们在页面加载时显示大约 8-10 种产品，并且
2. 稍后当用户向下滚动时，它会生成更多产品。

现在这是基于 javascript 发生的，我无法使用 WebClient 获取整个页面源代码。

我想知道有什么方法可以更新页面源，同时使用 .net 中的 WebClient 类来检索整个页面信息，或者我可以使用任何其他替代方法来一次获取整个页面的 HTML 信息。

你可以参考这个localbanya product page

任何帮助将不胜感激。

Answer 1

WebClient 显然不运行 javascript。

所以你需要某种无头浏览器来做到这一点。

它有很多选择，虽然我不知道任何 C# 或 .NET 实现..

您可以查看Phantom JS 和其他无头浏览器，它们复制了普通浏览器的功能，您可以为其编写脚本。

也可以参考这个问题 Headless browser for C# (.NET)?

您还可以运行Fiddler 之类的东西来查看向下滚动时从页面发出的请求，对如何检索数据进行逆向工程，并在可能的情况下使用WebClient 进行复制。

希望对您有所帮助。