程序化浏览性能问题

Question

我正在使用Selenium（在 Java 中）进行程序化浏览 (Firefox)，并且为了加快页面加载速度，我正在通过在同一应用程序中运行的程序化 Java 代理 (Browsermob) 来防止加载外部内容（广告等），因为我只需要网站的托管内容。

应用程序正在浏览数十万个页面，但不幸的是，几个小时后，速度显着降低（从 ~5s/page 到 ~30s/page）。

会不会和浏览器缓存大小有关？代理缓存？如何检查？ 任何指针或提示都会受到欢迎！

非常感谢， 汤姆

Answer 1

您好，我会将您的用户代理更改为 Chrome 之类的东西，以检查 Firefox 是否存在问题，或者它是否归结为您应用中的内存管理。

您是否在多次查看后关闭浏览器？请记住，浏览器会缓存并开始占用大量内存。在您的应用程序中使用基于文本的浏览器 (Lynx) 可能会更好，如果您只是想要获取文本内容，这会减少很多开销。

我会每隔一段时间就终止进程，因为内存泄漏会导致进程随着时间的推移而变慢。