【发布时间】:2014-10-24 23:11:13
【问题描述】:
我得到了这个 for 循环,它会删除一大串网址:
//Before
public void testScrapjv() throws Exception {
List<String> urlList = BIG_LIST_OF_URLS
for (String url : urlList) {
driver.get(url);
//scraping code
}
我正在寻找一种方法来并行化这个 for 循环,以加快访问和从列表中抓取每个网站的过程。
我可以将列表拆分为 4 个,然后手动运行 4 个程序实例,但我不喜欢手动执行操作的想法。是否有人知道如何优雅地做到这一点,解决方案当然可以涉及 shell 脚本(我在该领域没有技能),但在 java 代码中做会更好。
我读到我可以使用 selenium-grid,但我不知道它是什么,并且网站似乎无法正常工作 (http://selenium-grid.seleniumhq.org/),也许有人会有一些提示。
【问题讨论】:
-
查看一些框架。 TestNG 可以轻松做到。
标签: java selenium parallel-processing webdriver selenium-grid