Python + Selenium +Chrome 批量下载网页代码修改
主要修改以下代码可以调用 本地的 user-agent.txt 和 cookie.txt
来达到在登陆状态下 批量打开并下载网页，以网页 ID 来保存为网页文件名
PS:很多人在学习Python的过程中，往往因为遇问题解决不了或者没好的教程从而导致自己放弃，为此我建了个Python全栈开发交流.裙 ：一久武其而而流一思（数字的谐音）转换下可以找到了，里面有最新Python教程项目可拿,不懂的问题有老司机解决哦，一起相互监督共同进步
导入 webdriver
from selenium import webdriver
读取本地文件中的 URL 链接
address = ‘./url.txt’
fp = open(address, ‘r’)
lines = fp.readlines()
print (‘【URL 链接】:% s’, lines)
调用环境变量指定的 PhantomJS 浏览器创建浏览器对象
driver = webdriver.PhantomJS()
driver = webdriver.Chrome()
如果没有在环境变量指定 PhantomJS 位置
driver = webdriver.PhantomJS(executable_path=”./phantomjs”))
for data in lines:
get 方法会一直等到页面被完全加载，然后才会继续程序，通常测试会在这里选择 time.sleep (2)
driver.get(data)
向下滚动 10000 像素
js = “document.body.scrollTop=10000”
js=”var q=document.documentElement.scrollTop=10000”
执行 JS 语句
driver.execute_script(js)
查看页面快照
driver.save_screenshot(“csdn.png”)
print (‘执行中。。。’)
关闭浏览器
driver.quit()
print (‘执行结束。。。’)
关闭文件流
fp.close()
总结：有很多人在学习Python的过程中，往往因为遇问题解决不了或者没好的教程从而导致自己放弃，为此我建了个Python全栈开发交流.裙 ：一久武其而而流一思（数字的谐音）转换下可以找到了，里面有最新Python教程项目可拿,不懂的问题有老司机解决哦，一起相互监督共同进步
本文的文字及图片来源于网络加上自己的想法,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。