服务器
5-31
6-7
6-8
image.show()
redis可视化界面
cookie如果是一次性的,只能用抓包工具保存请求.
如果是有时限的,需要隔时更改
mongodb保存的是字典,(键值对)
请求头是不一样的,user-agent不一样
用正则找nick_nane
清空点一个详情页
多进程
mongod --bind_ip 0.0.0.0 --logpath "C:\Program Files\MongoDB\Server\3.6\data\logs\mongo.log" --logappend --dbpath "C:\Program Files\MongoDB\Server\3.6\data\db" --port 27017 --serviceName "mongodb" --serviceDisplayName "mongodb" --install
请求和请求之间是没有任何联系的
cookie的存在就是为了解决这个问题
cookie里面含有用户的登录信息,所以用户只需要登录一遍
但是selenium不一样, 每一个的driver页面的开启, cookie是不会传递的,需要driver.add_cookie来设置cookie
pyspider里面可以使用全局代理, 之后的每一个请求都可以使用代理ip
selenium就是用来测试的和简单的小型爬虫任务, 因为爬的太慢了
但是, 爬虫任务的某一个页面可是使用selenium来完成
<class 'bytes'> <class 'str'>
(response.content) bytes -> str : bytes.decode('gbk') 将字节转化成字符串
(response.text) str -> bytes: str.encode('utf-8') 将字符串转化成字节
清空cookie
oc 是随机, pc 是刷新次数
环境变量 , 若没调整过来, 重启电脑, 还不行,新建
genspider 生成spider
cls
str-bytes encode('utf-8)
自定义