环境搭建
一、请求库
均采用pip安装方式
涉及库
- requests
- Selenium
- ChromeDriver
- GeckoDriver
- PhantomJS
- aiohttp
二、解析库
- lxml
- Beautiful Soup
- pyquery
- tesserocr
三、数据库
四、存储库
- PyMySQL
- PyMongo
- redis-py
- Redis-Dump
五、web库
- Flask
- Tornado
六、APP爬取库
- Charles
- mitmproxy
- Appium
七、爬虫框架
- pyspider
- Scrapy
- Scrapy-Splash
- Scrapy-Redis
八、部署相关库
- Docker
- Scrapyd
- Scrapy-Clint
- Scrapy-API
- Scrapyrt
- Gerapy