上一篇带你写第一个爬虫，我们只是获取到了知乎问答的url，我们日常爬取数据的目的是为了数据的分析，这篇文章我们带你继续，将爬取到数据进行存储。
存储数据
存储海量数据
数据持久化的首选方案应该是关系型数据库，关系型数据库的产品很多，包括：Oracle、MySQL、SQLServer、PostgreSQL等。如果要存储海量的低价值数据，文档数据库也是不错的选择，MongoDB是文档数据库中的佼佼者，之前我们已经讲解过MongDB的相关知识，在此不再进行赘述。
数据缓存
通过《网络数据采集和解析》一文，我们已经知道了如何从指定的页面中抓取数据，以及如何保存抓取的结果，但是我们没有考虑过这么一种情况，就是我们可能需要从已经抓取过的页面中提取出更多的数据，重新去下载这些页面对于规模不大的网站倒是问题也不大，但是如果能够把这些页面缓存起来，对应用的性能会有明显的改善。可以使用Redis来提供高速缓存服务，关于Redis的知识，我们在《NoSQL入门》一文中已经做过简要的介绍。
这里介绍一下redis 缓存服务器
实例 - 缓存知乎发现上的链接和页面代码
喜欢点下关注，你的关注是我写作的最大支持