Python学习笔记之爬取网页保存到本地文件

爬虫的操作步骤：

爬虫三步走

爬虫第一步：使用requests获得数据： （request库需要提前安装，通过pip方式，参考之前的博文）
1.导入requests
2.使用requests.get获取网页源码

import requests
r = requests.get(\'https://book.douban.com/subject/1084336/comments/\').text

爬虫第二步：使用BeautifulSoup4解析数据： （BeautifulSoup4库需要提前安装，通过pip方式，参考之前的博文）
1.导入bs4
2.解析网页数据
3.寻找数据
4.for循环打印

from bs4 import BeautifulSoup
soup = BeautifulSoup(r,\'lxml\')
pattern = soup.find_all(\'p\',\'comment-content\')
for item in pattern:
print(item.string)

爬虫第三步：使用pandas保存数据： （pandas库需要提前安装，通过pip方式，参考之前的博文）
1.导入pandas
2.新建list对象
3.使用to_csv写入

import pandas
comments = []
for item in pattern:
comments.append(item.string)
df = pandas.DataFrame(comments)
df.to_csv(\'comments.csv\')

完整的爬虫(值得注意的是关于BeautifulSoup和pandas两个包，都需要事先在电脑上安装，可以使用pip命令方式安装，具体方法可查看之前的博文命令 pip install beautifulsoup & pip install pandas)

import requests
r = requests.get(\'https://book.douban.com/subject/1084336/comments/\').text
 
from bs4 import BeautifulSoup
soup = BeautifulSoup(r,\'lxml\')
pattern = soup.find_all(\'p\',\'comment-content\')
for item in pattern:
print(item.string)
 
import pandas
comments = []
for item in pattern:
comments.append(item.string)
df = pandas.DataFrame(comments)
df.to_csv(\'comments.csv\')#当然这里可以指定文件路径，如 D:/PythonWorkSpace/TestData/comments.csv

代码运行结果：（注意的是，运行结果为csv，可能你用Excel打开之后会出现乱码，那是因为csv格式不对，怎么解决呢？

你可以将csv文件用Notepad++打开，编码Encoding选择 Encode in UTF-8-BOM）

Alt text

如果是多页的话，为了防止保存到CSV 文件中的数据被上一页覆盖，可以这样用：

mode=\'a\', header = False

df.to_csv(\'D:/Python....csv\', mode=\'a\', header = False)