Python数据持久化存储

1、pymongo的使用

　　前三步为创建对象

　　第一步创建连接对象

　　conn = pymongo.MongoClient(\'IP地址\'，27017)

　　第二步创建库

　　db = conn[\'库名\']

　　第三步创建表

　　myset = db[\'集合名\']

　　第四步把数据插入数据库

　　myset.inset.one({})

#!/usr/bin/python
# -*- coding: utf-8 -*-
# @Time : 2019/6/26 8:56
# @Author : #####
# @Site : 
# @File : 猫眼电影_mongo存储.py
# @Software: PyCharm

from urllib import  request
import re
import time
import pymongo

class MaoyanSpider(object):
    def __init__(self):
        self.headers={\'User-Agent\':\'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.5221.400 QQBrowser/10.0.1125.400\'}

        #用来计数
        self.page=1
        #连接对象
        self.coon =pymongo.MongoClient(\'locslhost\',27017)
        #创建库对象
        self.db=self.coon[\'maoyaodb\']

        #集合对象
        self.myset=self.db[\'top100\']
    def get_page(self,url):
        req = request.Request(url,headers=self.headers)
        res = request.urlopen(req)
        html = res.read().decode(\'utf-8\')
        self.parse_page(html)

    def parse_page(self,html):
        p = re.compile( \'<div class="movie-item-info">.*?title="(.*?)".*?class="star">(.*?)</p>.*?class="releasetime">(.*?)</p>\',re.S)

        r_list = p.findall(html)

        self.write_mongo(r_list)


    def write_mongo(self,r_list):

        for r_t in r_list:
            d={
                \'电影名称：\':r_t[0].strip(),
                \'电影主演：\':r_t[1].strip(),
                \'上映时间：\':r_t[2].strip()
            }
        #插入数据库
            self.myset.inset.one(d)
    def work_on(self):
        for pn in range(0,41,10):
            url = \'https://maoyan.com/board/4?offset=%s\' % str(pn)

            self.get_page(url)
            print(\'第%d页爬取成功\' % self.page)
            self.page += 1
            time.sleep(4)

if __name__ ==  \'__main__\':
    begin = time.time()
    spider = MaoyanSpider()
    spider.work_on()
    end = time.time()
    print("执行时间%.2f" % (end - begin))

#注不完美，仍然需修改

　　

 

2、mysql的使用

　　Mysql-front可视化工具，建库建表添加字段

　　1、创建连接对象：db = pymysql.connet

　　2、创建游标对象：cursor = db.sursor

　　3、执行命令：cursor.execute()

　　4、提交到数据库执行

　　5、关闭：cursor.close

mysql-Front使用流程

　　1、创建数据库：

　　　　localhost--数据库--新建---数据库

　　　　数据库名改为maoyan （项目mysql库名）--- 字符集utf8 ---确定

　　2、创建表：

　　　　流程：选中maoyao数据库 --选中数据 ----新建 ----出现添加菜单 ---名称改为top100 ---创建成功

　　3、往表格中添加字段：

　　　　流程：选中top100表单  --- 数据库  ----新建  ----字段  ---出现添加界面 ----名称改为name  ---默认varchar  ---- 长度50  --确定

　　　　用同样的方法穿件字段star和time

　　　　ID一般设置为int 长度视情况而定