因为写爬虫要存储数据 感觉单一插入数据在写一个更新数据的命令会很麻烦 而且数据量大也会有影响 找了很多资料 找到一个一句命令就可以更新和插入 这些操作都是在window系统下面完成的 因为电脑问题liunx很卡 所以不是很了解 就不献丑了 

 

下面的我自己创建的一个table表 

mysql插入更新

之后点击索引键创建唯一索引mysql插入更新

下面的是我按照author 也就是作者的意思创建了唯一索引

mysql插入更新

 

之后我在pycharm里面运行代码,因为之前全是不完整的代码 本人理解能力较差 也希望能让和自己一样的朋友能看懂就把sql的所有代码复制过来,希望大家在比较上面创建的table表  能理解这些代码的意思

def Mysql(title, num_people, author, url):
    mysql = pymysql.connect(host='localhost',user='root',password='12345678',port=3306,db='mysql',charset='utf8')

    try:
        cursor = mysql.cursor()
        #yourtablename 是你自己要创建的表的名字
        sql = 'insert into yourtablename(title,num_people,author,url) VALUES(%s, %s, %s, %s) 
                ON DUPLICATE KEY UPDATE title=VALUES(title),num_people=VALUES(num_people)'

        data = (title, num_people, author, url)
        print(data)
        cursor.execute('USE scraping')
        cursor.execute(sql,data)
        #因为不是查询功能,插入和更新需要更改数据库,所以需要一个事务mysql.commit()与mysql.rollback()比较重要,保证你插入的数     #据能存到数据库里面
        mysql.commit()
        cursor.close()
    except pymysql.Error as e:
        mysql.rollback()
        print('插入数据格式错误:',str(e))

这些都完成 就可以试试能不能正常的运行了 本人测试过 没有问题

相关文章: