Scrapy Spider 不向 MySQL 插入数据

Question

我是 Python 新手，我编写的代码没有按预期工作。我尝试通过 Scrapy Spider 将一个项目插入 MySQL 数据库，但是当我检查数据库时没有那个项目。

我的管道代码如下。

from __future__ import print_function
import mysql.connector
from mysql.connector import errorcode


class LyricsPipeline(object):

    def __init__(self):
        self.create_connection()
        # self.create_table()

    def create_connection(self):
        self.conn = mysql.connector.connect(
            host='localhost',
            user='root',
            passwd='',
            database='lyrical'
        )
        self.curr = self.conn.cursor()

    # def create_table(self):
    #     self.curr.execute("""DROP TABLE IF EXISTS llyrics""")
    #     self.curr.execute("""create table llyrics (
    #         title text,
    #         movie text,
    #         lyrics text
    #     )""")
    def process_item(self, item, spider):
        self.store_db(item)
        return item

    def store_db(self, item):
        self: curr.execute("""insert into mylyrics values ('title','movie','lyrics')""", (
            item['title'][0],
            item['movie'][0],
            item['lyrics'][0]
        ))
        self.conn.commit()

我错过了什么，你能告诉我吗？

Answer 1

我假设该项目已正确传递给此函数，并且您从管道中获取它 - 您的管道也添加到以下设置中： setting.py

ITEM_PIPELINES = {
   'some_spider.pipelines.SpiderDataPipeline': 300,
}

其中 300 是它的重要性（更多关于 scrapy 文档的检查 - Scrapy pipeline doc）。

第二件事可以是你的函数store_db。试试看：

def store_db(self, item):
    self.curr.execute("insert into mylyrics values (%s,%s,%s)", (
        item['title'][0],
        item['movie'][0],
        item['lyrics'][0]
    ))
    self.conn.commit()

希望这能帮助您解决问题。