在 Python 中将 HTML 存储到 mysql

Question

我需要存储最初存储在本地的已爬取 HTML 页面。我正在使用成功打开文件

myHTML = open(file_location,'r').read()   

输出可从这里获得：http://shrib.com/jqR5uf0C

我也成功创建了 SQL 查询：

query_insert = ("insert into job_html (processid, myURL, myhtml) VALUES (%d, %s, %s)", processid, my_url, str(myHTML))

但由于某种原因，HTML 没有正确转义，因为我无法通过 Python 或手动插入它。

我也收到以下 Python 错误：

AttributeError: 'tuple' object has no attribute 'encode'

感谢 Python 新手的任何帮助 ;-)

代码：

def extractText(file_location,processid,my_url):

import mysql.connector

iwr_db = mysql.connector.connect(user='iwr', password='iwr',
                          host='127.0.0.1',
                          database='iwr_1')

myHTML = open(file_location,'r').read()
query_insert = ("insert into job_html (processid, myURL, myhtml) VALUES (%d, %s, %s)", processid, my_url, str(myHTML))
print query_insert

cursor_insert = iwr_db.cursor(buffered=True)
cursor_insert.execute(query_insert)
iwr_db.commit()

Answer 1

问题在于，出于某种原因，您将查询定义为元组，然后尝试将其直接传递给 execute 命令。

我认为您对这之间的区别感到困惑：

query = ('foo', bar, baz)
execute(query)

还有这个：

execute('foo', bar, baz)

首先，您定义一个元组，然后将其作为 single 参数传递给execute - 因此出现有关元组的错误消息。当然，在第二个中，您将三个单独的参数传递给execute。

您可以在调用执行时使用所谓的“元组解包”来解决此问题：

execute(*query)

但在您的情况下，将查询字符串定义为一个变量会更容易，然后将其余部分直接传递给执行：

query_insert = "insert into job_html (processid, myURL, myhtml) VALUES (%s, %s, %s)"
cursor.execute(query_insert, processid, my_url, str(myHTML))

（另请注意，MySQLdb 查询字符串的 all 参数必须使用 %s，即使它们是整数。）