我正在用 python 构建一个搜索引擎。
我听说 Google 会从 ODP (Open Directory Project) 获取页面描述，以防 Google 无法使用页面中的元数据找出描述...我想做类似的事情。
ODP 是来自 Mozilla 的在线目录，其中包含网络上的页面描述，因此我想从 ODP 获取我的搜索结果的描述。如何从 ODP 获取特定 url 的准确描述，如果找不到，则返回 python 类型“None”（这意味着 ODP 不知道我在寻找哪个页面）？
PS。有一个名为http://dmoz.org/search?q=Your+Search+Params 的网址，但我不知道如何从那里提取信息。
【问题讨论】：
标签： python search-engine
要使用 ODP 数据，您需要 download the RDF data dump。 RDF 是一种 XML 格式；您将索引该转储以将 url 映射到描述；我会为此使用 SQL 数据库。
请注意，URL 可以出现在转储中的多个位置。例如，堆栈溢出列出了两次。 Google 使用来自 this entry 的文本作为网站描述，Bing 使用 this one instead。
数据转储当然相当大。在向数据库添加条目时，使用诸如 ElementTree iterparse() method 之类的合理工具迭代地解析数据集。您实际上只需要查找 <ExternalPage> 元素，获取下面的 <d:Title> 和 <d:Description> 条目。
使用 lxml（一个更快、更完整的 ElementTree 实现）看起来像：
from lxml import etree as ET
import gzip
import sqlite3
conn = sqlite3.connect('/path/to/database')
# create table
with conn:
cursor = conn.cursor()
cursor.execute('''
CREATE TABLE IF NOT EXISTS odp_urls
(url text primary key, title text, description text)''')
count = 0
nsmap = {'d': 'http://purl.org/dc/elements/1.0/'}
with gzip.open('content.rdf.u8.gz', 'rb') as content, conn:
cursor = conn.cursor()
for event, element in ET.iterparse(content, tag='{http://dmoz.org/rdf/}ExternalPage'):
url = element.attrib['about']
title = element.xpath('d:Title/text()', namespaces=nsmap)
description = element.xpath('d:Description/text()', namespaces=nsmap)
title, description = title and title[0] or '', description and description[0] or ''
# no longer need this, remove from memory again, as well as any preceding siblings
elem.clear()
while elem.getprevious() is not None:
del elem.getparent()[0]
cursor.execute('INSERT OR REPLACE INTO odp_urls VALUES (?, ?, ?)',
(url, title, description))
count += 1
if count % 1000 == 0:
print 'Processed {} items'.format(count)
【讨论】：