首页 > 其他分享> 文章详细

如何准确地从ODP中提取信息？

2019-10-03 03:08:56 阅读：233 来源： 互联网

标签：python search-engine

我正在python中构建一个搜索引擎.

我听说谷歌从ODP(Open Directory Project)获取页面的描述,以防谷歌无法使用页面中的元数据找出描述…我想做类似的事情.

ODP是Mozilla的在线目录,其中包含网页上的页面描述,因此我想从ODP中获取搜索结果的描述.如何从ODP获取特定URL的准确描述,如果找不到它,则返回python类型“None”(这意味着ODP不知道我在寻找哪个页面)？

PS.有一个名为http://dmoz.org/search?q=Your+Search+Params的网址,但我不知道如何从那里提取信息.

解决方法:

要使用ODP数据,您需要download the RDF data dump. RDF是一种XML格式;您将该转储编入索引以将URL映射到描述;我会为此使用SQL数据库.

请注意,URL可以存在于转储中的多个位置.例如,Stack Overflow列出两次. Google使用this entry中的文字作为网站描述,Bing使用this one instead.

数据转储当然相当大.在向数据库添加条目时,使用诸如ElementTree iterparse() method之类的敏感工具迭代地解析数据集.你真的只需要寻找< ExternalPage>元素,取< d：Title>和< d：描述>下面的条目.

使用lxml(更快,更完整的ElementTree实现)看起来像：

from lxml import etree as ET
import gzip
import sqlite3

conn = sqlite3.connect('/path/to/database')

# create table
with conn:
    cursor = conn.cursor()
    cursor.execute('''
        CREATE TABLE IF NOT EXISTS odp_urls 
        (url text primary key, title text, description text)''')

count = 0
nsmap = {'d': 'http://purl.org/dc/elements/1.0/'}
with gzip.open('content.rdf.u8.gz', 'rb') as content, conn:
    cursor = conn.cursor()
    for event, element in ET.iterparse(content, tag='{http://dmoz.org/rdf/}ExternalPage'):
        url = element.attrib['about']
        title = element.xpath('d:Title/text()', namespaces=nsmap)
        description = element.xpath('d:Description/text()', namespaces=nsmap)
        title, description = title and title[0] or '', description and description[0] or ''

        # no longer need this, remove from memory again, as well as any preceding siblings
        elem.clear()
        while elem.getprevious() is not None:
            del elem.getparent()[0]

        cursor.execute('INSERT OR REPLACE INTO odp_urls VALUES (?, ?, ?)',
            (url, title, description))
        count += 1
        if count % 1000 == 0:
            print 'Processed {} items'.format(count)

标签：python,search-engine
来源： https://codeday.me/bug/20191003/1846386.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

如何准确地从ODP中提取信息？