【问题标题】:Python scraping via xml prints empty bracketsPython 通过 xml 抓取打印空括号
【发布时间】:2016-10-11 22:19:06
【问题描述】:

我试图通过 lxml 从网站中提取几个字符,然后提取到树,然后是 xpath。我尝试使用 google chrome 来获取正确的 xpath,但它会打印空括号。

    #imports
    from lxml import html
    import requests

    #get magicseaweed Scripps report
    msScrippsPage = requests.get("""http://magicseaweed.com/Scripps-Pier-
    La-Jolla-Surf-Report/296/.html""")

    #make tree from site
    msScrippsTree = html.fromstring(msScrippsPage.content)

    #get wave size
    msScrippsWave = msScrippsTree.xpath("""/html/body/div[2]/div[5]/div/div[1]/div[2]/div[2]/div/div[2]/div[1]/div/div[1]/div/div/div/div/div[1]/div/div[2]/ul[1]/li[1]/text()""")

    print 'ms SCripps: ', msScrippsWave

终端的输出是 'msScripps: [ ]'

【问题讨论】:

  • msScrippsPage 包含 404。检查您的网址?
  • @Will 你也复制了三引号吗?当我复制/粘贴上面没有三引号的内容时,我没有得到 404。
  • 啊。我的现在打印: ms SCripps: [' 1-2', ' ']
  • @Will 你修改了什么来让 1-2 出现?
  • 真的没有。好吧,只有带有 URL 的行。您的三引号中包含换行符。

标签: python xml xpath web-scraping


【解决方案1】:

您不应该在您的网址中使用换行符。当您使用一行时,您的 xpath 工作。

msScrippsPage = requests.get("""http://magicseaweed.com/Scripps-Pier-La-Jolla-Surf-Report/296/.html""")
print msScrippsPage.content
['    0.4-0.6', '   ']
########################################
url = """http://magicseaweed.com/Scripps-Pier-
La-Jolla-Surf-Report/296/.html"""
print url
'http://magicseaweed.com/Scripps-Pier-\n    La-Jolla-Surf-Report/296/.html'

编辑:添加完整示例

from lxml import html
import requests

msScrippsPage = requests.get("""http://magicseaweed.com/Scripps-Pier-La-Jolla-Surf-Report/296/.html""")
msScrippsTree = html.fromstring(msScrippsPage.content)
msScrippsWave = msScrippsTree.xpath("""/html/body/div[2]/div[5]/div/div[1]/div[2]/div[2]/div/div[2]/div[1]/div/div[1]/div/div/div/div/div[1]/div/div[2]/ul[1]/li[1]/text()""")
print 'ms SCripps: ', msScrippsWave

【讨论】:

  • 现在它打印 'ms Scripps: []
  • 我认为您在 xpath 的末尾忘记了 text() 。您可以复制/粘贴示例(我添加到答案中)吗?
  • 如果这是一个好的解决方案,您应该接受它,以便 Oleksandr 获得声誉分数 :)
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2015-11-14
  • 2015-12-12
  • 1970-01-01
  • 1970-01-01
  • 2014-07-31
  • 1970-01-01
  • 2015-09-24
相关资源
最近更新 更多