Python：抓取游戏名称

Question

我无法从网页上抓取游戏名称.. 它返回一个空白数组..一旦名称被刮掉，我希望它被写入一个新创建的文本文件..我的代码应该在下面..它远未完成，但我确定我需要一个 While 条件..

def ScrapeK10():
siteToScrape = 'http://www.kiz10.com/new-games'
print '\n[!] Requesting Kiz10..'
kizReq = requests.get(siteToScrape)
print '\n[!] Scraping Newest Games...'
kizTree - html.fromstring(kizReq.content)
kizElement = kizTree.xpath('//strong[@class="bx-caption"]/text()')
print 'Latest Games : ', kizElement, '\n'
return

我遇到的问题是我得到一个空白数组，所以我不确定我是否真的正确地抓取了网站，甚至使用了正确的 xpath？

对此还有点新意..不想使用 Beautiful Soup 也不想使用 Scapy..

但我的目标是抓取我提供的网页中的所有游戏名称，并将它们写入一个新文件..

Answer 1

你可以使用正则表达式吗？ 请注意，所有游戏名称都包含在名为“itemsGame”的 JavaScript 对象中。

使用正则表达式将其过滤掉，然后再次使用正则表达式拆分每一行。

应该这样做

def main():
    import re
    import requests
    url = "http://kiz10.com/index.php?page=newgames"
    raw = requests.get(url).content
    match = re.search("var itemsGame = \[(.*?)\];$", raw, re.M)
    for line in re.findall('\[(.*?)\]', match.group(1)):
        print(line.replace("'", "").split(",")[3].strip())

或者，您可以在 var itemsGame = 的字符串上调用 eval() 到下一个 \n 字符。

不过，很明显，eval 总是很危险，而且从来没有真正推荐过