Python爬虫不工作

Question

我想获取 (http://mokorea.com/yp_business_list_major.php?cat=4) 上的所有商家名称链接

这是我的 Python 代码：

from __future__ import unicode_literals

import requests
from scrapy.selector import Selector

def fetch_page(url):
    '''1. 웹페이지 다운로드'''
    r = requests.get(url)
    return r.text

def upso_list_from_listpage(url):
    '''2.목록 페이`enter code here`지에서 강의 링크등 추출'''
    html = fetch_page(url)
    sel = Selector(text=html)
    upso_list = sel.xpath('//*[@id="List_0"]/div[4]').extract()
    #upso_list = sel.css('.container results .talk-link .media__message a::attr(herf)').extract()
    return upso_list
from pprint import pprint
pprint(upso_list_from_listpage('http://mokorea.com/yp_business_list_major.php?cat=4'))

我尝试在提示符下运行 py 文件，但没有任何显示。

任何 cmets 都会有所帮助。

Answer 1

它是 AJAX 生成的页面。

例如，您可以使用 link 和这样的 xpath 选择器：

sel.xpath('//*[@id="List_0"]/div[4]/span/a/text()').extract()

在这里，您将从第一行获取文本。之后你应该：

1. 遍历 div id（“List_0”、“List_1”等）以获取其他行。
2. 分析包含链接中的 GET 参数，更正它们并循环您想要的（特别是 page）