如何使用python同时从多个页面中提取数据？

Question

我使用python 3.6，我尝试从页面中提取数据，但我想同时从多个页面中提取数据，代码如下：

   page = requests.get('http://www.poetsgate.com/ViewPoem.aspx?id=12343')
   tree = html.fromstring(page.content)
   text1 = tree.xpath('//div[@class="col1 first"]/text()')
   text2 = tree.xpath('//div[@class="col2 second"]/text()')

有什么方法可以提取数据，但我不喜欢使用页面的所有 URL 列表！

Answer 1

如果没有更多详细信息，我认为不使用 URL 列表是不可能的（无论您是手工制作还是以编程方式获取它们是另一个问题；）。

我建议使用helper function 来处理composable 列表：

url_list = ["http://example.com/route/page", ...]
for url in url_list:
    output = extract_data(url)
    do_something(output)

def extract_data(url):
   page = requests.get(url)
   tree = html.fromstring(page.content)
   text1 = tree.xpath('//div[@class="col1 first"]/text()')
   text2 = tree.xpath('//div[@class="col2 second"]/text()')
   return text1, text2