使用 R 中的 JavaScript 抓取页面的数据链接

Question

请帮帮我。

我是 R 中网络抓取的新手。我想收集链接 在此页面下载数据表 (http://burkinafaso.opendataforafrica.org/)。我的项目是让这些数据更易于访问。

这里是网站：http://burkinafaso.opendataforafrica.org/

在页面 Donnée 我有一个部门列表。 农业：43桌 公共帮助：7张桌子 ...

当我点击农业时，我得到了数据集列表。 https://drive.google.com/open?id=1cInWz62HjbcpgJ00rK-8Q-0p71mC59hq

1. 我想获取这些标题的列表。
2. 为每个标题获取数据集的下载链接。

我在下面尝试了这段代码来查看网站的结构。 但我没有看到可以让我提取这些链接的架构。

library(RCurl)
library(XML)
library(rvest)
URL <- "http://burkinafaso.opendataforafrica.org/"
pg <- read_html(URL)
p <- html_children(pg)[1]
pp <- html_children(pg)[2]
html_structure(p)
html_structure(pp)

library(RCurl)
library(XML)
library(rvest)
URL <- "http://burkinafaso.opendataforafrica.org/data/#topic=Agriculture"
pg <- read_html(URL)
p <- html_children(pg)[1]
pp <- html_children(pg)[2]
html_structure(p)
html_structure(pp)

例如，我尝试将这段代码用于标签中的链接。 但我没有得到不同的下载链接。

URL <- "http://burkinafaso.opendataforafrica.org/data/#topic=Agriculture"
pg <- read_html(URL)
all.url <- html_attr(html_nodes(pg, "a"), "href")
all.url <- as.data.frame(all.url)

正如我所期望的那样，对于每个它 表格列表和下载链接。例如：

公共援助 (7)：

标记链接

Aide extérieure par secteur de 1995 à 2006 (en Million de FCFA) 下载链接 Aide extérieure par type (en Million de FCFA) 下载链接

请帮帮我。

Answer 1

网络流量和 API 调用：

因此，例如，如果您从

http://burkinafaso.opendataforafrica.org/data/#menu=topic

您可以查看所有顶级链接的列表及其数据集的数量。如果我们点击 Aide Publique (7)，我们会看到 7 个部分，如果您点击其中任何一个部分，则会显示 Select dataset。

如果您在第一次点击时监控网络流量，您将看到为检索Aide Publique (7) 的数据而发出的 API POST 请求：

如果我们进一步检查请求，我们可以观察到 url 中的查询字符串参数和请求负载：

参数基本上是一些关于我们的信息，我们可能可以删除；对有效负载的一些实验表明，如果我们排除有效负载，我们实际上会得到所有主题，而不仅仅是Aide Publique (7)。

---

API 响应：

现在，响应是 json 并且是一个数组，但在 R 中这意味着一个列表。以列表中一项的一部分为例：

该信息与实际数据集链接的比较，例如

点击Select DataSet 会产生以下网址

http://burkinafaso.opendataforafrica.org/nthpfqd/aide-ext%C3%A9rieure-par-secteur-de-1995-%C3%A0-2006-en-millions-de-fcfa

与列表项 1（json 的先前图像）的快速比较表明，如果我们认为这个新的 url 已解码：

http://burkinafaso.opendataforafrica.org/nthpfqd/aide-extérieure-par-secteur-de-1995-à-2006-en-millions-de-fcfa

格式为：

'http://burkinafaso.opendataforafrica.org/{item["id"]}/{item["title"]}'

意思是，在 json 响应对象的循环中，我们可以通过将基本字符串与当前项目 id 和当前项目 title 连接来生成最终链接。我们还可以从当前项目name 中提取标题。我们可以使用purrr 和map_df 来处理循环和最终数据帧的生成，并使用httr 来进行POST。

---

R：

library(httr)
library(purrr)

r <- content(POST("http://burkinafaso.opendataforafrica.org/api/1.0/meta/dataset"))

df <- map_df(r, function(item) {

  data.frame(title = item$name,
             url = paste0("http://burkinafaso.opendataforafrica.org/", item$id,'/',item$title),
             stringsAsFactors=FALSE)
})

View(df)

---

派：

import requests
import pandas as pd

r = requests.post('http://burkinafaso.opendataforafrica.org/api/1.0/meta/dataset').json()
df = pd.DataFrame([(item['name'], f'http://burkinafaso.opendataforafrica.org/{item["id"]}/{item["title"]}') for item in r]
                  ,columns = ['Title','Url'])
print(df)