使用 python+beautifulSoup4 从动态图中抓取数据

Question

我需要实现数据抓取任务并从动态图中提取数据。该图表随时间更新，类似于您查看公司股票图表时会发现的情况。我在 python 中使用 requests 和 beautifulsoup4 库，但我只知道如何抓取文本和链接数据。似乎无法弄清楚如何将图形的值放入 csv 文件中

相关图表可在 -http://www.apptrace.com/app/instagram/id389801252/ranks/topfreeapplications/36

找到

Answer 1

您能否提供一个链接以供参考。这取决于图形的存储和显示方式。从它像股票行情一样动态来看，一些标签之间应该有一些文本，你可以在某个地方抓取。我已经查看了使用漂亮汤从网站获取图像和其他内容的示例，所以这并非不可能。

昨天我正在将数据格式化为 CSV 格式，并很快得到了一些非常有用的回复。

查看：How can I format every other line to be merged with the line before it? (In Python)

我在这里学到的另外一点是，如果您需要经常收集这些数据，自动运行脚本的一个好方法是 CRON 作业。

Answer 2

如果您拥有正确的 URL，则可以轻松获取图表中的数据。你可以很容易地找到这个地址，例如Firefox 中的“开发者工具”（检查 XHR 请求的“网络”选项卡）。

您会看到正在拨打电话，例如：

src = 'http://www.apptrace.com/api/app/389801252/rankings/country/?country=CAN&start_date=2014-08-08&end_date=&device=iphone&list_type=normal&chart_subtype=iphone'

如果您调用它，您将收到一个 JSON 回复，您可以轻松地将其加载到 python 中：

import json
import urllib

>>> data = urllib.urlopen(src).read()
>>> reply = json.loads(data)
>>> ranks = reply['rankings'][0]['ranks']
>>> res = {'date': [], 'rank': []}
>>> for d in ranks:
...     res['date'].append(d['date'])
...     res['rank'].append(d['rank'])
... 
>>> res['date'][:3]
[u'2014-08-08', u'2014-08-09', u'2014-08-10']
>>> res['rank'][:3]
[10, 14, 13]

然后您可以使用 python 的内置 csv module 将数据存储到 csv 中。

Answer 3

@Oliver W. 已经提供了一个很好的答案，但是使用 requests (link here) 可以避免注意网络调用，并且总体上比 urllib 更好。

如果您想让代码更灵活一点，您可以编写一个函数来获取国家/地区名称以及开始和结束日期。

import requests
import pandas as pd
import json

def load_data(country='', start_date='2014-08-09', end_date='2014-11-1'):
    base = "http://www.apptrace.com/api/app/389801252/rankings/country/"
    extra = "?country={0}&start_date={1}&end_date={2}&device=iphone&list_type=normal&chart_subtype=iphone"
    addr = base + extra.format(country, start_date, end_date)

    page = requests.get(addr)
    json_data = page.json() #gets the json data from the page
    ranks = json_data['rankings'][0]['ranks']
    ranks = json.dumps(ranks)  #Ensures it has valid json format
    df = pd.read_json(ranks, orient='records')
    return df

更改网页中的内容以查看您可以从国家/地区获得哪些其他值（例如，加拿大是“CAN”）。空字符串用于美国。

df 是这样的

    date        rank
0   2014-08-09  10
1   2014-08-10  10
2   2014-08-11  9
3   2014-08-12  8
4   2014-08-13  8
5   2014-08-14  7
6   2014-08-15  6
7   2014-08-16  8

有了 pandas 数据框，您可以导出到csv或在导出前合并多个数据框

df = load_data()
df.to_csv("file_name.csv")