【问题标题】:How can I read a webpage in R and made a data table out of it [closed]我如何阅读 R 中的网页并从中制作数据表 [关闭]
【发布时间】:2016-10-06 18:39:54
【问题描述】:

这是网站,有5个属性

http://cpdocket.cp.cuyahogacounty.us/SheriffSearch/results.aspx?q=searchType%3dZipCode%26searchString%3d44106%26foreclosureType%3d%26dateFrom%3d10%2f6%2f2016+12%3a00%3a00+AM%26dateTo%3d4%2f6%2f2017+11%3a59%3a59+PM

如何将这个网站读入 R 并用它制作一个这样的表格

Address                         Prorated_Tax
1462 EAST 115TH STREET          $0.00
10531 37 LEE AVE                $0.00
10526 ORVILLE AVENUE            $0.00
1116 ASHBURY AVENUE             $0.00
2780 EAST OVERLOOK              $0.00

或者我可以用 Python 做吗?

【问题讨论】:

    标签: python r


    【解决方案1】:

    使用 bash 你可以使用 curl 命令

    website = "www.interestingsite.com"
    cmd = paste( "curl", website, "> temp" )
    system( cmd )
    

    网站的 html 内容将存储在这个临时文件中,通过您可以提取其内容。

    【讨论】:

    • 谢谢!!我会查一下
    【解决方案2】:

    这个问题比较宽泛,但我可以给出一些建议。

    您在此处尝试执行的操作称为抓取。这里有一篇关于如何在 python 中做到这一点的文章: http://docs.python-guide.org/en/latest/scenarios/scrape/ 基本思想是使用 requests 模块获取网页,然后使用 lxml 将其解析为 XML 树,并从该树中获取值。

    当然,如果您可以更直接地访问这些数据,例如从 rest api 或数据库中访问,那就更好了。抓取很容易受到攻击,因为当网页的设计和结构发生变化时,抓取代码会停止工作,直到您进行相应的调整。

    如果这是一个只运行一次的脚本,或者在有限的时间段内,并且数据量不是太大,那么这种方法是完全可以的。

    如果您搜索它,也可能有 R 的等效库。

    【讨论】:

    • 感谢Mailard,这对我来说是一个良好的学习开始
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2010-12-02
    • 2021-09-16
    • 1970-01-01
    • 1970-01-01
    • 2016-09-03
    • 1970-01-01
    • 2013-03-12
    相关资源
    最近更新 更多