【问题标题】:Saving dynamic content from web page?从网页保存动态内容?
【发布时间】:2010-11-16 20:15:35
【问题描述】:

是否可以从网站保存动态文本并将其转储到我服务器上的文件中?我感兴趣的具体案例是从这个页面保存歌曲标题http://www.z1035.com/player.php 并将所有歌曲标题保存在我服务器上的文件中。这可能吗?我可以使用什么方法来做到这一点?

【问题讨论】:

    标签: php web-applications dynamic-content


    【解决方案1】:

    您所说的通常称为“刮擦”。这是一篇关于使用 PHP 的一种方法的文章:

    http://www.developertutorials.com/blog/php/easy-screen-scraping-in-php-simple-html-dom-library-simplehtmldom-398/

    【讨论】:

      【解决方案2】:

      在我看来,Python 的 URLLib 库使抓取变得非常容易。

      import urllib, re
      
      url = "http://www.z1035.com/player.php"
      f = urllib.urlopen(url)
      t = f.read()
      #  use regular expression here 
      m = re.search(t, "some pattern")
      print m.group(1)
      

      这将加载外部资源,就像它是本地文件一样,并允许您根据需要对其进行解析。

      曾几何时,我想保存我听过的广播节目的所有曲目列表。我使用 Python 下载了所有曲目列表的列表,然后以编程方式访问每个曲目并将内容附加到文件中。它非常方便,大概花了 20 行。

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 2019-01-13
        • 2012-10-07
        • 1970-01-01
        • 2011-04-06
        • 2023-04-07
        • 2020-05-24
        • 1970-01-01
        • 1970-01-01
        相关资源
        最近更新 更多