【问题标题】:Perl or MySQL for accessing and retrieving information [closed]用于访问和检索信息的 Perl 或 MySQL [关闭]
【发布时间】:2014-07-26 18:35:33
【问题描述】:

我正在尝试检索几个网页,以便操纵它们的信息。我正在寻找什么是最好的工具和包来做到这一点。我最好使用 Perl 来解析表,但我也可以使用 MySQL,尽管我必须学习它。 (我相信它们是 HTML 表格,尽管页面是用 Java 编码的?)。

我不是要任何代码,而是要您的意见、提示和建议,让我知道如何实现这一点。目前,我的意图是解析表,合并它们,然后构建一个表,其中包含来自不同列的两个站点的信息。这个总表每天最多只需要更新一次。

这些表格可以在in here, please scroll downin here, the full table 找到。

提前感谢您的所有帮助!

【问题讨论】:

  • 您正在解析网页,那么 MySql 是如何出现的。此外,您是在征求意见
  • 要求我们推荐或查找工具、库或最喜欢的场外资源的问题对于 Stack Overflow 来说是题外话,因为它们往往会吸引固执己见的答案和垃圾邮件。相反,请描述问题以及迄今为止为解决该问题所做的工作。
  • 好的,非常抱歉。我会在 5 分钟内删除我的问题。对不起
  • 既然有答案,那我删掉问题还可以吗?我不希望这对回答的人来说是粗鲁或不公平的......

标签: html mysql perl parsing


【解决方案1】:

您的问题似乎是如何进行网络抓取。我不知道 MySQL 会如何发挥作用。对于 webscrapint,我建议您查看 CPAN 模块 WWW::MechanizeHTML::TableExtractor

【讨论】:

  • 谢谢。我会调查他们!
  • 您还可以在将代码投入生产之前查看使用 WWW::Mechanize::Cached。它可以大大加快测试等速度。
  • 谢谢!这些答案正是我在这个帖子中所寻找的,尽管我知道这与 SE 上通常要求的有点不同。
【解决方案2】:

对于网页检索,您可以使用 Web::Scraper、HTML::DOM 以及 LWP 相关模块。 而对于 SQL,DBI 模块非常强大。您可以使用 cpan 搜索这些。

【讨论】:

    猜你喜欢
    • 2011-08-17
    • 2012-06-28
    • 2013-03-18
    • 1970-01-01
    • 2013-03-30
    • 2012-05-06
    • 1970-01-01
    • 2010-10-31
    • 1970-01-01
    相关资源
    最近更新 更多