【问题标题】:How can I extract info from downloaded webpages?如何从下载的网页中提取信息?
【发布时间】:2015-01-21 06:44:54
【问题描述】:

我必须以系统的顺序从数千个网页中提取大学名称、联系电话、电子邮件 ID 等信息。有什么脚本可以做吗?

完整场景:我使用 wget 下载了包含各个大学信息的网页。每所大学大约有 5000 个网页,其中包含有关他们的信息,但我只对他们的姓名、电子邮件 ID、网站和联系电话感兴趣。而且我需要将提取的信息以系统的顺序保存在合适的文件中。 如何提取信息?我怎样才能使用 grep 来做到这一点?有没有更好的方法呢?哪些脚本可用于提取信息? PS:我使用 Ubuntu 和 Kali linux。我是新手。需要专家的帮助。

【问题讨论】:

  • 看看python和BeautifulSoup

标签: linux bash scripting grep wget


【解决方案1】:

我假设您将所有文件放在一个目录中,“cd”到那个目录,并且:

grep -i -e "Name" -e "email" -e "http" ./*

并在您看到结果时对其进行改进。这将写入您的屏幕,最后添加:

>> my_collected_things.txt

将其放入文件中。

【讨论】:

  • 它不起作用。它提供了 http 源文件的输出,所有这些对我来说都是无用的。我是 web 开发和 python 的初学者。我尝试使用 beautifulSoup 和 mechanize,但无法编写完成工作的脚本。
猜你喜欢
  • 1970-01-01
  • 2021-04-20
  • 1970-01-01
  • 1970-01-01
  • 2021-06-18
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2023-01-03
相关资源
最近更新 更多