【问题标题】:Extract company contact details from google [closed]从谷歌提取公司联系方式[关闭]
【发布时间】:2012-04-09 14:25:38
【问题描述】:

我的老板给了我一份大约 3500 家公司的名单,并希望在明天之前为每家公司提供通用的联系电子邮件。我知道这听起来很迟钝,而且确实如此,但我们的客户要求这样做。我想采取的方法是这样的:

  • 用谷歌搜索公司名称
  • 识别公司网站并重定向到该网站
  • 通过网站链接找到联系我们/关于我们的页面
  • 找到并返回页面上的第一个电子邮件地址

我在这里和那里做了一些 python,但没有基于 web 或使用正则表达式......虽然我得到了基本的想法,但我不知道我是否能够在接下来的 12 小时内执行它。

如果有人对我如何使用 python 或 ruby​​ 编写脚本有任何帮助,我将非常感激......

【问题讨论】:

  • 我不想这么说,但如果您之前没有这样做,这不是一个合理的要求,即在 12 小时内完成。
  • 您将很难自动在任何给定网页上找到“联系我们”页面。如果您要走这条路线,最好查询谷歌地图,它通常会在结果中提供地址和电话信息。
  • +1 @samb8s,试图在页面上找到合适的链接很困难,并且很可能会导致很多死胡同或失控,因为没有标准的“联系我们”页面名称。
  • 嗯,很明显你老板的要求不合理。但是,如果您没有将其称为智障,那么您很有可能可以使用此处给出的答案来证明为什么期望在 12 小时内完成任务是不现实的。无论如何,我赞同 bcarlso 关于众包和使用 MTurk (stackoverflow.com/a/9866851/252684) 的建议。

标签: python ruby regex email


【解决方案1】:

在 Ruby 中,您可能希望使用 Google's Custom Search API 以及 Mechanize gem。 Ruby 的URI 库或Addressable::URI gem 会很有用。此外,Ruby 的 Open::URI 或类似 CurbTyphoeus 的名称也会有所帮助。

您不想抓取 Google 的网页。他们有一个 API 可以在没有抓取的情况下返回可用的响应,如果您尝试抓取 3500 次搜索,如果他们在您完成之前就禁止您,我不会感到惊讶。

库和 gem 的文档中提供了执行所需操作的实际代码示例。

【讨论】:

    【解决方案2】:

    我会寻求更非技术性的解决方案。您可以拆分 3500 个名称并将它们作为 HIT 发布到 Amazon Mechanical Turk,每个支付 1 美分。然后编写代码来抓取 Google,而是编写代码来创建点击量并让真人“抓取”公司网站。

    不知道这是否适合你,但我可能会这样做。

    希望有帮助!

    布兰登

    【讨论】:

      猜你喜欢
      • 2017-09-13
      • 1970-01-01
      • 2012-02-25
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多