【问题标题】:How to crawl publicly shared Secret (secret.ly) posts如何抓取公开共享的 Secret (secret.ly) 帖子
【发布时间】:2014-08-30 04:51:45
【问题描述】:

Secret (secret.ly) 是一个匿名社交网络,人们通过短信的形式分享他们的想法。人们不时在thisthisthis 等社交媒体上分享他们的“秘密” 我正在尝试创建一个公开可用的秘密流,我想知道是否有一种方法可以抓取 secret.ly 域以提取所有这些公开秘密,尽管 URL 是随机字符串。我可以在 Twitter 上搜索,但我想知道是否有办法直接在 secret.ly

上搜索

【问题讨论】:

  • 这听起来很像“请为我做我的工作”——毕竟,找到一种方法来索引这些 URL 确实是您尝试创建的产品/服务的核心。

标签: web-scraping web-crawler


【解决方案1】:

这里是使用 perl 的开始。看来他们在社交媒体上也有联系。此脚本只会获取站点并转储链接。如果不知道你想要什么,我就不能做更多了。

use strict;
use warnings;
use WWW::Mechanize;

my $mech = WWW::Mechanize->new();

$mech->get('http://www.secret.ly');
print $mech->dump_links;

更新:还有一个 WWW::Mechanize 的 find_all_links 方法,您可能会发现它也很有帮助。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2019-07-04
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多