使用网络爬虫获取任何 url / 资源的命中数

【问题标题】：Get Hit Count of any url / resource using web crawler使用网络爬虫获取任何 url / 资源的命中数
【发布时间】：2015-11-18 10:06:20
【问题描述】：

我用java制作了网络爬虫。它递归地遍历每个页面中存在的链接。现在我想获取特定页面的点击次数。是否可以通过网络爬虫？由于我们无权访问服务器代码，因此我们无法添加任何计数器来计算命中数。请提出任何解决方案。谢谢。

代码的基本结构是：

-> 获取url的html源代码。 -> 从 html 代码中找到可访问的链接并将其放入列表中。 -> 从列表中获取下一个链接并继续相同，直到列表变为空。

我只想显示每个链接的点击次数。

【问题讨论】：

@SriHarshaKappala 你可以看到基本结构。
每次获得链接时，将其发送到主机，将该链接放入一个结构（fot 实例、数组）中，并带有一个计数器...如果在插入时，如果该链接已经存在现在，增加那个计数器...

标签： java web-crawler jsoup

【解决方案1】：

我可以建议的一件事是将您的链接包装到一个类中，让它有一个名为 counter 的变量来记录它。所以基本上你会有一个Link 类的列表。示例如下：

public class Link{
    private String url;
    private int count = 0;

    public Link(String url){
        this.url = url; // initialise your link class with a url
    }

    public String getUrl(){
        increment();
        return url;
    }

    public void increment(){
        count++;
    }

    public int getCount(){
        return count;
    }
}

然后这样算：

List<Link> links.... // initialise your links

Document doc = Jsoup.connect(links.get(i).getUrl()).get();

这样，每次访问您的网址时，计数都会增加以记录总点击次数。

【讨论】：