Java爬虫绕过爬虫限制

JavaNet可以 伪装成浏览器 进行访问网站 从而可以绕过爬虫限制

 

HttpConnection  conn=(HttpConnection)url.openConnection();

conn.setRequestMethod("get/post");

conn.setRequestProperty(key,value) 如图UserAgent为key 后面的字符串为value

最后再通过io流 进行读取信息 分析信息，存储信息