在java中访问robots.txt文件[关闭]

【问题标题】：Accessing robots.txt file in java [closed]在java中访问robots.txt文件[关闭]
【发布时间】：2012-04-10 23:38:34
【问题描述】：

我是java新手。我想做一个简单的网络爬虫。如何在java中访问一个网站的robots.txt文件。实际上我对robots.txt不太了解。请帮帮我。

【问题讨论】：

  • robots.txt 文件位于每个网站上的一个非常标准的位置（因为任何给定数量的各种搜索引擎都需要能够找到它）。访问它就像执行 [url]/robots.txt 的获取一样简单；）

标签： java web-crawler robots.txt


【解决方案1】：

你需要解决两个任务：

  1. 使用 HTTP 库通过 HTTP 获取文件 -- How to send HTTP request in java?
  2. 为 robots.txt 文件编写或使用解析器 -- robots.txt parser java

【讨论】：

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2012-05-07
    • 2012-09-15
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多
    热门标签
    Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode