如何从 shell 脚本中获取网页的内容

Question

我有一个网络邮件客户端，我的要求是检查收件箱中的电子邮件数量，如果我有超过 10 封电子邮件，则发送电子邮件提醒。

我们今天通过登录邮件服务器并检查收件箱中的邮件来手动执行此操作。但为了自动化这一点，我打算为此准备一个 shell 脚本。

我知道 wget 用于显示网页的内容。 所以我尝试使用以下命令： $ wget --http-user=用户名 --http-passwd=密码http://server.domain.com/login.asp

它给出了以下输出：

--11:20:08-- http://server.domain.com/login.asp => `login.asp.1' 正在解析 server.domain.com... 10.111.186.83 连接到 server.domain.com[10.111.186.83]:80... 已连接。 HTTP 请求已发送，等待响应... 200 OK 长度：9,749 [文本/html]

0% [ ] 0 --.--K/s a

它连接到邮件服务器并一直等待响应。

在我登录邮件服务器后，有人可以帮我显示网页的内容吗？

感谢和问候， 拉古

Answer 1

有几种不同的方法可以使用 wget 显示内容。这取决于您希望您的流程如何进行。

wget --http-user=username --http-passwd=password http://server.domain.com/login.asp --output-file - --quiet

会将文件的内容转储到标准输出（控制台），您可以像任何 shell 命令的输出一样通过管道或重定向它。

wget --http-user=username --http-passwd=password http://server.domain.com/login.asp --output-file /path/to/my.file

会将文件的内容放入 /path/to/my.file 中，您可以像在 shell 中处理标准文件一样对这些内容进行操作。

你原来的命令：

wget --http-user=username --http-passwd=password http://server.domain.com/login.asp

仍然应该获取您的页面内容并将它们保存为本地文件 ./login.asp

从这些位置，您应该能够通过任何方式进行抓取来完成您的任务。

我主要使用this page 作为参考。也许它会帮助你完成任务。

编码愉快！如果您还有其他问题，请发表评论。