我必须检查 200 个 http URL 的状态并找出其中哪些是损坏的链接。链接存在于一个简单的文本文件中（比如我的 ~ 文件夹中的 URL.txt）。我正在使用 Ubuntu 14.04，我是 Linux 新手。但我知道 bash shell 非常强大，可以帮助我实现我想要的。
我的确切要求是读取包含 URL 列表的文本文件，并自动检查链接是否正常工作，并将响应写入包含 URL 及其相应状态（工作/损坏）的新文件。
【问题讨论】：
标签： linux bash http url ubuntu
如果您的输入文件每行包含一个 url，您可以使用脚本读取每一行，然后尝试 ping url，如果 ping 成功则 url 有效
#!/bin/bash
INPUT="Urls.txt"
OUTPUT="result.txt"
while read line ;
do
if ping -c 1 $line &> /dev/null
then
echo "$line valid" >> $OUTPUT
else
echo "$line not valid " >> $OUTPUT
fi
done < $INPUT
exit
ping 选项：
-c count
Stop after sending count ECHO_REQUEST packets. With deadline option, ping waits for count ECHO_REPLY packets, until the timeout expires.
您也可以使用此选项来限制等待时间
-W timeout
Time to wait for a response, in seconds. The option affects only timeout in absense
of any responses, otherwise ping waits for two RTTs.
【讨论】：
#!/bin/bash
while read -ru 4 LINE; do
read -r REP < <(exec curl -IsS "$LINE" 2>&1)
echo "$LINE: $REP"
done 4< "$1"
用法：
bash script.sh urls-list.txt
示例：
http://not-exist.com/abc.html
https://kernel.org/nothing.html
http://kernel.org/index.html
https://kernel.org/index.html
输出：
http://not-exist.com/abc.html: curl: (6) Couldn't resolve host 'not-exist.com'
https://kernel.org/nothing.html: HTTP/1.1 404 Not Found
http://kernel.org/index.html: HTTP/1.1 301 Moved Permanently
https://kernel.org/index.html: HTTP/1.1 200 OK
对于所有内容，请阅读Bash Manual。参见man curl、help、man bash。
【讨论】：
我创建了一个文件“checkurls.sh”并将其放在我的主目录中，其中 urls.txt 文件也位于该目录中。我使用
授予文件执行权限$chmod +x checkurls.sh
checkurls.sh的内容如下：
#!/bin/bash
while read url
do
urlstatus=$(curl -o /dev/null --silent --head --write-out '%{http_code}' "$url" )
echo "$url $urlstatus" >> urlstatus.txt
done < $1
最后，我使用以下命令从命令行执行它 -
$./checkurls.sh urls.txt
瞧！它有效。
【讨论】：
curl -H 'Cache-Control: no-cache' -o /dev/null --silent --head --write-out '%{http_code} %{redirect_url}' 打印目标 URL 并解决大多数 301 问题
如何为已接受的解决方案添加一些并行性。让我们修改脚本chkurl.sh 使其更易于阅读并且一次只处理一个请求：
#!/bin/bash
URL=${1?Pass URL as parameter!}
curl -o /dev/null --silent --head --write-out "$URL %{http_code} %{redirect_url}\n" "$URL"
现在您使用以下命令检查您的列表：
cat URL.txt | xargs -P 4 -L1 ./chkurl.sh
这可以将完成工作的速度提高 4 倍。
【讨论】：
这里有我的完整脚本，它检查作为参数传递的文件中列出的 URL，例如'checkurls.sh listofurls.txt'。
它的作用：
代码：
#!/bin/sh
EMAIL=" your@email.com"
DATENOW=`date +%Y%m%d-%H%M%S`
LOG_FILE="checkurls.log"
c=0
while read url
do
((c++))
LOCK_FILE="checkurls$c.lock"
urlstatus=$(/usr/bin/curl -H 'Cache-Control: no-cache' -o /dev/null --silent --head --write-out '%{http_code}' "$url" )
if [ "$urlstatus" = "200" ]
then
#echo "$DATENOW OK $urlstatus connection->$url" >> $LOG_FILE
[ -e $LOCK_FILE ] && /bin/rm -f -- $LOCK_FILE > /dev/null && /bin/mail -s "NOTIFICATION URL OK: $url" $EMAIL <<< 'The URL is back online'
else
echo "$DATENOW FAIL $urlstatus connection->$url" >> $LOG_FILE
if [ -e $LOCK_FILE ]
then
#no action - awaiting URL to be fixed
:
else
/bin/mail -s "NOTIFICATION URL DOWN: $url" $EMAIL <<< 'Failed to reach or URL problem'
/bin/touch $LOCK_FILE
fi
fi
done < $1
# REMOVE LOG FILE IF LARGER THAN 100MB
# alow up to 2000 lines average
maxsize=120000
size=$(/usr/bin/du -k "$LOG_FILE" | /bin/cut -f 1)
if [ $size -ge $maxsize ]; then
/bin/rm -f -- $LOG_FILE > /dev/null
echo "$DATENOW LOG file [$LOG_FILE] has been recreated" > $LOG_FILE
else
#do nothing
:
fi
请注意，更改文本文件中列出的 url 的顺序将影响任何现有的锁定文件（删除所有 .lock 文件以避免混淆）。可以通过使用 url 作为文件名来改进它，但使用某些字符，例如：@/？ & 必须针对操作系统进行处理。
【讨论】：
我最近发布了deadlink，这是一个用于查找文件中损坏链接的命令行工具。安装
pip install deadlink
并用作
deadlink check /path/to/file/or/directory
或
deadlink replace-redirects /path/to/file/or/directory
后者将替换指定文件中的永久重定向（301）。
示例输出：
【讨论】：