如何从 curl 结果中获取最高编号的链接？

Question

我已经创建了一个由几个 shell 脚本组成的小程序，它们一起工作，几乎完成了 一切似乎都很好，除了我不太确定该怎么做的一件事。 我需要，才能完成这个项目......

似乎有很多路线可以走，但我就是无法到达那里......

我有一些 curl 结果，其中包含许多未使用的数据，包括不同的链接，并且在所有数据之间有一堆相似的链接 我只需要获取（进入变量）最高数字的链接（没有始终相同的文本）

the links are all similar, and have this structure:
<a href="https://always/same/link/same-name_19.html">always same text</a>
<a href="https://always/same/link/same-name_18.html">always same text</a>
<a href="https://always/same/link/same-name_17.html">always same text</a>

我在想类似的事情；

content="$(curl -s "$url/$param")"

linksArray= get from $content all links that are in the href section of the links
that contain "always same text"

declare highestnumber;

for file in $linksArray 
do

href=${1##*/}

fullname=${href%.html}

OIFS="$IFS"
IFS='_'
read -a nameparts <<< "${fullname}"
IFS="$OIFS"

if ${nameparts[1]} > $highestnumber;
then 
highestnumber=${nameparts[1]}
fi

done

echo ${nameparts[1]}_${highestnumber}.html

结果：

https://always/same/link/unique-name_19.html

这只是我的猜测，任何可以从 bash 脚本运行的工作代码都可以... 谢谢...

更新

我找到this nice program，很容易安装：

# 64bit version
wget -O xidel/xidel_0.9-1_amd64.deb https://sourceforge.net/projects/videlibri/files/Xidel/Xidel%200.9/xidel_0.9-1_amd64.deb/download
apt-get -y install libopenssl
apt-get -y install libssl-dev
apt-get -y install libcrypto++9
dpkg -i xidel/xidel_0.9-1_amd64.deb

它看起来棒极了，但我不确定如何根据我的需要调整它。

基于该链接和以下答案，我想可能的解决方案是..

1. 使用 xidel，或者按照this link 的建议使用“$ sed -n 's/.href="([^"]).*/\1/p' file”，然后对其进行调整以获得带有 html 标签的链接，例如：

   始终相同的文本

2. 然后过滤掉所有不以 ( ">always same text ) 结尾的内容
3. 然后使用下面提到的 grep 排序。

Answer 1

从评论继续，您可以使用grep、sort 和tail 来隔离您的相似链接列表中的最高数量，而不会太麻烦。例如，如果您的链接列表如您所描述（出于示例的目的，我将它们保存在文件dat/links.txt 中），您可以轻松地隔离变量中的最高数字：

示例列表

$ cat dat/links.txt
<a href="https://always/same/link/same-name_19.html">always same text</a>
<a href="https://always/same/link/same-name_18.html">always same text</a>
<a href="https://always/same/link/same-name_17.html">always same text</a>

解析最高编号的链接

$ myvar=$(grep -o 'https:.*[.]html' dat/links.txt | sort | tail -n1); \
echo "myvar : '$myvar'"
myvar : 'https://always/same/link/same-name_19.html'

（注意：上面的命令都是由续行'\'分隔的一行）

直接应用于curl的结果

无论您的列表是在文件中，还是由curl -s 返回，您都可以应用相同的方法来隔离返回列表中编号最高的链接。您可以单独使用带有curl 命令的进程替换，也可以将结果通过管道传送到grep。例如。正如我原来的评论中所述，

$ myvar=$(grep -o 'https:.*[.]html' < <(curl -s "$url/$param") | sort | tail -n1); \
echo "myvar : '$myvar'"

或将curl 的结果通过管道传输到grep，

$ myvar=$(curl -s "$url/$param" | grep -o 'https:.*[.]html' | sort | tail -n1); \
echo "myvar : '$myvar'"

（同一行续注。）

Answer 2

为什么不使用 Xidel 和 xquery 对链接进行排序并返回最后一个？

xidel -q links.txt --xquery "(for $i in //@href order by $i return $i)[last()]" --input-format xml

输入格式参数确保您在 txt 文件的开头和结尾不需要任何 html 标记。

如果我没记错的话，在最新的 Xidel 中，-q（安静）参数被替换为 -s（静音）。