重击。最快高效的数组搜索

Question

我需要在 bash 进程中多次执行数组搜索。我需要知道什么是最快速有效的方法。我知道该怎么做。问题的重点在于如何以最快的方式做到这一点。现在，我正在这样做：

#!/bin/bash

array_test=("text1" "text2" "text3" "text4" "text5")
text_to_search="text4"

START=$(date +%s.%N)

for item in "${array_test[@]}"; do
    if [ ${item} = "${text_to_search}" ]; then
        echo "found!!"
        break
    fi
done

END=$(date +%s.%N)
DIFF=$(echo "$END - $START" | bc)
echo $DIFF

通过这段代码，我们可以测量时间。

假设我们有 300 个或更多的数组。有更快的方法吗？我需要提高性能。谢谢。

编辑我正在使用 bash 4.2 。真正的数组有换行符：

array_test=(
"text1"
"text2"
"text3"
"text4"
"text5"
)

Answer 1

最快版本（用于大型阵列）

在array[*] 中使用grep -qFx。
_{-q 禁止输出并存在于第一个匹配项中。
-F 搜索固定字符串而不是正则表达式。
-x 搜索整行而不是子字符串。这可确保搜索字符串 b 与元素 abc 不匹配。}

if ( IFS=$'\n'; echo "${array[*]}" ) | grep -qFx "$text_to_search"; then
    echo "found!"
fi

假设：数组和要搜索的文本都不包含换行符。

也可以使用换行符搜索文本，只要有一个已知的未使用字符可以存储在 bash 变量中。我发现\x1E（ASCII 控制字符»记录分隔符«）效果很好。改编后的版本如下：

export d=$'\x1E' # unused character, here "Record Seperator"
if ( IFS="$d"; echo "$d${array[*]}$d" ) | grep -qF "$d$text_to_search$d"; then
    echo "found!"
fi

理论上，您可以通过在数组切片上使用多个并行grep 来进一步加快速度。然而，这太快了（见下面的结果），你可能永远不会遇到并行搜索得到回报的场景。

测试

我使用了一个大小为1'000'000的数组，生成如下：

size=$((10 ** 6))
array_test=($(seq -f 'text%.0f' 1 "$size"))

（顺便说一句：使用{1..1000000} 比seq 慢数量级）

搜索模式是所述数组的最后一个条目

text_to_search="text$size"

测试了三种搜索方式

1. 您使用for 循环的方法
2. printf %s\\n "array[@]" | grep -qFx
3. (IFS=$'\n'; echo "array[*]";) | grep -qFx

结果如下：

1. 65.5 秒
2. 59.3 秒
3. 00.4 秒（是的，小数点前是零）

Answer 2

如果您非常关心性能，也许 (a) Bash 不是最好的工具，并且 (b) 您应该尝试不同的方法并在您的数据上进行测试。话虽这么说，也许关联数组可以帮助您。

试试这个：

#!/bin/bash

declare -A array_test()
array_test=(["text1"]="" ["text2"]="" ["text3"]="" ["text4"]="" ["text5"]="")
text_to_search="text4"

if
  [[ ${array_test[$text_to_search]+found} ]]
then
  echo "Found!"
fi

请注意，在这种情况下，我使用键但为空值构建关联数组（将值设置为与键相同的值并占用更多内存并没有真正的用处）。

另一种方法是对数组进行排序，并使用某种二进制搜索。当然，这将涉及更多代码，如果 Bash 关联数组得到有效实现，可能会更慢。但是，再一次，没有什么比对实际数据进行测试来验证性能假设更好的了。

如果您有一个在键中包含信息的关联数组，您可以使用扩展来使用它们，就像使用值一样：

for key in "${!array[@]}"
do
  do_something_with_the key
done

此外，您可以使用循环构建数组，如果您从文件或命令的输出中读取元素，这将非常有用。举个例子：

declare -A array_test=()
while IFS= read -r key
do
  array_test[$key]=
done < <(command_with_output)

请注意，设置为 null（空）值的元素与未设置的元素不同。您可以通过以下扩展轻松看到：

declare -A array_test=()
array_test[existing_key]=
echo ${array_test[existing_key]+found} # Echoes "found"
echo ${array_test[missing_key]+found}  # Echoes nothing

"${var+value}" 扩展使用很有用，因为如果未设置变量，它会扩展为空，如果已设置，则扩展为 value。使用 set -u 捕获扩展未设置变量的尝试时不会产生错误。

Answer 3

如果您的数组元素都不包含空格，则可以使用模式匹配

array_test=("text1" "text2" "text3" "text4" "text5")
text_to_search="text4"

[[ " ${array_test[*]} " == *"  $text_to_search "*]] && echo found || echo not found

引号和空格在那里非常重要。

在 bash 中，在 [[ ]] 双括号内，== 运算符是 模式匹配 运算符，而不仅仅是字符串相等。

Answer 4

基于有用的@Fred 答案使用关联数组的具体示例：

script.sh

#!/bin/bash

read -a array_test <<< $(seq 1 10000)
text_to_search="9999"

function from_associative_array {
  declare -A array
  for constant in ${array_test[@]}
  do
      array[$constant]=1
  done
  [[ ${array[$text_to_search]} ]] && echo  "Found in associative array";
}

function from_indexed_array {
  for item in "${array_test[@]}"; do
      if [ ${item} = "${text_to_search}" ]; then
          echo "Found in indexed array"
          break
      fi
  done
}

time from_indexed_array
time from_associative_array

---

$ bash script.sh
Found in indexed array

real    0m0.611s
user    0m0.604s
sys     0m0.004s

Found in associative array

real    0m0.297s
user    0m0.296s
sys     0m0.000s