bash while 循环“吃掉”我的空格字符

Question

我正在尝试解析一个巨大的文本文件，比如 200mb。

文本文件包含一些字符串

123
1234
12345
12345

所以我的脚本看起来像

while read line ; do
echo "$line"
done <textfile

但是使用上述方法，我的字符串 " 12345" 被截断为 "12345"

我尝试过使用

sed -n "$i"p textfile

但吞吐量从每秒 27 行降低到 0.2 行，这是不可接受的 ;-)

任何想法如何解决这个问题？

Answer 1

这似乎就是你要找的东西：

while IFS= read line; do
echo "$line"
done < textfile

最安全的方法是使用read -r，而不是使用read，后者将跳过对特殊字符的解释（感谢Walter A）：

while IFS= read -r line; do
echo "$line"
done < textfile

Answer 2

您想回显不带字段的行：

while IFS="" read line; do
    echo "$line"
done <<< " 12345"

如果您还想跳过特殊字符的解释，请使用

while IFS="" read -r line; do
    echo "$line"
done <<< " 12345"

IFS 可以不用双引号：

while IFS= read -r line; do
    echo "$line"
done <<< " 12345"

Answer 3

选项 1：

#!/bin/bash

# read whole file into array
readarray -t aMyArray < <(cat textfile)

# echo each line of the array
# this will preserve spaces
for i in "${aMyArray[@]}"; do echo "$i"; done

• readarray -- 从标准输入读取行
• -t -- 省略尾随换行符
• aMyArray -- 存储文件的数组名称

• cat 文本文件——要存储在变量中的文件

• for i in "${aMyArray[@]}" -- 对 aMyArray 中的每个元素

• "" -- 需要在元素中保留空格
• ${ [@]} -- 引用数组中的所有元素
• 回显“$i”； -- 对于 "$i" 的每次迭代都回显它
• "" -- 维护变量空间
• $i -- 等于数组 aMyArray 的每个元素，因为它循环遍历
• 完成——关闭循环

选项 2：

为了容纳更大的文件，您可以这样做以帮助减轻工作并加快处理速度。

#!/bin/bash

sSearchFile=textfile
sSearchStrings="1|2|3|space"

while IFS= read -r line; do

    echo "${line}"

done < <(egrep "${sSearchStrings}" "${sSearchFile}")

这将在通过 while 命令循环之前对文件进行 grep（更快）。让我知道这对你有用。请注意，您可以将多个搜索字符串添加到 $sSearchStrings 变量。

选项 3：

以及一个多合一的解决方案，将您的搜索条件和其他所有内容结合在一起的文本文件......

#!/bin/bash

# identify file containing search strings
sSearchStrings="searchstrings.file"

while IFS= read -r string; do

# if $sSearchStrings empty read in strings
    [[ -z $sSearchStrings ]] && sSearchStrings="${string}"
# if $sSearchStrings not empty read in $sSearchStrings "|" $string
    [[ ! -z $sSearchStrings ]] && sSearchStrings="${sSearchStrings}|${string}"

# read search criteria in from file
done <"${sSearchStrings}"

# identify file to be searched
sSearchFile="text.file"

while IFS= read -r line; do

    echo "${line}"

done < <(egrep "${sSearchStrings}" "${sSearchFile}")