如何查找不以换行符/换行符结尾的文件？

Question

如何列出不以换行符结尾的普通文本 (.txt) 文件名？

例如：列出（输出）这个文件名：

$ cat a.txt
asdfasdlsad4randomcharsf
asdfasdfaasdf43randomcharssdf
$ 

并且不要列出（输出）这个文件名：

$ cat b.txt
asdfasdlsad4randomcharsf
asdfasdfaasdf43randomcharssdf

$

Answer 1

如果您安装了 ripgrep：

rg -l '[^\n]\z'

该正则表达式匹配任何不是换行符的字符，然后是the end of the file。

Answer 2

好，轮到我了，我试试看：

find . -type f -print0 | xargs -0 -L1 bash -c 'test "$(tail -c 1 "$0")" && echo "No new line at end of $0"'

Answer 3

使用 pcregrep，这是 grep 的 Perl 兼容正则表达式版本，它支持使用 -M 标志的多行模式，如果最后一行有换行符，可用于匹配（或不匹配）：

pcregrep -LMr '\n\Z' .

在上面的例子中，我们说在当前目录 (.) 中递归搜索 (-r) 列出不匹配的文件 (-L) 我们的多行 (-M) 正则表达式查找文件末尾的换行符 ('\n\Z')

将-L 更改为-l 将列出确实在其中包含换行符的文件。

pcregrep 可以使用自制软件pcre 包安装在 MacOS 上：brew install pcre

Answer 4

我能想到的最好的 oneliner 是：

git grep --cached -Il '' | xargs -L1 bash -c 'if test "$(tail -c 1 "$0")"; then echo "No new line at end of $0"; exit 1; fi'

这使用git grep，因为在我的用例中，我想确保提交到 git 分支的文件以换行符结尾。

如果在 git repo 之外需要这样做，您当然可以使用 grep 代替。

grep -RIl '' . | xargs -L1 bash -c 'if test "$(tail -c 1 "$0")"; then echo "No new line at end of $0"; exit 1; fi'

为什么我使用 grep？因为使用-I 可以轻松过滤掉二进制文件。

然后在其他答案中找到通常的 xargs/tail 东西，如果文件没有换行符，则添加 exit with 1。所以这可以在预提交 gitook 或 CI 中使用。

Answer 5

试试这个：

find . -type f -exec sh -c '[ -z "$(sed -n "\$p" "$1")" ]' _ {} \; -print

它将打印以空行结尾的文件的文件名。要打印不以空行结尾的文件，请将-z 更改为-n。

Answer 6

这个例子

• 适用于 macOS (BSD) 和 GNU/Linux
• 使用标准工具：find、grep、sh、file、tail、od、tr
• 支持带空格的路径

Oneliner：

find . -type f -exec sh -c 'file -b "{}" | grep -q text' \; -exec sh -c '[ "$(tail -c 1 "{}" | od -An -a | tr -d "[:space:]")" != "nl" ]' \; -print

更易读的版本

• 在当前目录下查找
  • 常规文件
  • “文件”（简要模式）考虑文本
  • 谁的最后一个字节（tail -c 1）没有由 od 的命名字符“nl”表示
  • 并打印他们的路径

#!/bin/sh
find . \
    -type f \
    -exec sh -c 'file -b "{}" | grep -q text' \; \
    -exec sh -c '[ "$(tail -c 1 "{}" | od -An -a | tr -d "[:space:]")" != "nl" ]' \; \
    -print

最后，一个带有 -f 标志的版本来修复有问题的文件（需要 bash）。

#!/bin/bash
# Finds files without final newlines
# Pass "-f" to also fix those files
fix_flag="$([ "$1" == "-f" ] && echo -true || echo -false)"
find . \
    -type f \
    -exec sh -c 'file -b "{}" | grep -q text' \; \
    -exec sh -c '[ "$(tail -c 1 "{}" | od -An -a | tr -d "[:space:]")" != "nl" ]' \; \
    -print \
    $fix_flag \
    -exec sh -c 'echo >> "{}"' \;

Answer 7

如果您使用 'ack' (http://beyondgrep.com) 作为 grep 的替代方法，则只需运行以下命令：

ack -v '\n$'

它实际上搜索所有不匹配的行 (-v) 在行尾换行。

Answer 8

此页面上的大多数解决方案都不适合我（FreeBSD 10.3 amd64）。伊恩·威尔 OSX 解决方案几乎总是有效，但很难遵循：- (

有一个简单的解决方案几乎总是有效：（如果 $f 是文件）：

sed -i '' -e '$a\' "$f"

sed 解决方案存在一个主要问题：它永远不会为您提供 有机会检查（而不是附加换行符）。

对于 DOS 文件，上述两种解决方案均失败。我觉得最 便携式/可编写脚本的解决方案可能是最简单的解决方案， 我自己开发的:-)

这是结合 file/unix2dos/tail 的基本 sh 脚本。在 生产，您可能需要在引号中使用“$f”并获取尾部输出 （嵌入到名为 last 的 shell 变量中）为 \"$f\"

if file $f | grep 'ASCII text' > /dev/null; then
    if file $f | grep 'CRLF' > /dev/null; then
        type unix2dos > /dev/null || exit 1
        dos2unix $f
        last="`tail -c1 $f`"
        [ -n "$last" ] && echo >> $f
        unix2dos $f
    else
        last="`tail -c1 $f`"
        [ -n "$last" ] && echo >> $f
    fi
fi

希望这对某人有所帮助。

Answer 9

由于您的问题有 perl 标签，我将发布一个使用它的答案：

find . -type f -name '*.txt' -exec perl check.pl {} +

其中 check.pl 如下：

#!/bin/perl 

use strict;
use warnings;

foreach (@ARGV) {
    open(FILE, $_);

    seek(FILE, -2, 2);

    my $c;

    read(FILE,$c,1);
    if ( $c ne "\n" ) {
        print "$_\n";
    }
    close(FILE);
}

这个 perl 脚本每次打开一个，文件作为参数传递并且只读取倒数第二个字符；如果它不是换行符，它只是打印出文件名，否则它什么也不做。

Answer 10

另一种选择：

$ find . -name "*.txt" -print0 | xargs -0I {} bash -c '[ -z "$(tail -n 1 {})" ] && echo {}'

Answer 11

这应该可以解决问题：

#!/bin/bash

for file in `find $1 -type f -name "*.txt"`;
do
        nlines=`tail -n 1 $file | grep '^$' | wc -l`
        if [ $nlines -eq 1 ]
                then echo $file
        fi
done;

这样称呼它：./script dir

例如./script /home/user/Documents/ -> 列出/home/user/Documents 中以\n 结尾的所有文本文件。

Answer 12

这很笨拙；肯定有人可以做得更好：

for f in `find . -name '*.txt' -type f`; do
    if test `tail -c 1 "$f" | od -c | head -n 1 | tail -c 3` != \\n; then
        echo $f;
    fi
done

注意这回答了标题中的问题，这与正文中的问题不同（我认为它正在寻找以 \n\n 结尾的文件）。

Answer 13

这个例子在 OSX 上适用于我（上面的许多解决方案都没有）

for file in `find . -name "*.java"`
do
  result=`od -An -tc -j $(( $(ls -l $file  | awk '{print $5}') - 1 )) $file`
  last_char=`echo $result | sed 's/ *//'`
  if [ "$last_char" != "\n" ]
  then
    #echo "Last char is .$last_char."
    echo $file
  fi
done

Answer 14

这是另一个使用小 bash 内置命令的示例，其中：

• 允许您过滤扩展名（例如，| grep '\.md$' 仅过滤 md 文件）
• 管道更多grep命令用于扩展过滤器（如排除| grep -v '\.git'以排除.git下的文件
• 使用 grep 参数的全部功能来获得更多过滤器或包含项

代码基本上迭代 (for) 所有文件（匹配您选择的标准 grep），如果文件的最后 1 个字符 (-n "$(tail -c -1 "$file")") 不是空行，它将打印文件名 (echo "$file")。

详细代码：

for file in $(find . | grep '\.md$')
do
    if [ -n "$(tail -c -1 "$file")" ]
    then
        echo "$file"
    fi
done

更紧凑一点：

for file in $(find . | grep '\.md$')
do
    [ -n "$(tail -c -1 "$file")" ] && echo "$file"
done

当然还有它的 1-liner：

for file in $(find . | grep '\.md$'); do [ -n "$(tail -c -1 "$file")" ] && echo "$file"; done