如何在 Bash 脚本中将 DOS/Windows 换行符 (CRLF) 转换为 Unix 换行符 (LF)

Question

如何以编程方式（即不使用 vi）将 DOS/Windows 换行符转换为 Unix？

dos2unix 和 unix2dos 命令在某些系统上不可用。如何使用sed、awk 和tr 等命令模拟这些？

Answer 1

您可以使用tr从DOS转换为Unix；但是，只有当 CR 仅作为 CRLF 字节对的第一个字节出现在您的文件中时，您才能安全地执行此操作。通常是这种情况。然后你使用：

tr -d '\015' <DOS-file >UNIX-file

注意名称DOS-file与名称UNIX-file不同；如果您尝试使用相同的名称两次，则最终文件中将没有数据。

你不能反其道而行之（使用标准的 'tr'）。

如果你知道如何在脚本中输入回车（control-V，control-M进入control-M），那么：

sed 's/^M$//'     # DOS to Unix
sed 's/$/^M/'     # Unix to DOS

'^M' 是 control-M 字符。也可以使用bashANSI-C Quoting机制指定回车：

sed $'s/\r$//'     # DOS to Unix
sed $'s/$/\r/'     # Unix to DOS

但是，如果您必须经常这样做（粗略地说不止一次），安装转换程序（例如 dos2unix 和 unix2dos，或者可能是 @987654324 @ 和 utod) 并使用它们。

如果需要处理整个目录和子目录，可以使用zip：

zip -r -ll zipfile.zip somedir/
unzip zipfile.zip

这将创建一个 zip 存档，其中行尾从 CRLF 更改为 CR。 unzip 然后将转换后的文件放回原处（并逐个文件询问您-您可以回答：全部是）。感谢@vmsnomad 指出这一点。

Answer 2

用途：

tr -d "\r" < file

查看here 使用sed 的示例：

# In a Unix environment: convert DOS newlines (CR/LF) to Unix format.
sed 's/.$//'               # Assumes that all lines end with CR/LF
sed 's/^M$//'              # In Bash/tcsh, press Ctrl-V then Ctrl-M
sed 's/\x0D$//'            # Works on ssed, gsed 3.02.80 or higher

# In a Unix environment: convert Unix newlines (LF) to DOS format.
sed "s/$/`echo -e \\\r`/"            # Command line under ksh
sed 's/$'"/`echo \\\r`/"             # Command line under bash
sed "s/$/`echo \\\r`/"               # Command line under zsh
sed 's/$/\r/'                        # gsed 3.02.80 or higher

使用sed -i 进行就地转换，例如sed -i 's/..../' file。

Answer 3

您可以通过选项-c {command} 以编程方式使用 Vim：

DOS 到 Unix：

vim file.txt -c "set ff=unix" -c ":wq"

Unix 到 DOS：

vim file.txt -c "set ff=dos" -c ":wq"

“set ff=unix/dos”表示将文件的文件格式（ff）改为Unix/DOS行尾格式。

":wq" 表示将文件写入磁盘并退出编辑器（允许循环使用该命令）。

Answer 4

安装dos2unix，然后就地转换文件

dos2unix <filename>

要将转换后的文本输出到不同的文件，请使用

dos2unix -n <input-file> <output-file>

---

你可以在 Ubuntu 或 Debian 上安装它

sudo apt install dos2unix

或在 macOS 上使用 Homebrew

brew install dos2unix

Answer 5

使用 AWK 你可以做到：

awk '{ sub("\r$", ""); print }' dos.txt > unix.txt

使用 Perl 你可以做到：

perl -pe 's/\r$//' < dos.txt > unix.txt

Answer 6

这个问题可以用标准工具解决，但是对于粗心的人来说，陷阱太多了，我建议您安装flip 命令，该命令由zoo 的作者Rahul Dhesi 在20 多年前编写。 它在转换文件格式方面做得非常出色，例如，避免意外破坏二进制文件，如果您只是竞相更改您看到的每个 CRLF，这有点太容易了......

Answer 7

如果您无权访问 dos2unix，但可以阅读此页面，则可以从此处复制/粘贴 dos2unix.py。

#!/usr/bin/env python
"""\
convert dos linefeeds (crlf) to unix (lf)
usage: dos2unix.py <input> <output>
"""
import sys

if len(sys.argv[1:]) != 2:
  sys.exit(__doc__)

content = ''
outsize = 0
with open(sys.argv[1], 'rb') as infile:
  content = infile.read()
with open(sys.argv[2], 'wb') as output:
  for line in content.splitlines():
    outsize += len(line) + 1
    output.write(line + '\n')

print("Done. Saved %s bytes." % (len(content)-outsize))

_{（交叉发布from Super User。）}

Answer 8

目前发布的解决方案只解决了部分问题，将 DOS/Windows 的 CRLF 转换为 Unix 的 LF；他们缺少的部分是 DOS 使用 CRLF 作为行分隔符，而 Unix 使用 LF 作为行终止符。不同之处在于 DOS 文件（通常）在文件的最后一行之后不会有任何内容，而 Unix 会有。要正确进行转换，您需要添加最终的 LF（除非文件长度为零，即其中根本没有行）。我最喜欢的咒语（添加一点逻辑来处理 Mac 风格的 CR 分隔文件，而不是骚扰已经是 unix 格式的文件）有点 perl：

perl -pe 'if ( s/\r\n?/\n/g ) { $f=1 }; if ( $f || ! $m ) { s/([^\n])\z/$1\n/ }; $m=1' PCfile.txt

请注意，这会将文件的 Unix 化版本发送到标准输出。如果您想用 Unix 化版本替换文件，请添加 perl 的 -i 标志。

Answer 9

PCRE 超级简单；

作为脚本，或将$@ 替换为您的文件。

#!/usr/bin/env bash
perl -pi -e 's/\r\n/\n/g' -- $@

这将覆盖您的文件！

我建议仅使用备份（版本控制或其他方式）进行此操作

Answer 10

没有程序的更简单的AWK 解决方案：

awk -v ORS='\r\n' '1' unix.txt > dos.txt

从技术上讲，“1”是您的程序，因为 AWK 在给定选项时需要一个。

或者，内部解决方案是：

while IFS= read -r line;
do printf '%s\n' "${line%$'\r'}";
done < dos.txt > unix.txt

Answer 11

有趣的是，在我在 Windows 上的 Git Bash 中，sed "" 已经成功了：

$ echo -e "abc\r" >tst.txt
$ file tst.txt
tst.txt: ASCII text, with CRLF line terminators
$ sed -i "" tst.txt
$ file tst.txt
tst.txt: ASCII text

我的猜测是sed 在从输入读取行时会忽略它们，并且总是将 Unix 行结尾写入输出。

Answer 12

我只需要思考同样的问题（在 Windows 端，但同样适用于 Linux）。

令人惊讶的是，没有人提到使用旧的 zip -ll 选项 (Info-ZIP) 对文本文件进行 CRLF LF 转换的非常自动化的方法：

zip -ll textfiles-lf.zip files-with-crlf-eol.*
unzip textfiles-lf.zip

注意：这将创建一个 ZIP 文件，保留原始文件名，但将行尾转换为 LF。然后unzip 会将文件解压缩为压缩文件，即使用它们的原始名称（但带有 L​​F 结尾），从而提示覆盖本地原始文件（如果有）。

来自zip --help的相关摘录：

zip --help
...
-l   convert LF to CR LF (-ll CR LF to LF)

Answer 13

sed -i.bak --expression='s/\r\n/\n/g' <file_path>

由于问题提到了 sed，这是使用 sed 实现此目的最直接的方法。该表达式表示仅用换行符替换所有回车符和换行符。当您从 Windows 转到 Unix 时，这就是您所需要的。我验证它有效。

Answer 14

这对我有用

tr "\r" "\n" < sampledata.csv > sampledata2.csv 

Answer 15

对于 Mac OS X，如果您安装了 Homebrew (http://brew.sh/)：

brew install dos2unix

for csv in *.csv; do dos2unix -c mac ${csv}; done;

确保您已经制作了文件的副本，因为此命令将修改文件。 -c mac 选项使开关与 OS X 兼容。

Answer 16

TIMTOWTDI!

perl -pe 's/\r\n/\n/; s/([^\n])\z/$1\n/ if eof' PCfile.txt

基于Gordon Davisson's answer。

必须考虑[noeol]的可能性...

Answer 17

您可以使用AWK。将记录分隔符 (RS) 设置为匹配所有可能的换行符或字符的正则表达式。并将输出记录分隔符 (ORS) 设置为 Unix 风格的换行符。

awk 'BEGIN{RS="\r|\n|\r\n|\n\r";ORS="\n"}{print}' windows_or_macos.txt > unix.txt

Answer 18

在 Linux 上，使用 sed 很容易将 ^M (Ctrl + M) 转换为 *nix 换行符 (^J)。

在 CLI 上会出现这样的情况，文本中实际上会有一个换行符。但是，\ 将 ^J 传递给 sed：

sed 's/^M/\
/g' < ffmpeg.log > new.log

你可以使用 ^V (Ctrl + V), ^M (Ctrl + M ) 和 \（反斜杠）在您键入时：

sed 's/^V^M/\^V^J/g' < ffmpeg.log > new.log

Answer 19

作为Jonathan Leffler's Unix to DOS solution 的扩展，在您不确定文件的当前行结尾时安全地转换为 DOS：

sed '/^M$/! s/$/^M/'

这会在转换为 CRLF 之前检查该行是否尚未以 CRLF 结尾。

Answer 20

我根据接受的答案制作了一个脚本，因此您可以直接转换它，而不需要最后添加额外的文件，然后删除和重命名。

convert-crlf-to-lf() {
    file="$1"
    tr -d '\015' <"$file" >"$file"2
    rm -rf "$file"
    mv "$file"2 "$file"
}

只要确定您是否有像“file1.txt”这样的文件“file1.txt2”不存在，否则它将被覆盖。我将其用作存储文件的临时位置。

Answer 21

在 Bash 4.2 和更新版本中，您可以使用类似这样的东西来去除尾随 CR，它只使用 Bash 内置函数：

if [[ "${str: -1}" == $'\r' ]]; then
    str="${str:: -1}"
fi

Answer 22

我试过了

sed 's/^M$//' file.txt

关于OS X 以及其他几种方法（Fixing Dos Line Endings 或http://hintsforums.macworld.com/archive/index.php/t-125.html）。没有工作，文件保持不变（顺便说一下，Ctrl + V, Enter 需要重现^M）。最后我使用了TextWrangler。它不是严格意义上的命令行，但它可以工作并且不会抱怨。