从输出中删除颜色

Question

我有一些产生颜色输出的脚本，我需要删除 ANSI 代码。

#!/bin/bash

exec > >(tee log)   # redirect the output to a file but keep it on stdout
exec 2>&1

./somescript

输出是（在日志文件中）：

java (pid  12321) is running...@[60G[@[0;32m  OK  @[0;39m]

我不知道怎么把 ESC 字符放在这里，所以我把@ 放在它的位置。

我把脚本改成：

#!/bin/bash

exec > >(tee log)   # redirect the output to a file but keep it on stdout
exec 2>&1

./somescript | sed -r "s/\x1B\[([0-9]{1,2}(;[0-9]{1,2})?)?[m|K]//g"

但现在它给了我（在日志文件中）：

java (pid  12321) is running...@[60G[  OK  ]

我怎样才能删除这个'@[60G？

也许有一种方法可以完全禁用整个脚本的着色？

Answer 1

According to Wikipedia，您正在使用的sed 命令中的[m|K] 专门用于处理m（颜色命令）和K（“擦除行的一部分”命令）。您的脚本正在尝试将绝对光标位置设置为 60 (^[[60G) 以获取一行中的所有 OK，而您的 sed 行没有涵盖。

（正确地说，[m|K] 应该是 (m|K) 或 [mK]，因为您不是要匹配管道字符。但这现在并不重要。）

如果您将命令中的最终匹配切换为 [mGK] 或 (m|G|K)，您应该能够捕捉到额外的控制序列。

./somescript | sed -r "s/\x1B\[([0-9]{1,3}(;[0-9]{1,2})?)?[mGK]//g"

Answer 2

恕我直言，这些答案中的大多数都试图限制转义码中的内容。因此，它们最终会丢失常见的代码，例如 [38;5;60m（256 色模式的前景 ANSI 颜色 60）。

他们还需要启用GNU extensions 的-r 选项。这些不是必需的；他们只是让正则表达式读起来更好。

这是一个更简单的答案，它处理 256 色转义并适用于非 GNU sed 的系统：

./somescript | sed 's/\x1B\[[0-9;]\{1,\}[A-Za-z]//g'

这将捕获以[ 开头、包含任意数量的小数和分号并以字母结尾的任何内容。这应该会捕获任何common ANSI escape sequences。

为了有趣，这里有一个更大、更通用（但经过最低限度测试）的解决方案 all conceivable ANSI escape sequences：

./somescript | sed 's/\x1B[@A-Z\\\]^_]\|\x1B\[[0-9:;<=>?]*[-!"#$%&'"'"'()*+,.\/]*[][\\@A-Z^_`a-z{|}~]//g'

（如果您有 @edi9999 的 SI 问题，请将 | sed "s/\x0f//g" 添加到末尾；这适用于 any control char，方法是将 0f 替换为不需要的字符的十六进制）

Answer 3

我无法从任何其他答案中获得不错的结果，但以下内容对我有用：

somescript | sed -r "s/[[:cntrl:]]\[[0-9]{1,3}m//g"

如果我只删除控制字符“^[”，它会留下其余的颜色数据，例如“33m”。包括颜色代码和“m”就可以了。我对 s/\x1B//g 不起作用感到困惑，因为 \x1B[31m 肯定适用于 echo。

Answer 4

对于 Mac OSX 或 BSD 使用

./somescript | sed $'s,\x1b\\[[0-9;]*[a-zA-Z],,g'

Answer 5

下面的正则表达式会遗漏一些ANSI Escape Codes 序列，以及3 位颜色。 Example 和 Fix 在 regex101.com 上。

改用这个：

./somescript | sed -r 's/\x1B\[(;?[0-9]{1,3})+[mGK]//g'

---

我也遇到过有时会出现SI字符的问题。

例如，这个输入发生了：echo "$(tput setaf 1)foo$(tput sgr0) bar"

还有一种方法可以去除 SI 字符（移入）(0x0f)

./somescript | sed -r "s/\x1B\[([0-9]{1,2}(;[0-9]{1,2})?)?[mGK]//g" | sed "s/\x0f//g"

Answer 6

我在 Debian 的 colorized-logs 软件包中发现了 ansi2txt 工具。该工具会从 STDIN 中删除 ANSI 控制代码。

使用示例：

./somescript | ansi2txt

源码http://github.com/kilobyte/colorized-logs

Answer 7

纯 Bash 中更简单的函数可从文本流中过滤掉常见的 ANSI 代码：

# Strips common ANSI codes from a text stream

shopt -s extglob # Enable Bash Extended Globbing expressions
ansi_filter() {
  local line
  local IFS=
  while read -r line || [[ "$line" ]]; do
    echo "${line//$'\e'[\[(]*([0-9;])[@-n]/}"
  done
}

见：

1. linuxjournal.com: Extended Globbing
2. gnu.org: Bash Parameter Expansion

Answer 8

我遇到了类似的问题。我发现的所有解决方案都适用于颜色代码，但没有删除 "$(tput sgr0)" 添加的字符（重置属性）。

以comment by davemyron中的解法为例，下例中结果字符串的长度是9，而不是6：

#!/usr/bin/env bash

string="$(tput setaf 9)foobar$(tput sgr0)"
string_sed="$( sed -r "s/\x1B\[[0-9;]*[JKmsu]//g" <<< "${string}" )"
echo ${#string_sed}

为了正常工作，必须扩展正则表达式以匹配sgr0 ("\E(B") 添加的序列：

string_sed="$( sed -r "s/\x1B(\[[0-9;]*[JKmsu]|\(B)//g" <<< "${string}" )"

Answer 9

嗯，不确定这是否适合您，但 'tr' 将 'strip'（删除）控制代码 - 试试：

./somescript | tr -d '[:cntrl:]'

Answer 10

这是一个纯 Bash 解决方案。

另存为strip-escape-codes.sh，使其可执行，然后运行<command-producing-colorful-output> | ./strip-escape-codes.sh。

请注意，这会去除 所有 ANSI 转义码/序列。如果您只想去除颜色，请将[a-zA-Z] 替换为"m"。

重击 >= 4.0：

#!/usr/bin/env bash

# Strip ANSI escape codes/sequences [$1: input string, $2: target variable]
function strip_escape_codes() {
    local _input="$1" _i _char _escape=0
    local -n _output="$2"; _output=""
    for (( _i=0; _i < ${#_input}; _i++ )); do
        _char="${_input:_i:1}"
        if (( ${_escape} == 1 )); then
            if [[ "${_char}" == [a-zA-Z] ]]; then
                _escape=0
            fi
            continue
        fi
        if [[ "${_char}" == $'\e' ]]; then
            _escape=1
            continue
        fi
        _output+="${_char}"
    done
}

while read -r line; do
    strip_escape_codes "${line}" line_stripped
    echo "${line_stripped}"
done

重击

#!/usr/bin/env bash

# Strip ANSI escape codes/sequences [$1: input string, $2: target variable]
function strip_escape_codes() {
    local input="${1//\"/\\\"}" output="" i char escape=0
    for (( i=0; i < ${#input}; ++i )); do         # process all characters of input string
        char="${input:i:1}"                       # get current character from input string
        if (( ${escape} == 1 )); then             # if we're currently within an escape sequence, check if
            if [[ "${char}" == [a-zA-Z] ]]; then  # end is reached, i.e. if current character is a letter
                escape=0                          # end reached, we're no longer within an escape sequence
            fi
            continue                              # skip current character, i.e. do not add to ouput
        fi
        if [[ "${char}" == $'\e' ]]; then         # if current character is '\e', we've reached the start
            escape=1                              # of an escape sequence -> set flag
            continue                              # skip current character, i.e. do not add to ouput
        fi
        output+="${char}"                         # add current character to output
    done
    eval "$2=\"${output}\""                       # assign output to target variable
}

while read -r line; do
    strip_escape_codes "${line}" line_stripped
    echo "${line_stripped}"
done

Answer 11

@jeff-bowman 的解决方案帮助我摆脱了一些颜色代码。 我在正则表达式中添加了一小部分以删除更多内容：

sed -r "s/\x1B\[([0-9]{1,2}(;[0-9]{1,2})?)?[mGK]//g" # Original. Removed Red ([31;40m[1m[error][0m)
sed -r "s/\x1B\[([0-9];)?([0-9]{1,2}(;[0-9]{1,2})?)?[mGK]//g" # With an addition, removed yellow and green ([1;33;40m[1m[warning][0m and [1;32;40m[1m[ok][0m)
                ^^^^^^^^^
                remove Yellow and Green (and maybe more colors)

Answer 12

有争议的想法是为此进程环境重新配置终端设置，让进程知道终端不支持颜色。

我想到了像TERM=xterm-mono ./somescript 这样的东西。 YMMV 与您的特定操作系统和脚本理解终端颜色设置的能力。

Answer 13

还有一个专用工具来处理 ANSI 转义序列：ansifilter。使用默认的 --text 输出格式去除所有 ANSI 转义序列（注意：不仅仅是着色）。

参考：https://stackoverflow.com/a/6534712

Answer 14

不确定./somescript 中的内容，但如果转义序列不是硬编码的，您可以设置终端类型来避免它们

TERM=dumb ./somescript 

例如，如果你尝试

TERM=dumb tput sgr0 | xxd

你会看到它没有输出，而

tput sgr0 | xxd
00000000: 1b28 421b 5b6d                           .(B.[m

可以（对于 xterm-256color）。

Answer 15

我遇到了这个问题/答案，试图做与 OP 类似的事情。我发现了一些其他有用的资源，并基于这些资源提出了一个日志脚本。在这里发帖以防它可以帮助其他人。

挖掘链接有助于理解一些重定向，我不会尝试解释，因为我自己才刚刚开始理解它。

Usage 会将彩色输出呈现到控制台，同时从进入日志文件的文本中去除颜色代码。它还将在日志文件中包含任何不起作用的命令的 stderr。

编辑：在底部添加更多用法以显示如何以不同方式登录

#!/bin/bash
set -e
DIR="$( cd "$( dirname "${BASH_SOURCE[0]}" )" >/dev/null 2>&1 && pwd )"

. $DIR/dev.conf
. $DIR/colors.cfg

filename=$(basename ${BASH_SOURCE[0]})
# remove extension
# filename=`echo $filename | grep -oP '.*?(?=\.)'`
filename=`echo $filename | awk -F\. '{print $1}'`
log=$DIR/logs/$filename-$target

if [ -f $log ]; then
  cp $log "$log.bak"
fi

exec 3>&1 4>&2
trap 'exec 2>&4 1>&3' 0 1 2 3
exec 1>$log 2>&1


# log message
log(){
    local m="$@"
    echo -e "*** ${m} ***" >&3
    echo "=================================================================================" >&3
  local r="$@"
    echo "================================================================================="
    echo -e "*** $r ***" | sed -r "s/\x1B\[([0-9]{1,2}(;[0-9]{1,2})?)?[mGK]//g"
    echo "================================================================================="
}

echo "=================================================================================" >&3
log "${Cyan}The ${Yellow}${COMPOSE_PROJECT_NAME} ${filename} ${Cyan}script has been executed${NC}"
log $(ls) #log $(<command>)

log "${Green}Apply tag to image $source with version $version${NC}"
# log $(exec docker tag $source $target 3>&2) #prints error only to console
# log $(docker tag $source $target 2>&1) #prints error to both but doesn't exit on fail
log $(docker tag $source $target 2>&1) && exit $? #prints error to both AND exits on fail
# docker tag $source $target 2>&1 | tee $log # prints gibberish to log
echo $? # prints 0 because log function was successful
log "${Purple}Push $target to acr${NC}"

以下是其他有用的链接：

• Can I use sed to manipulate a variable in bash?
• https://www.cyberciti.biz/faq/redirecting-stderr-to-stdout/
• https://unix.stackexchange.com/questions/42728/what-does-31-12-23-do-in-a-script
• https://serverfault.com/questions/103501/how-can-i-fully-log-all-bash-scripts-actions
• https://www.gnu.org/software/bash/manual/bash.html#Redirections

Answer 16

我使用 perl，因为我必须经常对许多文件执行此操作。这将遍历所有文件名*.txt 的文件，并删除任何格式。这适用于我的用例，也可能对其他人有用，所以只想在这里发布。替换您的文件名代替 filename*.txt 或者您可以在下面设置 FILENAME 变量时将文件名用空格分隔。

$ FILENAME=$(ls filename*.txt) ; for file in $(echo $FILENAME); do echo $file; cat $file | perl -pe 's/\e([^\[\]]|\[.*?[a-zA-Z]|\].*?\a)//g' | col -b > $file-new; mv $file-new $file; done

Answer 17

我的贡献：

./somescript | sed -r "s/\\x1B[\\x5d\[]([0-9]{1,3}(;[0-9]{1,3})?(;[0-9]{1,3})?)?[mGK]?//g"

Answer 18

这对我有用：

./somescript | cat