如何在 shell 中解码 URL 编码的字符串？

Question

我有一个文件，其中包含已编码的用户代理列表。 例如：

Mozilla%2F5.0%20%28Macintosh%3B%20U%3B%20Intel%20Mac%20OS%20X%2010.6%3B%20en

我想要一个 shell 脚本，它可以读取这个文件并用解码后的字符串写入一个新文件。

Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.6; en

我一直在尝试使用这个示例来实现它，但到目前为止它还没有工作。

$ echo -e "$(echo "%31+%32%0A%33+%34" | sed 'y/+/ /; s/%/\\x/g')"

我的脚本如下所示：

#!/bin/bash
for f in *.log; do
  echo -e "$(cat $f | sed 'y/+/ /; s/%/\x/g')" > y.log
done

Answer 1

正如@barti_ddu 在 cmets 中所说，\x“应该被[双重]转义”。

% echo -e "$(echo "Mozilla%2F5.0%20%28Macintosh%3B%20U%3B%20Intel%20Mac%20OS%20X%2010.6%3B%20en" | sed 'y/+/ /; s/%/\\x/g')"
Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.6; en

我不会把 Bash 和 sed 混在一起，而是用 Python 来完成。这是一个粗略的方法：

#!/usr/bin/env python

import glob
import os
import urllib

for logfile in glob.glob(os.path.join('.', '*.log')):
    with open(logfile) as current:
        new_log_filename = logfile + '.new'
        with open(new_log_filename, 'w') as new_log_file:
            for url in current:
                unquoted = urllib.unquote(url.strip())
                new_log_file.write(unquoted + '\n')

Answer 2

这似乎对我有用。

#!/bin/bash
urldecode(){
  echo -e "$(sed 's/+/ /g;s/%\(..\)/\\x\1/g;')"
}

for f in /opt/logs/*.log; do
    name=${f##/*/}
    cat $f | urldecode > /opt/logs/processed/$HOSTNAME.$name
done

用空格替换 '+'，用 '\x' 转义符替换 % 符号，并让 echo 使用 '-e' 选项解释 \x 转义符不起作用。出于某种原因，cat 命令将 % 符号打印为它自己的编码形式 %25。所以 sed 只是简单地将 %25 替换为 \x25。当使用 -e 选项时，它只是将 \x25 评估为 % 并且输出与原始相同。

追踪：

原文： Mozilla%2F5.0%20%28Macintosh%3B%20U%3B%20Intel%20Mac%20OS%20X%2010.6%3B%20en

sed: Mozilla\x252F5.0\x2520\x2528Macintosh\x253B\x2520U\x253B\x2520Intel\x2520Mac\x2520OS\x2520X\x252010.6\x253B\x2520en

echo -e: Mozilla%2F5.0%20%28Macintosh%3B%20U%3B%20Intel%20Mac%20OS%20X%2010.6%3B%20en

修复：基本忽略sed中%后面的2个字符。

sed: Mozilla\x2F5.0\x20\x28Macintosh\x3B\x20U\x3B\x20Intel\x20Mac\x20OS\x20X\x2010.6\x3B\x20en

echo -e: Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.6; en

经过大量测试后，不确定这会导致什么并发症，但目前可行。

Answer 3

在本机 Bash 中执行此操作的 Bash 脚本 (original source)：

LANG=C

urlencode() {
    local l=${#1}
    for (( i = 0 ; i < l ; i++ )); do
        local c=${1:i:1}
        case "$c" in
            [a-zA-Z0-9.~_-]) printf "$c" ;;
            ' ') printf + ;;
            *) printf '%%%.2X' "'$c"
        esac
    done
}

urldecode() {
    local data=${1//+/ }
    printf '%b' "${data//%/\x}"
}

如果要对文件内容进行urldecode，只需将文件内容作为参数。

这是一个测试，如果解码后的编码文件内容不同（如果它运行几秒钟，脚本可能正常工作），它将停止运行：

while true
  do cat /dev/urandom | tr -d '\0' | head -c1000 > /tmp/tmp;
     A="$(cat /tmp/tmp; printf x)"
     A=${A%x}
     A=$(urlencode "$A")
     urldecode "$A" > /tmp/tmp2
     cmp /tmp/tmp /tmp/tmp2
     if [ $? != 0 ]
       then break
     fi
done

Answer 4

如果你的服务器上安装了 php，你可以“cat”甚至“tail”任何文件，使用 url 编码的字符串非常容易。

tail -f nginx.access.log | php -R 'echo urldecode($argn)."\n";'

Answer 5

如果您是 python 开发人员，这可能更可取：

对于 Python 3.x（默认）：

echo -n "%21%20" | python3 -c "import sys; from urllib.parse import unquote; print(unquote(sys.stdin.read()));"

对于 Python 2.x（已弃用）：

echo -n "%21%20" | python -c "import sys, urllib as ul; print ul.unquote(sys.stdin.read());"

urllib 非常擅长处理 URL 解析

Answer 6

这是一个在纯 bash 中完成的解决方案，其中输入和输出是 bash 变量。它将“+”解码为空格并处理“%20”空格以及其他 % 编码的字符。

#!/bin/bash
#here is text that contains both '+' for spaces and a %20
text="hello+space+1%202"
decoded=$(echo -e `echo $text | sed 's/+/ /g;s/%/\\\\x/g;'`)
echo decoded=$decoded

Answer 7

perl -pi.back -e 'y/+/ /;s/%([\da-f]{2})/pack H2,$1/gie' ./*.log

使用-i 就地更新文件（一些sed 实现从perl 借用了该文件），.back 作为备份扩展名。

s/x/y/e 将x 替换为y perl 代码的e值。

本例中的 perl 代码使用pack 将$1（正则表达式中的第一个括号对）中捕获的十六进制数打包为相应的字符。

pack 的替代方法是使用chr(hex($1))：

perl -pi.back -e 'y/+/ /;s/%([\da-f]{2})/chr hex $1/gie' ./*.log

如果可用，您也可以使用来自URI::Escape 的uri_unescape()：

perl -pi.back -MURI::Escape -e 'y/+/ /;$_=uri_unescape$_' ./*.log

Answer 8

使用 GNU awk:

LC_ALL=C gawk -vRS='%[[:xdigit:]]{2}' '
  RT {RT = sprintf("%c",strtonum("0x" substr(RT, 2)))}
  {gsub(/\+/," ");printf "%s", $0 RT}'

将在标准输入上采用 URI 编码并在标准输出上打印解码输出。

我们将记录分隔符设置为匹配%XX 序列的正则表达式。在 GNU awk 中，匹配它的输入存储在 RT 特殊变量中。我们从那里提取十六进制数字，附加到“0x”以将strnum() 转换为一个数字，然后传递给sprintf("%c")，在C 语言环境中它将转换为相应的字节值。

Answer 9

只是想分享这个其他解决方案，纯 bash：

encoded_string="Mozilla%2F5.0%20%28Macintosh%3B%20U%3B%20Intel%20Mac%20OS%20X%2010.6%3B%20en"
printf -v encoded_string "%b" "${encoded_string//\%/\x}"
echo $encoded_string

Answer 10

Python 答案的略微修改版本，它在单行中接受输入和输出文件。

cat inputfile.txt | python -c "import sys, urllib as ul; print ul.unquote(sys.stdin.read());" > ouputfile.txt

Answer 11

$ uenc='H%C3%B6he %C3%BCber%20dem%20Meeresspiegel'
$ utf8=$(printf "${uenc//%/\\x}")
$ echo $utf8
Höhe über dem Meeresspiegel
$

Answer 12

$ uenc='H%C3%B6he %C3%BCber%20dem%20Meeresspiegel'
$ utf8=$(echo -e "${uenc//%/\\x}")
$ echo $utf8
Höhe über dem Meeresspiegel
$

Answer 13

这是一个简单的单行解决方案。

$ function urldecode() { : "${*//+/ }"; echo -e "${_//%/\\x}"; }

它可能看起来像 perl :) 但它只是纯粹的 bash。没有 awks，没有 seds ......没有开销。使用 : 内置、特殊参数、模式替换和内置 echo 的 -e 选项将十六进制代码转换为字符。有关详细信息，请参阅 bash 的联机帮助页。您可以将此功能用作单独的命令

$ urldecode https%3A%2F%2Fgoogle.com%2Fsearch%3Fq%3Durldecode%2Bbash
https://google.com/search?q=urldecode+bash

或者在变量赋值中，像这样：

$ x="http%3A%2F%2Fstackoverflow.com%2Fsearch%3Fq%3Durldecode%2Bbash"
$ y=$(urldecode "$x")
$ echo "$y"
http://stackoverflow.com/search?q=urldecode+bash

Answer 14

使用 BASH，从标准输入中读取百分比编码的 URL 并进行解码：

while read; do echo -e ${REPLY//%/\\x}; done

按 CTRL-D 表示文件结束（EOF）并优雅退出。

您可以通过将文件设置为标准来解码文件的内容：

while read; do echo -e ${REPLY//%/\\x}; done < file

您也可以对来自管道的输入进行解码，例如：

echo 'a%21b' | while read; do echo -e ${REPLY//%/\\x}; done

• 内置命令读取标准输入，直到看到换行符。它设置一个名为REPLY 的变量等于它刚刚读取的文本行。
• ${REPLY//%/\\x} 将 '%' 的所有实例替换为 '\x'。
• echo -e 将\xNN 解释为十六进制值为NN 的ASCII 字符。
• while 重复此循环，直到读取命令失败，例如。已达到 EOF。

以上内容不会将'+'更改为''。也将 '+' 更改为 ' '，例如来宾的 answer：

while read; do : "${REPLY//%/\\x}"; echo -e ${_//+/ }; done

• : 是 BASH 内置命令。在这里，它只接受一个参数，不做任何事情。
• 双引号将所有内容都包含在一个参数中。
• _ 是一个特殊参数，在参数扩展之后等于上一个命令的最后一个参数。这是 REPLY 的值，所有 '%' 实例都替换为 '\x'。
• ${_//+/ } 将所有 '+' 实例替换为 ' '。

这仅使用 BASH，不会启动任何其他进程，类似于客人的回答。

Answer 15

扩展到 https://stackoverflow.com/a/37840948/8142470
使用 HTML 实体

$ htmldecode() { : "${*//+/ }"; echo -e "${_///\x}" | tr -d ';'; }
$ html解码 “http://google.com/搜索&?q=urldecode+bash”http://google.com/search&?q=urldecode+bash

（参数必须被引用）

Answer 16

更新Jay's Python 3.5+ 的答案：
echo "%31+%32%0A%33+%34" | python -c "import sys; from urllib.parse import unquote ; print(unquote(sys.stdin.read()))"

不过，brendan's 带有解释的 bash 解决方案似乎更直接和优雅。

Answer 17

在其他一些答案的基础上，但对于 POSIX 世界，可以使用以下函数：

url_decode() {
    printf '%b\n' "$(sed -E -e 's/\+/ /g' -e 's/%([0-9a-fA-F]{2})/\\x\1/g')"
}

它使用printf '%b\n'，因为没有echo -e，并中断了sed 调用以使其更易于阅读，从而强制-E 能够使用\1 的引用。它还强制% 后面的内容看起来像一些十六进制代码。

Answer 18

使用zsh shell（而不是bash），唯一的shell 其变量可以保存任何字节值，包括NUL（编码为%00）：

set -o extendedglob +o multibyte
string='Mozilla%2F5.0%20%28Macintosh%3B%20U%3B%20Intel%20Mac%20OS%20X%2010.6%3B%20en'
decoded=${${string//+/ }//(#b)%([[:xdigit:]](#c2))/${(#):-0x$match[1]}}

• ${var//pattern/replacement}：ksh 样式的参数扩展运算符，用于扩展为 $var 的值，并将每个匹配 pattern 的字符串替换为 replacement。
• (#b) 激活反向引用，因此模式中括号内的每个部分都可以作为替换中对应的 $match[n] 访问。
• (#c2)：相当于 ERE {2}
• ${(#)param-expansion}：参数扩展，其中# 标志导致结果被解释为算术表达式并返回相应的字节值。
• ${var:-value}：如果$var 为空，则扩展为value，此处根本不应用于任何变量，因此我们可以指定任意字符串作为参数扩展的主题。

要使其成为就地解码变量内容的函数：

uridecode_var() {
  emulate -L zsh
  set -o extendedglob +o multibyte
  eval $1='${${'$1'//+/ }//(#b)%([[:xdigit:]](#c2))/${(#):-0x$match[1]}}'
}

$ string='Mozilla%2F5.0%20%28Macintosh%3B%20U%3B%20Intel%20Mac%20OS%20X%2010.6%3B%20en'
$ uridecode_var string
$ print -r -- $string
Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.6; en

Answer 19

使用 sed：

#!/bin/bash
URL_DECODE="$(echo "$1" | sed -E 's/%([0-9a-fA-F]{2})/\\x\1/g;s/\+/ /g'"
echo -e "$URL_DECODE"

• s/%([0-9a-fA-F]{2})/\\x\1/g 将 % 替换为 \x 以将 urlencoded 转换为十六进制
• s/\+/ /g 将 + 替换为空格 ' '，以防在查询字符串中使用 +

只需将其保存到decodeurl.sh 并使用chmod +x decodeurl.sh 使其可执行

如果您也需要一种编码方式，此完整代码将有所帮助：

#!/bin/bash
#
# Enconding e Decoding de URL com sed
#
# Por Daniel Cambría
# daniel.cambria@bureau-it.com
#
# jul/2021

function url_decode() {
echo "$@" \
    | sed -E 's/%([0-9a-fA-F]{2})/\\x\1/g;s/\+/ /g'
}

function url_encode() {
    # Conforme RFC 3986
    echo "$@" \
    | sed \
    -e 's/ /%20/g' \
    -e 's/:/%3A/g' \
    -e 's/,/%2C/g' \
    -e 's/\?/%3F/g' \
    -e 's/#/%23/g' \
    -e 's/\[/%5B/g' \
    -e 's/\]/%5D/g' \
    -e 's/@/%40/g' \
    -e 's/!/%41/g' \
    -e 's/\$/%24/g' \
    -e 's/&/%26/g' \
    -e "s/'/%27/g" \
    -e 's/(/%28/g' \
    -e 's/)/%29/g' \
    -e 's/\*/%2A/g' \
    -e 's/\+/%2B/g' \
    -e 's/,/%2C/g' \
    -e 's/;/%3B/g' \
    -e 's/=/%3D/g'
}

echo -e "URL decode: " $(url_decode "$1")
echo -e "URL encode: " $(url_encode "$1")

Answer 20

python，用于 zshrc

# Usage: decodeUrl %3A%2F%2F
function decodeUrl(){
    echo "$1" | python3 -c "import sys; from urllib.parse import unquote; print(unquote(sys.stdin.read()));"    
}

# Usage: encodeUrl https://google.com/search?q=urldecode+bash
#          return: https://google.com/search\?q\=urldecode+bash
function encodeUrl(){
    echo "$1" | python3 -c "import sys; from urllib.parse import quote; print(quote(sys.stdin.read()));"
}

Answer 21

用于 url 解码的 bash 成语

这是一个 bash 习惯用法，用于对变量 x 中保存的字符串进行 url 解码并将结果分配给变量 y：

: "${x//+/ }"; printf -v y '%b' "${_//%/\\x}"

与接受的答案不同，它在分配期间保留尾随换行符。 （尝试将 url 解码的结果 v%0A%0A%0A 分配给变量。）

它也很快。将 url 解码的结果分配给变量比接受的答案快 6700%。

警告：bash 变量不可能包含 NUL。例如，任何尝试解码 %00 并将结果分配给变量的 bash 解决方案都将不起作用。

基准详情

函数.sh

#!/bin/bash
urldecode() { : "${*//+/ }"; echo -e "${_//%/\\x}"; }
x=%21%20
for (( i=0; i<5000; i++ )); do
  y=$(urldecode "$x")
done

idiom.sh

#!/bin/bash
x=%21%20
for (( i=0; i<5000; i++ )); do
  : "${x//+/ }"; printf -v y '%b' "${_//%/\\x}"
done

$ hyperfine --warmup 5 ./function.sh ./idiom.sh
Benchmark #1: ./function.sh
  Time (mean ± σ):      2.844 s ±  0.036 s    [User: 1.728 s, System: 1.494 s]
  Range (min … max):    2.801 s …  2.907 s    10 runs
 
Benchmark #2: ./idiom.sh
  Time (mean ± σ):      42.4 ms ±   1.0 ms    [User: 40.7 ms, System: 1.1 ms]
  Range (min … max):    40.5 ms …  44.8 ms    64 runs
 
Summary
  './idiom.sh' ran
   67.06 ± 1.76 times faster than './function.sh'

如果你真的想要一个函数...

如果你真的想要一个函数，比如出于可读性的原因，我建议如下：

# urldecode [-v var ] argument
#
#   Urldecode the argument and print the result.
#   It replaces '+' with SPACE and then percent decodes.
#   The output is consistent with https://meyerweb.com/eric/tools/dencoder/
#
# Options:
#   -v var    assign the output to shell variable VAR rather than
#             print it to standard output
#
urldecode() {
  local assign_to_var=
  local OPTIND opt
  while getopts ':v:' opt; do
    case $opt in
      v)
        local var=$OPTARG
        assign_to_var=Y
        ;;
      \?)
        echo "$FUNCNAME: error: -$OPTARG: invalid option" >&2
        exit 1
        ;;
      :)
        echo "$FUNCNAME: error: -$OPTARG: this option requires an argument" >&2
        exit 1
        ;;
      *)
        echo "$FUNCNAME: error: an unexpected execution path has occurred." >&2
        exit 1
        ;;
    esac
  done
  shift "$((OPTIND - 1))"
  if [[ $assign_to_var ]]; then
    : "${1//+/ }"; printf -v "$var" %b "${_//%/\\x}"
  else
    : "${1//+/ }"; printf %b "${_//%/\\x}"
  fi
}

将解码结果赋值给shell变量的例子：

x='v%0A%0A%0A'
urldecode -v y "$x"
echo -n "$y" | od -An -tx1

结果：

 76 0a 0a 0a

这个函数虽然没有上面的习语那么快，但由于不涉及子shell，在做作业时仍然比接受的答案快 1300%。此外，如示例输出所示，由于不涉及命令替换，它保留了尾随换行符。