将字节转换为字符串

Question

我正在使用此代码从外部程序获取标准输出：

>>> from subprocess import *
>>> command_stdout = Popen(['ls', '-l'], stdout=PIPE).communicate()[0]

communicate() 方法返回一个字节数组：

>>> command_stdout
b'total 0\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2\n'

但是，我想将输出作为普通的 Python 字符串处理。这样我就可以像这样打印它：

>>> print(command_stdout)
-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1
-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2

我以为这就是binascii.b2a_qp() 方法的用途，但是当我尝试它时，我又得到了相同的字节数组：

>>> binascii.b2a_qp(command_stdout)
b'total 0\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2\n'

如何将字节值转换回字符串？我的意思是，使用“电池”而不是手动操作。我希望 Python 3 也可以。

Answer 1

我们可以使用 bytes.decode(encoding='utf-8', errors='strict') 解码字节对象以生成字符串 对于文档。点击here

Python3 示例：

byte_value = b"abcde"
print("Initial value = {}".format(byte_value))
print("Initial value type = {}".format(type(byte_value)))
string_value = byte_value.decode("utf-8")
# utf-8 is used here because it is a very common encoding, but you need to use the encoding your data is actually in.
print("------------")
print("Converted value = {}".format(string_value))
print("Converted value type = {}".format(type(string_value)))

输出：

Initial value = b'abcde'
Initial value type = <class 'bytes'>
------------
Converted value = abcde
Converted value type = <class 'str'>

注意：在 Python3 中，默认编码类型为 utf-8。所以，<byte_string>.decode("utf-8")也可以写成<byte_string>.decode()

Answer 2

您需要解码字节对象以生成字符串：

>>> b"abcde"
b'abcde'

# utf-8 is used here because it is a very common encoding, but you
# need to use the encoding your data is actually in.
>>> b"abcde".decode("utf-8") 
'abcde'

见：https://docs.python.org/3/library/stdtypes.html#bytes.decode

Answer 3

如果您遇到此错误：

'utf-8 编解码器无法解码字节 0x8a'

，那么最好使用以下代码将字节转换为字符串：

bytes = b"abcdefg"
string = bytes.decode("utf-8", "ignore") 

享受吧！

Answer 4

使用.decode() 解码。这将解码字符串。传入'utf-8') 作为里面的值。

Answer 5

试试这个；此函数将忽略所有非字符集（如utf-8）二进制文件并返回一个干净的字符串。已针对python3.6 及以上版本进行测试。

def bin2str(text, encoding = 'utf-8'):
    """Converts a binary to Unicode string by removing all non Unicode char
    text: binary string to work on
    encoding: output encoding *utf-8"""

    return text.decode(encoding, 'ignore')

在这里，该函数将获取二进制文件并对其进行解码（使用 python 预定义字符集将二进制数据转换为字符，ignore 参数忽略二进制文件中的所有非字符集数据，最后返回您想要的 string 值.

如果您不确定编码，请使用sys.getdefaultencoding() 获取设备的默认编码。

Answer 6

由于这个问题实际上是在询问subprocess 的输出，因此您可以使用更直接的方法。最现代的方法是使用 subprocess.check_output 并传递 text=True (Python 3.7+) 以使用系统默认编码自动解码标准输出：

text = subprocess.check_output(["ls", "-l"], text=True)

对于 Python 3.6，Popen 接受 encoding 关键字：

>>> from subprocess import Popen, PIPE
>>> text = Popen(['ls', '-l'], stdout=PIPE, encoding='utf-8').communicate()[0]
>>> type(text)
str
>>> print(text)
total 0
-rw-r--r-- 1 wim badger 0 May 31 12:45 some_file.txt

如果您不处理子进程输出，则标题中问题的一般答案是将解码字节到文本：

>>> b'abcde'.decode()
'abcde'

没有参数，sys.getdefaultencoding() 将被使用。如果您的数据不是sys.getdefaultencoding()，那么您必须在decode 调用中明确指定编码：

>>> b'caf\xe9'.decode('cp1250')
'café'

Answer 7

我认为这种方式很简单：

>>> bytes_data = [112, 52, 52]
>>> "".join(map(chr, bytes_data))
'p44'

Answer 8

试试这个

bytes.fromhex('c3a9').decode('utf-8') 

Answer 9

要将字节序列解释为文本，您必须知道 对应的字符编码：

unicode_text = bytestring.decode(character_encoding)

例子：

>>> b'\xc2\xb5'.decode('utf-8')
'µ'

ls 命令可能会产生无法解释为文本的输出。文件名 在 Unix 上可以是除斜线 b'/' 和零之外的任何字节序列 b'\0':

>>> open(bytes(range(0x100)).translate(None, b'\0/'), 'w').close()

尝试使用 utf-8 编码解码此类字节汤会引发 UnicodeDecodeError。

情况可能更糟。解码可能会静默失败并产生mojibake 如果您使用了错误的不兼容编码：

>>> '—'.encode('utf-8').decode('cp1252')
'—'

数据已损坏，但您的程序仍不知道发生了故障 已经发生了。

一般来说，使用什么字符编码并不嵌入字节序列本身。您必须在带外传达此信息。有些结果比其他结果更有可能，因此存在可以猜测字符编码的chardet 模块。一个 Python 脚本可能在不同的地方使用多种字符编码。

---

ls 输出可以使用os.fsdecode() 转换为 Python 字符串 即使对于undecodable filenames 也能成功的函数（它使用 sys.getfilesystemencoding() 和 surrogateescape 错误处理程序开启 Unix）：

import os
import subprocess

output = os.fsdecode(subprocess.check_output('ls'))

要获取原始字节，您可以使用os.fsencode()。

如果您传递 universal_newlines=True 参数，则 subprocess 使用 locale.getpreferredencoding(False) 解码字节，例如，它可以是 cp1252 在 Windows 上。

要即时解码字节流， io.TextIOWrapper() 可以使用：example。

不同的命令可能使用不同的字符编码 输出例如，dir 内部命令 (cmd) 可能使用 cp437。解码它的 输出，您可以显式传递编码（Python 3.6+）：

output = subprocess.check_output('dir', shell=True, encoding='cp437')

文件名可能不同于 os.listdir()（使用 Windows Unicode API），例如，'\xb6' 可以替换为 '\x14'——Python 的 cp437 编解码器将 b'\x14' 映射到控制字符 U+0014 而不是 U+00B6 (¶)。要支持具有任意 Unicode 字符的文件名，请参阅 Decode PowerShell output possibly containing non-ASCII Unicode characters into a Python string

Answer 10

如果你想转换任何字节，而不仅仅是转换为字节的字符串：

with open("bytesfile", "rb") as infile:
    str = base64.b85encode(imageFile.read())

with open("bytesfile", "rb") as infile:
    str2 = json.dumps(list(infile.read()))

但是，这不是很有效。它将把 2 MB 的图片变成 9 MB。

Answer 11

对于 Python 3，这是一种从 byte 转换为 string 的更安全且 Pythonic 的方法：

def byte_to_str(bytes_or_str):
    if isinstance(bytes_or_str, bytes): # Check if it's in bytes
        print(bytes_or_str.decode('utf-8'))
    else:
        print("Object not of byte type")

byte_to_str(b'total 0\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2\n')

输出：

total 0
-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1
-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2

Answer 12

In Python 3，默认编码为"utf-8"，所以可以直接使用：

b'hello'.decode()

相当于

b'hello'.decode(encoding="utf-8")

另一方面，in Python 2，编码默认为默认字符串编码。因此，您应该使用：

b'hello'.decode(encoding)

encoding 是你想要的编码。

Note: 在 Python 2.7 中添加了对关键字参数的支持。

Answer 13

如果你不知道编码，那么以 Python 3 和 Python 2 兼容的方式将二进制输入读入字符串，使用古老的 MS-DOS CP437 编码：

PY3K = sys.version_info >= (3, 0)

lines = []
for line in stream:
    if not PY3K:
        lines.append(line)
    else:
        lines.append(line.decode('cp437'))

因为编码是未知的，所以非英文符号会被翻译成cp437 的字符（英文字符不会被翻译，因为它们在大多数单字节编码和 UTF-8 中都匹配）。

将任意二进制输入解码为 UTF-8 是不安全的，因为您可能会得到：

>>> b'\x00\x01\xffsd'.decode('utf-8')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 2: invalid
start byte

这同样适用于latin-1，它在 Python 2 中很流行（默认设置？）。请参阅 Codepage Layout 中的缺失点 - 这是 Python 与臭名昭著的 ordinal not in range 窒息的地方。

更新 20150604：有传言称 Python 3 有 surrogateescape 错误策略，用于将内容编码为二进制数据而不会丢失数据和崩溃，但它需要转换测试 [binary] -> [str] -> [binary] 来验证性能和可靠性。

更新 20170116：感谢 Nearoo 的评论 - 还有可能使用 backslashreplace 错误处理程序对所有未知字节进行斜线转义。这仅适用于 Python 3，因此即使使用这种解决方法，您仍然会从不同的 Python 版本中获得不一致的输出：

PY3K = sys.version_info >= (3, 0)

lines = []
for line in stream:
    if not PY3K:
        lines.append(line)
    else:
        lines.append(line.decode('utf-8', 'backslashreplace'))

详情请见Python’s Unicode Support。

更新 20170119：我决定实现适用于 Python 2 和 Python 3 的斜线转义解码。它应该比cp437 解决方案慢，但它应该产生相同的结果 在每个 Python 版本上。

# --- preparation

import codecs

def slashescape(err):
    """ codecs error handler. err is UnicodeDecode instance. return
    a tuple with a replacement for the unencodable part of the input
    and a position where encoding should continue"""
    #print err, dir(err), err.start, err.end, err.object[:err.start]
    thebyte = err.object[err.start:err.end]
    repl = u'\\x'+hex(ord(thebyte))[2:]
    return (repl, err.end)

codecs.register_error('slashescape', slashescape)

# --- processing

stream = [b'\x80abc']

lines = []
for line in stream:
    lines.append(line.decode('utf-8', 'slashescape'))

Answer 14

来自sys — System-specific parameters and functions：

要从/向标准流写入或读取二进制数据，请使用底层二进制缓冲区。例如，要将字节写入标准输出，请使用sys.stdout.buffer.write(b'abc')。

Answer 15

我想你真的想要这个：

>>> from subprocess import *
>>> command_stdout = Popen(['ls', '-l'], stdout=PIPE).communicate()[0]
>>> command_text = command_stdout.decode(encoding='windows-1252')

Aaron 的回答是正确的，只是您需要知道使用哪种 编码。而且我相信 Windows 使用“windows-1252”。仅当您的内容中有一些不寻常的（非 ASCII）字符时才有意义，但它会有所作为。

顺便说一句，它确实很重要的事实是 Python 转向对二进制和文本数据使用两种不同类型的原因：它不能在它们之间进行神奇的转换，因为它不除非你告诉它，否则不知道编码！您知道的唯一方法是阅读 Windows 文档（或在此处阅读）。

Answer 16

您需要将字节串解码，然后转成字符（Unicode）字符串。

在 Python 2 上

encoding = 'utf-8'
'hello'.decode(encoding)

或

unicode('hello', encoding)

在 Python 3 上

encoding = 'utf-8'
b'hello'.decode(encoding)

或

str(b'hello', encoding)

Answer 17

对于您的 特定“运行 shell 命令并将其输出作为文本而不是字节”的情况，在 Python 3.7 上，您应该使用 subprocess.run 并传入 text=True（以及作为capture_output=True 捕获输出）

command_result = subprocess.run(["ls", "-l"], capture_output=True, text=True)
command_result.stdout  # is a `str` containing your program's stdout

text 曾经被称为universal_newlines，并在 Python 3.7 中被更改（好吧，别名）。如果要支持 Python 3.7 之前的版本，请传入universal_newlines=True 而不是text=True

Answer 18

虽然@Aaron Maenpaa's answer 正常工作，但用户recently asked：

还有更简单的方法吗？ 'fhand.read().decode("ASCII")' [...] 好长啊！

你可以使用：

command_stdout.decode()

decode() 有一个standard argument：

codecs.decode(obj, encoding='utf-8', errors='strict')

Answer 19

如果您通过尝试decode() 得到以下信息：

AttributeError: 'str' 对象没有属性 'decode'

您也可以直接在强制转换中指定编码类型：

>>> my_byte_str
b'Hello World'

>>> str(my_byte_str, 'utf-8')
'Hello World'

Answer 20

def toString(string):    
    try:
        return v.decode("utf-8")
    except ValueError:
        return string

b = b'97.080.500'
s = '97.080.500'
print(toString(b))
print(toString(s))

Answer 21

当处理来自 Windows 系统的数据时（带有\r\n 行尾），我的答案是

String = Bytes.decode("utf-8").replace("\r\n", "\n")

为什么？用多行 Input.txt 试试这个：

Bytes = open("Input.txt", "rb").read()
String = Bytes.decode("utf-8")
open("Output.txt", "w").write(String)

你所有的行尾都会加倍（到\r\r\n），导致额外的空行。 Python 的文本读取函数通常会规范化行尾，以便字符串仅使用\n。如果您从 Windows 系统接收二进制数据，Python 没有机会这样做。因此，

Bytes = open("Input.txt", "rb").read()
String = Bytes.decode("utf-8").replace("\r\n", "\n")
open("Output.txt", "w").write(String)

将复制您的原始文件。

Answer 22

我做了一个清理列表的函数

def cleanLists(self, lista):
    lista = [x.strip() for x in lista]
    lista = [x.replace('\n', '') for x in lista]
    lista = [x.replace('\b', '') for x in lista]
    lista = [x.encode('utf8') for x in lista]
    lista = [x.decode('utf8') for x in lista]

    return lista

Answer 23

将universal_newlines设置为True，即

command_stdout = Popen(['ls', '-l'], stdout=PIPE, universal_newlines=True).communicate()[0]