Numpy.genfromtxt 删除 dtype.names 中的方括号

Question

我正在尝试使用 numpy.genfromtxt 从文件中读取数据。我将 names 参数设置为以逗号分隔的字符串列表，例如

names = ['a', '[b]', 'c']

但是，当返回数组时，dtype.names 值返回('a', 'b', 'c')

deletechars 参数未设置或强制为None。我已经检查过使用具有方括号的命名列的 dtype 创建一个 numpy.ndarray 会保留方括号，因此必须是 genfromtxt 正在删除方括号。有没有办法关闭这个意想不到的功能？

注意，如果names 参数设置为True，也会出现这种情况。我已经在 numpy 版本 1.6.1 和 1.9.9 中对此进行了测试

Answer 1

我之前曾在 numpy issue tracker 和邮件列表中抱怨过此字段名称修改行为。它也在 SO 上的several previous questions 中出现。

事实上，默认情况下np.genfromtxt 会破坏字段名称，即使您通过将字符串列表作为names= 参数传递直接指定它们：

import numpy as np
from io import BytesIO

s = '[5],name with spaces,(x-1)!\n1,2,3\n4,5,6'

x = np.genfromtxt(BytesIO(s), delimiter=',', names=True)
print(repr(x))
# array([(1.0, 2.0, 3.0), (4.0, 5.0, 6.0)], 
#       dtype=[('5', '<f4'), ('name_with_spaces', '<f4'), ('x1\n1', '<f4')])

names = s.split(',')[:3]
x = np.genfromtxt(BytesIO(s), delimiter=',', skip_header=1, names=names)
print(repr(x))
# array([(1.0, 2.0, 3.0), (4.0, 5.0, 6.0)], 
#       dtype=[('5', '<f4'), ('name_with_spaces', '<f4'), ('x1\n1', '<f4')])

尽管包含非字母数字字符的字段名称完全合法，但仍会发生这种情况：

x2 = np.empty(2, dtype=dtype)
x2[:] = [(1.0, 2.0, 3.0), (4.0, 5.0, 6.0)]
print(repr(x2))
# array([(1.0, 2.0, 3.0), (4.0, 5.0, 6.0)], 
#       dtype=[('[5]', '<f4'), ('name with spaces', '<f4'), ('(x-1)!\n1', '<f4')])

这种行为的逻辑让我无法理解。

---

如您所见，将None 作为deletechars= 参数传递并不足以防止这种情况发生，因为该参数在内部被初始化为numpy._iotools.NameValidator 中的一组默认字符。

但是，您可以传递一个空序列：

x = np.genfromtxt(BytesIO(s), delimiter=',', names=True, deletechars='')
print(repr(x))
# array([(1.0, 2.0, 3.0), (4.0, 5.0, 6.0)], 
#       dtype=[('[5]', '<f8'), ('name_with_spaces', '<f8'), ('(x-1)!', '<f8')])

这可能是一个空字符串、列表、元组等。只要它的长度为零就没有关系。

Answer 2

在String formatting issue (parantheses vs underline) 我发现除了deletechars参数之外，dtype=None也是必需的：

https://stackoverflow.com/a/32540939/901925

In [168]: np.genfromtxt([b'1,2,3'],names=['a','[b]','xcx'],delimiter=',',deletechars='',dtype=None)
Out[168]: 
array((1, 2, 3), 
      dtype=[('a', '<i4'), ('[b]', '<i4'), ('xcx', '<i4')])

默认dtype (float) 使用deletechars，但名称会通过第二个验证器easy_dtype，它不会获取此参数。

In [170]: np.genfromtxt([b'1,2,3'],names=['a','[b]','xcx'],delimiter=',',deletechars='x')
Out[170]: 
array((1.0, 2.0, 3.0), 
      dtype=[('a', '<f8'), ('b', '<f8'), ('c', '<f8')])

https://github.com/numpy/numpy/pull/4649

---

加载后可以更改字段名称：

In [205]: data=np.genfromtxt([b'1 2 3 txt'],names=['a','b','c','d'],dtype=[int,float,int,'S4'])

In [206]: data.dtype.names
Out[206]: ('a', 'b', 'c', 'd')

In [207]: data.dtype.names=['a','[b]','*c*','d']

In [208]: data
Out[208]: 
array((1, 2.0, 3, 'txt'), 
      dtype=[('a', '<i4'), ('[b]', '<f8'), ('*c*', '<i4'), ('d', 'S4')])

这适用于取自文件本身的名称：

In [212]: data=np.genfromtxt([b'a [b] *c* d','1 2 3 txt'],dtype=[int,float,int,'S4'],names=True)