pandas astype 无法识别固定长度的字节串格式

Question

考虑以下示例：

df = pd.DataFrame([[1, "a"], [2, "b"]], columns=["int", "str"])
df.astype({"int":np.int8, "str": np.dtype('|S2')})
arr = df.to_records(index=False)
print(arr.dtype.descr)

我希望看到的是：

[(u'int', '<i8'), (u'str', '|S2')]

相反，我得到了：

[(u'int', '<i8'), (u'str', '|O')]

'|O' 的原因和含义是什么？

我也试过df.astype({"int":np.int8, "str": '|S2'})，得到了同样的结果。

Answer 1

表示输入object，from the docs：

'O' (Python) 对象

创建 DataFrame 时，尽管指定了类型，但字符串的类型为 Object：

df.dtypes

int     int64
str    object
dtype: object

astype 不是一个就地操作，所以你的命令目前什么都不做，你需要重新分配：

df = df.astype({"int":np.int8, "str": np.dtype('|S2')})

这仍然不会转换来自object 的字符串：

df.dtypes

int      int8
str    object
dtype: object

所以当你使用to_records 时，object 被使用而不是你指定的类型。

解决方法是单独创建您的字符串系列，并将其分配给您的 DataFrame：

s = pd.Series(['a', 'b'], dtype=np.dtype('|S2'))
df['d'] = s

df.dtypes

int      int8
str    object
d         |S2
dtype: object

并使用to_records：

df.to_records(index=False)

rec.array([(1, b'a', b'a'), (2, b'b', b'b')],
          dtype=[('int', 'i1'), ('str', 'O'), ('d', 'S2')])