熊猫相当于Stata的编码

Question

我正在寻找一种在 Stata 中复制 encode 行为的方法，它将分类字符串列转换为数字列。

x = pd.DataFrame({'cat':['A','A','B'], 'val':[10,20,30]})
x = x.set_index('cat')

结果：

     val
cat     
A     10
A     20
B     30

我想将 cat 列从字符串转换为整数，将每个唯一字符串以 1 对 1 的方式映射到（任意）整数。这将导致：

     val
cat     
1     10
1     20
2     30

或者，同样好：

  cat  val
0   1   10
1   1   20
2   2   30

有什么建议吗？

非常感谢一如既往， 抢

Answer 1

你可以使用pd.factorize:

import pandas as pd

x = pd.DataFrame({'cat':('A','A','B'), 'val':(10,20,30)})
labels, levels = pd.factorize(x['cat'])
x['cat'] = labels
x = x.set_index('cat')
print(x)

产量

     val
cat     
0     10
0     20
1     30

如果您希望复制 Stata 的行为，可以将 1 添加到 labels：

x['cat'] = labels+1

Answer 2

Stata 的encode 命令以字符串变量开头，并创建一个新的整数变量，其标签映射到原始字符串变量。 pandas 中的直接模拟现在是分类变量类型，它从 0.15 开始成为 pandas 的成熟部分（在最初询问和回答这个问题后发布）。

请参阅文档here。

为了演示这个例子，Stata 命令应该是这样的：

encode cat, generate(cat2)

而 pandas 命令是：

x['cat2'] = x['cat'].astype('category')

  cat  val cat2
0   A   10    A
1   A   20    A
2   B   30    B

就像 Stata 对 encode 所做的那样，数据以整数形式存储，但在默认输出中显示为字符串。

您可以通过使用分类访问器cat 查看底层整数来验证这一点。 （出于这个原因，您可能不想使用 'cat' 作为列名。）

x['cat2'].cat.codes

0    0
1    0
2    1

Answer 3

假设您有一组固定的单个大写英文字母作为分类变量，您也可以这样做：

x['cat'] = x.cat.map(lambda x: ord(x) - 64)

我认为这有点像 hack。但话又说回来，在 Python 中，最好的办法是定义 您 想要的从字符到整数的映射，例如

my_map = {"A":1, ...} 
# e.g.: {x:ord(x)-64  for x in string.ascii_uppercase}
# if that's the convention you happen to desire.

然后做

x['cat'] = x.cat.map(lambda x: my_map[x])

或类似的东西。

这优于依赖内置函数的约定来进行整数映射，原因有很多，而且（IMO）这样的事情对程序员-分析师来说“感觉像是”令人讨厌的转换，但实际上表示有关您正在编写的软件的重要元数据，这暴露了高级语言（如 MATLAB、STATA 等）中全局便利函数的真正弱点。即使有一个内置函数碰巧随机遵守您想要的特定约定使用（“A”映射到 1，“B”映射到 2 等任意约定）使用它并不是一个好主意。