随机播放 DataFrame 行

Question

我有以下数据框：

    Col1  Col2  Col3  Type
0      1     2     3     1
1      4     5     6     1
...
20     7     8     9     2
21    10    11    12     2
...
45    13    14    15     3
46    16    17    18     3
...

DataFrame 是从 csv 文件中读取的。所有Type 1 的行都在最上面，然后是Type 2 的行，然后是Type 3 的行，等等。

我想打乱 DataFrame 行的顺序，以便混合所有 Type。可能的结果是：

    Col1  Col2  Col3  Type
0      7     8     9     2
1     13    14    15     3
...
20     1     2     3     1
21    10    11    12     2
...
45     4     5     6     1
46    16    17    18     3
...

我怎样才能做到这一点？

Answer 1

以下可能是其中一种方式：

dataframe = dataframe.sample(frac=1, random_state=42).reset_index(drop=True)

在哪里

frac=1 表示数据帧的所有行

random_state=42 表示在每次执行中保持相同的顺序

reset_index(drop=True) 表示为随机数据帧重新初始化索引

Answer 2

使用 Pandas 执行此操作的惯用方法是使用数据框的 .sample 方法对所有行进行采样而不进行替换：

df.sample(frac=1)

frac 关键字参数指定要在随机样本中返回的行的分数，因此frac=1 表示返回所有行（以随机顺序）。

---

注意： 如果您希望就地改组您的数据框并重置索引，您可以这样做，例如

df = df.sample(frac=1).reset_index(drop=True)

在这里，指定drop=True 可防止.reset_index 创建包含旧索引条目的列。

后续说明：虽然上面的操作可能看起来不像是就地，但python/pandas 足够聪明，不会再为shuffled 做一次malloc目的。也就是说，即使 reference 对象已更改（我的意思是 id(df_old) 与 id(df_new) 不同），底层 C 对象仍然是相同的。为了证明确实如此，您可以运行一个简单的内存分析器：

$ python3 -m memory_profiler .\test.py
Filename: .\test.py

Line #    Mem usage    Increment   Line Contents
================================================
     5     68.5 MiB     68.5 MiB   @profile
     6                             def shuffle():
     7    847.8 MiB    779.3 MiB       df = pd.DataFrame(np.random.randn(100, 1000000))
     8    847.9 MiB      0.1 MiB       df = df.sample(frac=1).reset_index(drop=True)

Answer 3

还有什么有用的，如果您将它用于 Machine_learning 并希望始终分离相同的数据，您可以使用：

df.sample(n=len(df), random_state=42)

这可确保您始终保持随机选择的可复制性

Answer 4

TL;DR：np.random.shuffle(ndarray) 可以胜任。
所以，在你的情况下

np.random.shuffle(DataFrame.values)

---

DataFrame 在底层使用 NumPy ndarray 作为数据持有者。 （您可以从DataFrame source code查看）

因此，如果您使用np.random.shuffle()，它将沿多维数组的第一个轴对数组进行洗牌。但DataFrame 的索引保持不变。

不过，有几点需要考虑。

• 函数没有返回值。如果您想保留原始对象的副本，则必须在传递给函数之前这样做。
• sklearn.utils.shuffle()，正如用户 tj89 建议的那样，可以指定 random_state 以及另一个控制输出的选项。您可能希望将其用于开发目的。
• sklearn.utils.shuffle() 更快。但将随机播放 DataFrame 的轴信息（索引、列）以及它包含的 ndarray。

基准测试结果

在sklearn.utils.shuffle() 和np.random.shuffle() 之间。

nd​​array

nd = sklearn.utils.shuffle(nd)

0.10793248389381915 秒。 快 8 倍

np.random.shuffle(nd)

0.8897626010002568 秒

数据帧

df = sklearn.utils.shuffle(df)

0.3183923360193148 秒。 快 3 倍

np.random.shuffle(df.values)

0.9357550159329548 秒

结论：如果可以将轴信息（索引，列）与ndarray一起洗牌，请使用sklearn.utils.shuffle()。否则，使用np.random.shuffle()

使用的代码

import timeit
setup = '''
import numpy as np
import pandas as pd
import sklearn
nd = np.random.random((1000, 100))
df = pd.DataFrame(nd)
'''

timeit.timeit('nd = sklearn.utils.shuffle(nd)', setup=setup, number=1000)
timeit.timeit('np.random.shuffle(nd)', setup=setup, number=1000)
timeit.timeit('df = sklearn.utils.shuffle(df)', setup=setup, number=1000)
timeit.timeit('np.random.shuffle(df.values)', setup=setup, number=1000)

pythonbenchmarking

Answer 5

这是另一种方式：

df['rnd'] = np.random.rand(len(df)) df = df.sort_values(by='rnd', inplace=True).drop('rnd', axis=1)

Answer 6

（我没有足够的声誉在顶帖发表评论，所以我希望其他人可以为我这样做。）有人担心第一种方法： p>

df.sample(frac=1)

制作了深拷贝或只是更改了数据框。我运行了以下代码：

print(hex(id(df)))
print(hex(id(df.sample(frac=1))))
print(hex(id(df.sample(frac=1).reset_index(drop=True))))

我的结果是：

0x1f8a784d400
0x1f8b9d65e10
0x1f8b9d65b70

这意味着该方法不返回相同的对象，如上一条评论中所建议的那样。所以这个方法确实做了一个打乱的copy。

Answer 7

AFAIK 最简单的解决方案是：

df_shuffled = df.reindex(np.random.permutation(df.index))

Answer 8

通过在这种情况下获取样本数组 index 并随机化其顺序，然后将数组设置为数据帧的索引来打乱 pandas 数据帧。现在根据索引对数据框进行排序。这是你的洗牌数据框

import random
df = pd.DataFrame({"a":[1,2,3,4],"b":[5,6,7,8]})
index = [i for i in range(df.shape[0])]
random.shuffle(index)
df.set_index([index]).sort_index()

输出

    a   b
0   2   6
1   1   5
2   3   7
3   4   8

在上面的代码中将你的数据框插入到我的位置。

Answer 9

你可以简单地使用 sklearn 来做这个

from sklearn.utils import shuffle
df = shuffle(df)

Answer 10

您可以通过使用打乱索引进行索引来打乱数据帧的行。为此，您可以例如使用np.random.permutation（但np.random.choice 也是一种可能）：

In [12]: df = pd.read_csv(StringIO(s), sep="\s+")

In [13]: df
Out[13]: 
    Col1  Col2  Col3  Type
0      1     2     3     1
1      4     5     6     1
20     7     8     9     2
21    10    11    12     2
45    13    14    15     3
46    16    17    18     3

In [14]: df.iloc[np.random.permutation(len(df))]
Out[14]: 
    Col1  Col2  Col3  Type
46    16    17    18     3
45    13    14    15     3
20     7     8     9     2
0      1     2     3     1
1      4     5     6     1
21    10    11    12     2

如果您想保持索引编号为 1、2、..、n，如您的示例所示，您可以简单地重置索引：df_shuffled.reset_index(drop=True)