Python3，均匀分布的拆分数据集，无需洗牌

Question

我有两个数据集：X 和 y。我想将它们分成训练集和测试集。我想保持他们数据的顺序（没有随机洗牌）。以下面的代码为例。 X 有 10 行（y 相同）。我想要的结果是 X_train 大约占总行数的 2/3，而 x_test 大约占总行数的 1/3。最重要的是，X_train 不应该只是从 0 到 6 行，而应该从 0 到 9 尽可能均匀地选择行。同样适用于 X_test。

import numpy as np
X = np.arange(50).reshape(10,5)
y = np.arange(10)

test_size = 0.33
n_total = X.shape[0]  # total number of rows
n_train = int(test_size*n_total)

# The following is bad example, since X_train picks rows from 0 to 6.
X_train, X_test = X[:n_train], X_test[n_train:]

# Wanted result: X_train and X_test are distributed across the total rows, as evenly as possible.
X_train = X[0], X[2], X[3], X[4], X[6], X[7], X[8]
X_test = X[1], X[5], X[9]

你能帮帮我吗？谢谢

Answer 1

您可以对 10 进行排列并将其用作索引，然后选择第一个 n 进行训练，其余的进行测试。从技术上讲，您没有对数据进行洗牌，但对索引进行了洗牌。希望这能解决您的问题。

np.random.permutation(10)

Answer 2

可以通过使用包含随机采样索引的排序列表来获得所需的训练和测试拆分，其中列表的长度将等于所需的拆分大小。下面的代码为您所需的结果实现了上述解决方案。

import numpy as np
from random import sample

y         = np.arange(10)
len_y     = y.shape[0]

'''Indices of test split
'''
test_size = round(0.33*len_y)                 % as you required 1/3 percent test split
ind_test  = sample(range(len_y), test_size)   % randomly sampled indices
ind_test.sort()                               % sorted list of randomly sampled indices

'''Indices of train split
'''
ind_train = list(set(range(len_y)) - set(ind_test))     % set of all indices - set of test indices

'''Required splits
'''
y_train = y[ind_train]
y_test  = y[ind_test]