导入数据集时如何随机复制一些文档？

Question

我正在做一个项目，我必须检测数据集中存在的重复项。只是为了创建模型，我从 sklearn 获取了数据集 20newsgroup。

from sklearn.datasets import fetch_20newsgroups

categories = [
    'alt.atheism',
    'talk.religion.misc',
    'comp.graphics',
    'sci.space',
]
print("Loading 20 newsgroups dataset for categories:")
data_train = fetch_20newsgroups(subset='train', categories=categories,
                                shuffle=True, random_state=42)

data_test = fetch_20newsgroups(subset='test', categories=categories,
                               shuffle=True, random_state=42)
print('data loaded')

但是这个数据集有唯一的条目，所以我必须自己创建副本。这里的 data_train 是随机选择的用于训练模型的文档数组。

有谁知道随机复制这些文档需要做哪些更改，所以最后我会得到一个包含重复条目的数据集？

Answer 1

fetch_20newsgroups 的返回类型是 Bunch 对象。它在其data 变量中包含文档，在target 变量中包含相应的标签。所以，data_train.data 是一个列表，data_train.target 是一个 numpy 数组。您可能在导入数据集后使用data_train.data 和data_train.target。下面的代码是从这些容器中复制一行。

import random
def duplicate(X, y):
    index = random.randint(0, len(X) - 1)
    X.append(X[index])
    y = np.append(y, y[index])
    return X, y

X = data_train.data
y = data_train.target

print(len(X))
print(len(y))

X, y = duplicate(X, y)

print(len(X))
print(len(y))

---

>>> 2034
>>> 2034
>>> 2035
>>> 2035

你也可以对data_test 做同样的事情。 duplicate 函数复制单行并返回文档、标签。您可能希望扩展该函数以通过一次调用复制多行。

注意：如果您希望您的 Bunch 对象具有重复的行。在复制 X 的行之后，您可能可以执行类似 data_train.data = X 的操作，但我不熟悉此对象类型，因此我不确定此对象的行为方式。

编辑

对于多个重复的行，上面的函数可以被多次调用。多个重复的更有效的实现如下：

import random
def duplicate(X, y, no_of_duplicate):
    index_lst = random.sample(range(len(X)), no_of_duplicate)
    y_duplicate = np.empty(no_of_duplicate)
    for i, duplicate_index in enumerate(index_lst):
      X.append(X[duplicate_index])
      y_duplicate[i] = y[duplicate_index]
    y = np.append(y, y_duplicate)
    return X, y

print(len(X))
print(len(y))

X, y = duplicate(X, y, 500)

print(len(X))
print(len(y))