文档集群：DBSCAN 和光学集群没有给我任何集群

Question

我尝试使用 word2vec 加权 tfidf 向量进行 DBSCAN 聚类，并为 DBSCAN 使用不同的 epsilon 和 minpts 阈值。我还尝试了具有不同 minpts 的光学聚类方法，但它根本没有产生任何输出。

#Import libraries
from sklearn.feature_extraction.text import TfidfVectorizer
from nltk.stem import WordNetLemmatizer
from unidecode import unidecode # $ pip install unidecode
import gensim
import csv
import nltk
from sklearn.feature_extraction import text
import pandas as pd
import numpy as np
from collections import defaultdict
from string import lower

#read data
dat = pd.read_csv('D:\\data_800k.csv',encoding='latin',nrows=500000).Certi.tolist()

wnl = WordNetLemmatizer()
#nltk.download('punkt')
my_stop_words = text.ENGLISH_STOP_WORDSunion(['education','certification','certificate','certified'])


def tokenize_stop(row):
    az = []
    for j in nltk.word_tokenize(lower(unidecode(row))):
        if j not in my_stop_words:
            az.extend([j])
    return az

def preprocess(dat):
    return [tokenize_stop(row) for row in dat]


X = preprocess(dat)

#word2vec
model = gensim.models.Word2Vec(X, size=100)
w2v = dict(zip(model.wv.index2word, model.wv.syn0))


#
tfidf = TfidfVectorizer(analyzer=lambda x: x)
tfidf.fit(X)
max_idf = max(tfidf.idf_)

#train model
def fit(X):
    tfidf = TfidfVectorizer(analyzer=lambda x: x)
    tfidf.fit(X)
    # if a word was never seen - it must be at least as infrequent
    # as any of the known words - so the default idf is the max of 
    # known idf's
    max_idf = max(tfidf.idf_)
    return defaultdict(
        lambda: max_idf,
        [(w, tfidf.idf_[i]) for w, i in tfidf.vocabulary_.items()])

#actual training//
word2weight = fit(X)

#multiply word2vec with tfidf
def transform_word2vec_tfidf(X,word2vec,word2weight):
    return np.array([
            np.mean([word2vec[w] * word2weight[w]
                     for w in words if w in word2vec] or
                    [np.zeros(dim)], axis=0)
            for words in X
        ])


export_data_w2v_Tfidf = transform_word2vec_tfidf(X,w2v,word2weight)
np.savetxt('D:\Azim\data_500k_w2v_tfidf.csv',export_data_w2v_Tfidf,delimiter=',',fmt=('%1.15e'))

以下是 ELKI 截图。如果他们能够使用 DBSCAN 或任何其他算法对文本数据进行有意义的聚类，任何人都可以分享见解吗？谢谢

Answer 1

我不认为 DBSCAN 是一种有前途的文本数据方法。选择参数会很困难（但正如 cmets 中所述，您的 minpts 可能太多太大了），而且显然您也遇到了可伸缩性问题。我也不确定你的“word2vec”有什么影响。 word2vec 在这里可能会使事情变得更加困难。

我宁愿选择 LDA。这通常是文本的最佳方法。

当您使用 OPTICS 时，请注意 OPTICS 不会产生分区。它产生光学绘图。你需要例如Xi 方法来提取分区，并且增加了另一个在高维数据中可能难以选择的参数。