NLTK 分类器对象

Question

在为整个数据集训练分类器时出现内存错误，因此我将数据集分成小部分并为每个部分训练一个单独的分类器对象。

为了测试，我需要这些单独的分类器对象的组合。那我该怎么做。我可以将对象存储在 pickle 文件中，但它们也只是单独的对象。

我正在使用 NLTK。

代码：

documents = [(list(movie_reviews.words(fileid)), category)
         for category in movie_reviews.categories()
         for fileid in movie_reviews.fileids(category)]

all_words = []
for w in movie_reviews.words():
    all_words.append(w.lower())
all_words = nltk.FreqDist(all_words)
word_features = list(all_words.keys())[:3000]

def find_features(document):
    words = set(document)
    features = {}
    for w in word_features:
        features[w] = (w in words)
    return features



#print((find_features(movie_reviews.words('neg/cv000_29416.txt'))))
featuresets = [(find_features(rev), category) for (rev, category) in documents]
numtrain = int(len(documents) * 90 / 100)
training_set = featuresets[:numtrain]
testing_set = featuresets[numtrain:]

classifier = nltk.NaiveBayesClassifier.train(training_set)

Answer 1

分类器需要在整个数据集（代码中的 training_set）上进行训练，以便您能够做出正确的预测和测试（在 testing_set 上），因为使用部分数据集训练多个分类器会不起作用 - 或者至少它不是最佳解决方案。我建议以下几点：

1. 尝试解决内存错误（如果您在 windows 和 python 32 位上运行，请查看：http://gisgeek.blogspot.gr/2012/01/set-32bit-executable-largeaddressaware.html）
2. 尝试优化您的代码/数据，并可能使用更少的功能，或者以更节省空间/内存的方式表示它们。

3. 如果 1 和 2 不起作用并且想要将许多分类器对象组合为一个（但仅在涉及到它们的预测时），您可以尝试集成方法但我真的相信这不是您的重点尝试做并且不会解决您面临的问题。无论如何，这是 MaxVote 分类器的示例： https://bitbucket.org/roadrunner_team/large-scale-sentiment-analysis/src/a06d51ef42325293f0296270ca975341c847ab9f/SentimentAnalysis/FigurativeTextAnalysis/models/Classifier_.py?at=master&fileviewer=file-view-default

   class MaxVoteClassifier(object):
       """
           Takes as input a list of pre-trained classifiers and calculates the Frequency Distribution of their predictions
       """
       def __init__(self, classifiers):
           self._classifiers = classifiers
           self.predictions = None
   
       def classify(self, tweet_fea):
           counts = FreqDist()
           for classifier in self._classifiers:
               classifier.set_x_trial([tweet_fea])
               counts[classifier.predict()[0]] += 1
   
           return counts.max()