【发布时间】:2021-07-24 04:57:00
【问题描述】:
我遇到了一个使用 DNA 条形码的开放集昆虫分类问题。目标是为训练集中表示的测试样本预测 species 标签,并为训练集中未表示的测试样本预测 genus 标签。给定的数据变量是这样的:
gtrain: 这是一个大小为 16128 的列向量。这个变量包含每个昆虫实例的属级标签训练集。您可以将这些视为树中叶节点的父节点,其中叶节点是物种,父节点是属。具有相同 gtrain 值的所有实例共享相同的属。
ytrain:这是一个大小为 16128 的列向量。此变量包含训练集中每个昆虫实例的物种级别标签。具有相同 ytrain 值的所有昆虫实例都属于同一物种。
emb_train:这是一个 16128x1000 大小的二维矩阵。该矩阵中的每一行都是训练集中相应核苷酸序列的高维编码(或嵌入)。
emb_test:这是一个大小为 5989x1000 的 2D 矩阵。该矩阵中的每一行都是测试集中相应核苷酸序列的高维编码(或嵌入)。
我可以使用以下代码预测 genus 或 species 标签,将其替换为 gtrain 或 ytrain变量:
xtrain, xtest, ytrain, ytest = train_test_split(emb_train, gtrain *or* ytrain, test_size=0.3)
classifier=RandomForestClassifier(n_estimators=5)
classifier.fit(xtrain, ytrain.ravel())
ypred=classifier.predict(emb_test)
但我认为这些预测是不准确的,因为如上所述,我需要能够同时使用 gtrain 和 ytrain 以某种方式训练我的模型并使最终准确emb_test 上的预测。我不能这样做。
有人可以就如何解决此类问题提供一些指导/资源/想法吗?如果问题不清楚,我可以提供更多信息。
【问题讨论】:
-
您的训练数据集是否包含任何没有物种标签但只有属标签的示例?否则,您的模型将如何学习预测 genus 标签?
-
@greeness 是的,emb_train 由物种和属标签组成。 ytrain 标签是 gtrain 的子类。对于 emb_test 我必须确定一个序列是否来自 ytrain 并确定其标签,否则如果不是,则确定其 gtrain 标签。这有意义吗?
标签: python classification data-mining