异端使用深度学习来寻找隐藏模式

Question

对于我在一项分析中应用的策略，我非常感谢您的 cmets/帮助。简而言之，我的情况是：

1) My data have biological origin, collected in a period of 120s, from a
 subject receiving, each time, one of possible three stimuli (response label 1
 to 3), in a random manner, one stimulus per second (trial). Sampling 
 frequency is 256 Hz and 61 different sensors (input variables). So, my 
 dataset has 120x256 rows and 62 columns (1 response label + 61 input 
 variables);
2) My goal is to identify if there is an underlying pattern for each stimulus.
 For that, I would like to use deep learning neural networks to test my
 hypothesis, but not in a conventional way (to predict the stimulus from a
 single observation/row).
3) My approach is to divide the whole dataset, after shuffling per row
 (avoiding any time bias), in training and validation sets (50/50) and then to
 run the deep learning algorithm. The division does not segregate trial events
 (120), so each training/validation sets should contain data (rows) from the
 same trial (but never the same row). If there is a dominant pattern per
 stimulus, the validation confusion matrix error should be low. If there is a
 dominant pattern per trial, the validation confusion matrix error should be
 high. So, the validation confusion matrix error is my indicator of the
 presence of a hidden pattern per stimulus;

如果您能就我的逻辑的有效性提供任何意见，我将不胜感激。我想强调一下，我并不是要根据行输入来预测刺激。

谢谢。

Answer 1

是的，您可以使用交叉验证集中的分类性能，超过证明每个类的示例中存在模式或关系的机会。如果在一个单独的、前所未见的测试集中找到类似的性能，这个论点就会更有说服力。

如果深度神经网络、SVM 或任何其他分类器的分类效果优于偶然性，则意味着：

1. 关于每个预测类的训练集示例之间存在信息（一种模式）
2. 并且该模式可被分类器学习
3. 并且该信息并非特定于训练集（没有过度学习）

因此，如果分类性能超过机会，则上述 3 个条件为真。如果不是，那么一个或多个条件可能是错误的。训练变量可能不包含任何有助于预测类别的信息。或者选择了预测变量，但是它们与类之间的关系太复杂，分类器无法学习。或者分类器过度学习，并且 CV 集的性能处于机会级别或更差。

这是一篇论文（开放获取），它使用类似的逻辑来论证 fMRI 活动包含有关人们正在查看的图像的信息：

Natural Scene Categories Revealed in Distributed Patterns of Activity in the Human Brain

注意：根据使用的分类器（尤其是 DNN，但决策树较少），这只会告诉您是否存在模式，它不会告诉您该模式是什么。