可视化失败时检测隐藏的未知模式

Question

我有一组快速的多维时间数据，我怀疑其中包含模式。我简化了数据集以创建自定义可视化。

人类在可视化中看到模式，但模式的结果无法通过可视化来解释。这是因为简化步骤，它隐藏了重要的数据。

我无法将所有数据都放在可视化中，因为太多的数据和维度被可视化，人类无法再看到可能的模式。

是否有一种技术可以检测数据集中隐藏的未知模式？ （没有使用可视化，也没有我学习技术模式）。

一个可选的额外内容是该技术应该能够以某种方式向我“解释模式”，以便我可以检查它们是否有意义。

[edit] 我可以为该技术提供一组我知道包含模式的小型数据集（从大数据集中提取；仍然非常多维）（通过使用我的可视化）。然后，该技术需要分析模式在什么条件下产生结果 a 或结果 b。

Answer 1

首先，您是如何“简化”数据的？如果您在没有任何启发式的情况下执行此操作，您可能会继续执行PCA。 PCA 的想法是解决您的问题：在降维的同时不丢失“重要”数据。您可以可视化您的主要组件，以便人眼和算法可以检测到模式。

对于您的第二个问题：是的，有一些技术可以检测数据中隐藏的未知模式。但是，这是一个巨大的领域（机器学习），您将使用什么算法，取决于您的问题结构，因此此时无法给出具体的模型名称。从您指定的内容来看，神经网络通常似乎适合完成这项工作。训练网络后，您可以可视化激活或权重（Hinton 图），以执行对输入数据“类似”处理的分析。