【发布时间】：2021-10-17 16:51:00
【问题描述】：
简短版：我在使用 PCA 减少训练数据的维数时遇到了困难。训练数据是为 2D CNN 构建的，该 CNN 将图形图像分为三类。
模型目的
我是主成分分析的新手。我有一个 2D 卷积神经网络，它将图形图像（36 x 36 像素）分类为三个类别之一，例如：
改进模型
我意识到大部分像素都是白色的，所以 CNN 效率非常低，需要很长时间来训练。我开始了解降维技术并尝试使用 PCA。我将我的一张训练图像转换为灰度图像并可视化“特征图”（如左图所示）。然后我根据特征图重建了原件（如右图所示）。
X=grayscale
pca_oliv = PCA(n_components = 36)
X_proj = pca_oliv.fit_transform(X)
print(np.cumsum(pca_oliv.explained_variance_ratio_))
plt.imshow(np.reshape(pca_oliv.components_, (36,36)), cmap=plt.cm.bone, interpolation='nearest')
问题
但我知道它可以做得更好。这是 n=36 尺寸。通过绘制解释方差，我找到了 3 个维度的肘部。这意味着只需要 36 个维度中的 3 个维度，我就可以保留 91.7% 的方差。
但如果我将 pca_oliv = PCA(n_components = 36) 更改为 pca_oliv = PCA(n_components = 3)，一切都会变得混乱：ValueError: cannot reshape array of size 108 into shape (36,36)。为什么？我做错了什么？
MWE
pip install tensorflow
pip install numpy
pip install matplotlib
"""# Import Libraries"""
# Import Libraries
import tensorflow as tf
from tensorflow import keras
from keras.models import Sequential
from keras.layers import Dense, Flatten, Conv2D, MaxPooling2D, Dropout
from tensorflow.keras import layers
from tensorflow.keras.utils import to_categorical
import numpy as np
import matplotlib.pyplot as plt
plt.style.use('fivethirtyeight')
"""# Load Dataset"""
import pathlib
dataset_url = "*/TrainingSet.tar.gz"
data_dir = tf.keras.utils.get_file(origin = dataset_url,
fname = "TrainingSet",
untar = True)
data_dir = pathlib.Path(data_dir)
"""# Display # Images to check"""
print(list(data_dir.glob('*/*.png')))
image_count = len(list(data_dir.glob('*/*.png')))
print(image_count)
"""# Display sample image"""
pip install sklearn
import numpy as np
import os
import PIL
import PIL.Image
import tensorflow as tf
import tensorflow_datasets as tfds
from sklearn.decomposition import PCA
graphs = list(data_dir.glob('*/*.png'))
PIL.Image.open(str(graphs[6]))
"""# Define Image Dimensions & Batch Size"""
batch_size = 32
img_height = 36
img_width = 36
"""# Create Training & Validation Sets (80%, 20%)"""
train_ds = tf.keras.preprocessing.image_dataset_from_directory(
data_dir,
validation_split=0.2,
subset="training",
seed=123,
image_size=(img_height, img_width),
batch_size=batch_size)
val_ds = tf.keras.preprocessing.image_dataset_from_directory(
data_dir,
validation_split=0.2,
subset="validation",
seed=123,
image_size=(img_height, img_width),
batch_size=batch_size)
"""# Define 3 Classes"""
class_names = ['Cubic Sinusoidal', 'Linear Sinusoidal', 'Quadratic Sinusoidal']
print(class_names)
"""# Supervised Learning (9 Samples from the Training Set)"""
!pip install skimage
from skimage import data
from skimage.color import rgb2gray
import matplotlib.pyplot as plt
subGraphs = []
plt.figure(figsize=(10, 10))
for images, labels in train_ds.take(1):
for i in range(9):
ax = plt.subplot(3, 3, i + 1)
plt.imshow(images[i].numpy().astype("uint8"))
subGraphs.append(images[i].numpy().astype("uint8"))
plt.title(class_names[labels[i]])
plt.axis("off")
subGraphs = np.array(subGraphs)
print(subGraphs.shape)
grayscale = rgb2gray(subGraphs[1])
print(grayscale.shape)
X=grayscale
pca_oliv = PCA(n_components = 36)
X_proj = pca_oliv.fit_transform(X)
print(np.cumsum(pca_oliv.explained_variance_ratio_))
plt.plot(np.cumsum(pca_oliv.explained_variance_ratio_))
plt.imshow(np.reshape(pca_oliv.components_, (36,36)), cmap=plt.cm.bone, interpolation='nearest')
X_inv_proj = pca_oliv.inverse_transform(X_proj)
X_proj_img = np.reshape(X_inv_proj,(1,36,36))
plt.imshow(X_proj_img[0], cmap=plt.cm.bone, interpolation='nearest')
作为参考，这是我的 Jupyter Notebook：PCA+CNN。如果有人可以提供帮助，那就太好了。
【问题讨论】：
-
分享整个回溯。此外，在出错时使用
.fit_transform时，input的形状是什么。 -
请 1) 发布产生错误的代码的完整错误跟踪（不是
PCA(n_components = 36)2）删除之后出现的任何代码i> 错误，因为它与问题无关。另外，“MWE”不是您代码的准确术语，因为使用的数据不公开。
标签： python tensorflow machine-learning conv-neural-network pca