实施 SVM 时出错

Question

这是我的猫狗图像识别代码：

import numpy as np
from sklearn.svm import SVC
from sklearn.model_selection import train_test_split


filename= 'catdog_datasets.txt'
filename1= 'catdog_datasets.txt'
raw_data = open(filename, 'rt')
raw_data1 = open(filename1, 'rt')
#data = numpy.loadtxt(raw_data,dtype='object',delimiter=":")
features_data = np.loadtxt(raw_data,dtype='object',delimiter=":",usecols=(0))
labels_data = np.loadtxt(raw_data1,dtype='object',delimiter=":",usecols=(1))
print(features_data.shape)
print(labels_data.shape)

#print(labels_data)
#print(features_data)

X_train, X_test, y_train, y_test = train_test_split(features_data,labels_data,test_size=0.2)
print (y_train.shape)
print (y_test.shape)
print (X_train.shape)
print (X_test.shape)


clf = SVC(kernel='linear',C=1.0)
clf.fit(X_train,y_train)
predictions = clf.predict(X_test)

catdog_datsets.txt 包含猫和狗各 500 张图像的 HOG 特征向量，标签指定为 0 表示猫，1 表示狗。文件格式为： 0.270150 0.070257 0.040265 0.037243 0.013678 :0

注意：特征向量的大小约为 1765*1，只是为了问我给大小为 5*1 的问题。问题是特征向量是一个字符串，我想将其转换为数组提供给 SVM 的浮点数。这是我得到的错误：

clf.fit(X_train,y_train)
  File "C:\Users\TIKA-OPT790-04\AppData\Local\Programs\Python\Python36-32\lib\site-packages\sklearn\svm\base.py", line 149, in fit
    X, y = check_X_y(X, y, dtype=np.float64, order='C', accept_sparse='csr')
  File "C:\Users\TIKA-OPT790-04\AppData\Local\Programs\Python\Python36-32\lib\site-packages\sklearn\utils\validation.py", line 573, in check_X_y
    ensure_min_features, warn_on_dtype, estimator)
  File "C:\Users\TIKA-OPT790-04\AppData\Local\Programs\Python\Python36-32\lib\site-packages\sklearn\utils\validation.py", line 433, in check_array
    array = np.array(array, dtype=dtype, order=order, copy=copy)
ValueError: could not convert string to float:0.270150 0.070257 0.040265 0.037243 0.013678

Answer 1

错误是因为你的文件有这样的行：

f1 f2 f3 f4 ............................................f1565 :0

如您所见，特征由空格分隔，整个特征向量与标签由冒号 (:) 分隔。

现在在您的代码中，您使用的是delimiter=":"，因此您的features_data 将只包含每一行的单个值，如下所示：

f1 f2 f3 f4 ............................................f1565

您也需要将其拆分为多个功能才能正确使用它。

现在numpy.loadtxt 本身不支持多个分隔符，因此您必须使用其他选项或解决方法。

1. 在当前程序中完成后拆分features_data：

   features_data = np.array([l.strip().split(' ') for l in features_data])
   

2. 推荐：使用pandas.read_csv()：

   all_data = pd.read_csv(raw_data, sep=':|\s+', engine='python', header=None)
   
   # All but last column
   features_data = all_data.iloc[:,0:-1]
   
   #last column
   labels_data = all_data.iloc[:,-1]