Lecture3: Kernel Support Vector Machine
kernel function: transform + inner product是一种偷吃步
kernel trick: plug in efficient kernel function to avoid dependence on d(tilde)
different inner product=>different geometry=>different margin
不同的內积=>不同的几何=>不同的margin
change of kernel <=> change of margin definition
改变kernel就是改变margin的定义
以前我们对转换（transform）做选择，現在我们对kernel做选择
时刻牢记线性模型优先原则。
Gaussian Kernel/ Radial Basis Function(RBF)Kernel
Radial的意思是从中心向外面延伸，Basis Function是用来做线性组合的基本量。
kernel代表相似性(kernel represents special similarity)，內积就是一种相似性。
一个kernel有效的充分必要条件（Mercer’s condition）：
i)对称性
ii)K(xi,xj)半正定(positive semi-definite) ，也就是可以表示成一个矩阵与自身转置的相乘。
note:半正定矩阵判別方法：所有特征值为非负数
林轩田老师在youtube评论区的回答：机器学习现在比较重要的成果应该都集中在顶尖的国际会议，像是 ICML, NIPS 等等。
Most of the contents correspond to e-Chapter 8 of the Learning from Data book (amlbook.com). You can freely download the chapter from the book readers' forum. You can also watch our sister course ( https://work.caltech.edu/telecourse.html ), which contains some SVM classes