核方法(Kernel Methods)
核方法中最有名的是Support Vector Machines(支持向量机)。这种方法把输入数据映射到更高维度上,将其变得可分,使得归类和回归问题更容易建模。
Support Vector Machines (SVM)
Radial Basis Function (RBF)
Linear Discriminate Analysis (LDA)
多核学习
核选择是核方法的关键内容,因其是提高核方法泛化性能的重要一环。
多核学习(Multiple Kernel Learning,MKL)通过利用多个基本核的组合代替单核,将核选择问题转化为对组合系数的选择。
通过将异构数据的不同特征分量利用对应的核函数进行映射,使数据在新的特征空间中得到更好的表达,能显著提高分类性能[31]。
MKL的本质问题就是,如何得到这个组合的特征空间,即如何通过学习得到组合系数
算法
1)主流方法是对组合系数进行l1-范数和l2-范数约束
2)构造多核模型,最基本的方法就是考虑多个基本核函数的凸组合:
其中K是基本核函数,M是基本核的总个数,耳朵旁是组合系数,条件可以确保由此产生的Gram矩阵是半正定的。
现状
多核学习已被成功应用于机器学习的许多领域,如多示例学习、半监督学习、增量学习等,并在生物特征识别、无人机、信息检索等领域得到了广泛应用。
不足/问题/趋势
1)基本核的选择和组合方式缺乏理论依据。多核学习中的很多方法都是基于有限个基本核的线性组合加以讨论,基本核的选择也大都是启发式的
2)对于大规模数据集,由于涉及到多核矩阵的快速求解、高维多核扩展矩阵的各种分解等问题,通常的多核学习方法的学习效率会很低,如何提高其学习速度值得我们进行深入的探讨。