50字范文,内容丰富有趣,生活中的好帮手!
50字范文 > 机器学习基础--各种学习方式(18)--核方法和多核学习

机器学习基础--各种学习方式(18)--核方法和多核学习

时间:2019-03-22 14:17:52

相关推荐

机器学习基础--各种学习方式(18)--核方法和多核学习

核方法(Kernel Methods)

核方法中最有名的是Support Vector Machines(支持向量机)。这种方法把输入数据映射到更高维度上,将其变得可分,使得归类和回归问题更容易建模。

Support Vector Machines (SVM)

Radial Basis Function (RBF)

Linear Discriminate Analysis (LDA)

多核学习

核选择是核方法的关键内容,因其是提高核方法泛化性能的重要一环。

多核学习(Multiple Kernel Learning,MKL)通过利用多个基本核的组合代替单核,将核选择问题转化为对组合系数的选择。

通过将异构数据的不同特征分量利用对应的核函数进行映射,使数据在新的特征空间中得到更好的表达,能显著提高分类性能[31]。

MKL的本质问题就是,如何得到这个组合的特征空间,即如何通过学习得到组合系数

算法

1)主流方法是对组合系数进行l1-范数和l2-范数约束

2)构造多核模型,最基本的方法就是考虑多个基本核函数的凸组合:

其中K是基本核函数,M是基本核的总个数,耳朵旁是组合系数,条件可以确保由此产生的Gram矩阵是半正定的。

现状

多核学习已被成功应用于机器学习的许多领域,如多示例学习、半监督学习、增量学习等,并在生物特征识别、无人机、信息检索等领域得到了广泛应用。

不足/问题/趋势

1)基本核的选择和组合方式缺乏理论依据。多核学习中的很多方法都是基于有限个基本核的线性组合加以讨论,基本核的选择也大都是启发式的

2)对于大规模数据集,由于涉及到多核矩阵的快速求解、高维多核扩展矩阵的各种分解等问题,通常的多核学习方法的学习效率会很低,如何提高其学习速度值得我们进行深入的探讨。

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。