50字范文,内容丰富有趣,生活中的好帮手!
50字范文 > 高斯过程回归python_scikit-learn中的多输出高斯过程回归

高斯过程回归python_scikit-learn中的多输出高斯过程回归

时间:2021-04-14 09:28:17

相关推荐

高斯过程回归python_scikit-learn中的多输出高斯过程回归

好吧,你无意中碰上了冰山......

作为前奏,让我们明确指出方差和标准差的概念仅适用于标量变量;对于矢量变量(比如你自己的3d输出),方差的概念不再有意义,而是使用协方差矩阵(Wikipedia,Wolfram) .

继续前奏,你的 sigma 的形状确实如预期的那样根据 predict 方法的scikit-learn docs(即你的情况下没有编码错误):

返回:y_mean:array,shape =(n_samples,[n_output_dims])查询指向y_std的预测分布的平均值:array,shape =(n_samples,),optional查询点处预测分布的标准偏差 . 仅在return_std为True时返回 . y_cov:array,shape =(n_samples,n_samples),可选的联合预测分布的协方差,查询点 . 仅在return_cov为True时返回 .

结合我之前关于协方差矩阵的评论,第一个选择是尝试使用参数 return_cov=True 的 predict 函数(因为要求矢量变量的方差是没有意义的);但同样,这将导致16x16矩阵,而不是3x3矩阵(3个输出变量的协方差矩阵的预期形状)......

澄清了这些细节之后,让我们继续讨论这个问题的本质 .

问题的核心在于实践和相关教程中很少提及(甚至暗示)的事情:具有多个输出的高斯过程回归是 highly non-trivial ,仍然是一个活跃的研究领域 . 可以说,scikit-learn无法真正处理这个案例,尽管事实上它表面上似乎没有发出至少一些相关的警告 .

让我们在最近的科学文献中寻找对这种主张的一些佐证:

大多数GPR实现只模拟单个响应变量,因为相关多响应变量的协方差函数的制定很困难,这不仅描述了数据点之间的相关性,而且描述了响应之间的相关性 . 在本文中,我们提出了多响应GPR的协方差函数的直接公式,基于以下思想:尽管GPR对各种建模任务有很高的吸收率,但GPR方法仍然存在一些突出的问题 . 本文特别感兴趣的是需要对多个响应变量进行建模 . 传统上,一个响应变量被视为高斯过程,并且多个响应被独立建模而不考虑它们的相关性 . 这种实用且直接的方法在许多应用中被采用(例如[7,26,27]),尽管它并不理想 . 建模多响应高斯过程的关键是协方差函数的表达,其不仅描述数据点之间的相关性,还描述响应之间的相关性 .

典型的GP通常设计用于输出为单输出的场景一个标量 . 然而,多输出问题已经出现在各个领域,[...] . 假设我们尝试近似T输出{f(t},1≤t≤T,一个直观的想法是使用单输出GP(SOGP)使用相关的训练数据D(t)= {X来单独逼近它们(t),y(t)},见图1(a) . 考虑到输出以某种方式相关,单独建模可能会导致有 Value 信息的丢失 . 因此,越来越多的工程应用正在开始关于使用多输出GP(MOGP)的概念,如图1(b)所示,用于代理建模.MOGP的研究历史悠久,在地统计学界被称为多元克里格或共克里金; [...] MOGP处理输出以某种方式相关的基本假设的问题 . 因此,MOGP中的一个关键问题是利用输出相关性,使得输出可以利用彼此的信息以便提供与单独建模相比,它们具有更准确的预测效果 .

具有多个输出的过程的高斯过程分析受到以下事实的限制:与标量(单输出)情况相比,存在更少的良好类别的协方差函数 . [...]为多个输出找到“好的”协方差模型的难度可能会产生重要的实际后果 . 协方差矩阵的不正确结构会显着降低不确定性量化过程的效率,以及克里金推理的预测效率[16] . 因此,我们认为,协方差模型可能在共同克里金法中发挥更为深远的作用[7,17] . 当从数据推断出协方差结构时,这个论点适用,通常就是这种情况 .

因此,正如我所说,我的理解是,sckit-learn并不能真正处理这种情况,尽管事实上文档中没有提到或暗示过这样的事情(在以下问题上打开相关问题可能会很有趣)项目页面) . 这似乎也是this relevant SO thread以及this CrossValidated thread中有关GPML(Matlab)工具箱的结论 .

话虽如此,除了回复单独建模每个输出的选择(不是无效的选择,只要你记住你可能从你的3-D输出元素之间的相关性丢弃有用的信息),至少有一个Python工具箱似乎能够为多输出GP建模,即 runlmc (paper,code,documentation) .

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。