3.2w+
社区成员
求二次型极值的搜索算法
遇到了一个问题，经典算法似乎不能直接解决：
f(x)=(x-x0)'A(x-x0)是正定二次型，其中A已知，x0未知
但是对于任何给定的x，都能算出f(x)的值（因为在问题的理论上这个二次型等于另一个可计算的东东）。
现需要根据上述条件，求出x0的值。不知应当如何进行搜索，请高手指点！
f(x)=(x-x0)'A(x-x0)是正定二次型，其中A已知，x0未知
但是对于任何给定的x，都能算出f(x)的值（因为在问题的理论上这个二次型等于另一个可计算的东东）。
现需要根据上述条件，求出x0的值。不知应当如何进行搜索，请高手指点！
...全文
当前发帖距今超过3年，不再开放新的回复
发表回复
xiao_dang 2008-03-21
谢谢2楼的回复！
我来说明一下：
你提的第一种方法当然没有问题，但是不是一种有效的算法，因为你并没有提出找到是的f(x)=0的x的具体方法。
第二种方法也是对的。但是我忘了补充一下：对于给定的x,计算出的f(x)是近似值，所以只用一次计算的方法误差会很大，我更希望有一种迭代（搜索）的算法。
还是要谢谢你的回答！
我来说明一下：
你提的第一种方法当然没有问题，但是不是一种有效的算法，因为你并没有提出找到是的f(x)=0的x的具体方法。
第二种方法也是对的。但是我忘了补充一下：对于给定的x,计算出的f(x)是近似值，所以只用一次计算的方法误差会很大，我更希望有一种迭代（搜索）的算法。
还是要谢谢你的回答！
大王派我去巡山 2008-03-21
方法一：求近似解
注意到这是个(半)正定二次型，当且仅当x=x0时才会出现f(x)=0。
所以如果能找到当x在某个值附近时f(x)近似为0，那么x0的近似解也找到了。
方法二：解线性方程组
将x0视为自变量，将f(x)展开可以得到一个多元二次方程。
当x取不同值时，将x和f(x)的值代入，会得到若干个多元二次方程。
虽然这里每个方程都是二次的，但注意到每个方程中二次项的部分是完全相同的，所以两两相减，最终会得到一个线性方程组。
解线性方程组，最终可以得到x0.
注意到这是个(半)正定二次型，当且仅当x=x0时才会出现f(x)=0。
所以如果能找到当x在某个值附近时f(x)近似为0，那么x0的近似解也找到了。
方法二：解线性方程组
将x0视为自变量，将f(x)展开可以得到一个多元二次方程。
当x取不同值时，将x和f(x)的值代入，会得到若干个多元二次方程。
虽然这里每个方程都是二次的，但注意到每个方程中二次项的部分是完全相同的，所以两两相减，最终会得到一个线性方程组。
解线性方程组，最终可以得到x0.
大王派我去巡山 2008-03-21
关于方法二：
你提到了只计算一次误差会比较大，实际上我觉得这个问题不难解决。
你可以将线性方程组中的方程个数多列一些，然后用最小二乘法来求解，这样出来的解兼顾到了多次测试结果，应该还是比较准确的。
关于方法一：
大致想到的思路：对于x这个n维向量来说，在其它n-1维分量上的值暂时保持不变，只在其中一维上进行变化，类似牛顿法，找到这时的最小值。
当寻找到这个值以后，再换到其它分量上逐步试探...直到最后找出f(x)=0的近似值。
你提到了只计算一次误差会比较大，实际上我觉得这个问题不难解决。
你可以将线性方程组中的方程个数多列一些，然后用最小二乘法来求解，这样出来的解兼顾到了多次测试结果，应该还是比较准确的。
关于方法一：
大致想到的思路：对于x这个n维向量来说，在其它n-1维分量上的值暂时保持不变，只在其中一维上进行变化，类似牛顿法，找到这时的最小值。
当寻找到这个值以后，再换到其它分量上逐步试探...直到最后找出f(x)=0的近似值。
共轭梯度法求解方程组&二次型函数最小值 考虑二次型目标函数 其中， 设置搜索起点为原点 ， A对称正定，故f(x)存在唯一最小值，求该最小值。 算法步骤 初始化，x(k)表示第k次迭代的解向量。p(k)表示第k次迭代的方向向量。r(k)表示第k次迭代的残差向量。...
MPC的终结——二次规划求解约束极值问题 约束极值问题的定义及优化方法 带有约束条件的极值问题称为约束极值问题，也叫规划问题。 求解约束极值问题要比求解无约束极值问题困难得多。为了简化其优化工作，可采用下面两种方法: 1.将约束问题转化为无约束...
二次型优化问题 - 1 - 问题描述 在各种场景可能都会遇到需要求解多元二次函数极值的问题，本系列文章介绍相关的计算方法，核心内容为共轭梯度法。 本文介绍问题定义。 问题定义 多元二次多项式，维度为nnn，那么可以用以下公式描述该函数： f(x1...
谷歌八年算法工程师分享几点算法学习小技巧 二次型的定义 矩阵的正定性 特征值与特征向量 奇异值分解 线性方程组的数值解 机器学习算法处理的数据一般都是向量、矩阵或者张量。经典的机器学习算法输入的数据都是特征向量，深度学习算法在处理...
怎样成为一名优秀的算法工程师 其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》，清华大学出版社，雷明著，由SIGAI公众号作者倾力打造。 书的购买链接 书的勘误，优化，源代码资源 原创声明：本文为 SIGAI 原创...
小嘿嘿之群体智能优化算法 跳出循环输出最优解，在迭代过程中，目标函数是这样变化的 算法在迭代30次后跳出循环，输出最优解[0.0202,0.0426],此时目标函数值为 2.2242∗10−72.2242*10^{-7}2.2242∗10−7因为钻用的例子为二次型规划，显然最优...
想学好算法，你需要热爱数学 最近在学习算法的时候，发现很多时候即使理论已经掌握了，但是应用起来却又是另一回事。有了数据结构的基础，就相当于有了可以搭建房子的材料，而“房子”如何去设计，如何利用这些材料，就需要认真的构思，很多...
机器学习十大经典算法——环境搭建与算例分析 根据对机器学习相关算法资料的收集情况，我们总结出了十四个经典常用的机器学习算法，分别在Windows环境下和Linux环境下搭建了开发环境，对每一个算法进行了原理分析与代码实现。同时，对于每一个算法我们也给出了...
【CV】Harris角点检测算法-点特征提取 由于图像灰度变化并不连续，因此采用差分法来求梯度。如点 (x,y)(x,y)(x,y)处在 xxx方向和 yyy方向的梯度按sobel算子计算，具体见Sobel算子简介。 1.3 Harris角点检测算法思想 该算法可以分为三个主要的步骤： 建立...
2.2梯度下降算法改进 而优化算法能够帮助我们快速训练模型，提高计算效率。接下来我么就去看有哪些方法能够解决我们刚才遇到的问题或者类似的问题 2.2.1优化遇到的问题 梯度消失 局部最优 2.2.1.1梯度消失 在梯度函数上出现的以指数...
非线性最小二乘问题与Levenberg–Marquardt算法详解 为了求解最小二乘问题，最直接的方法是对 F ( x ) F(\bf{x}) F(x) 求梯度，可得 ∂ F ( x ) ∂ x j = ∑ i = 1 m f i ( x ) ∂ f i ( x ) ∂ x j ⇒ ∇ F ( x ) = F ′ ( x ) = J f ( x ) T f ( x ) . (1.3) \frac{...
Hessian矩阵与多元函数极值 海塞矩阵（Hessian Matrix）是一个...例如，图像特征检测中的SIFT和SURF算法中就用到了它。此外，很多机器学习算法（例如Logistics回归）的优化求解过程中也会涉及到它。本文就来向读者道一道Hessian Matrix的来龙去脉
面试准备——机器学习中的优化器算法 除了极少数问题可以用暴力搜索来得到最优解之外，我们将机器学习中使用的优化算法依照求解方法的不同，可以分成以下两类：解析解和数值解。 解析解给出一个最优化问题精确的公式解，所谓的解析解是一种包含分式、...
梯度下降法及其改进算法 Introduce 今天会说两个问题，第一，建议大脚多看看大牛的博客，可以涨姿势。。。例如： 1、侧重于语言编程和应用的廖雪峰 ...2、侧重于高大上算法和开源库介绍的莫烦 https://morvanzhou.gith...
一维搜索方法+多维牛顿法 文章目录一维搜索方法+多维牛顿法黄金分割法二分法牛顿法（用于求解方程）割线法牛顿法（高维——用于最优化）算法过程 一维搜索方法+多维牛顿法 寻找一元函数的极值点的迭代求解方法。迭代算法从初始搜索点x(0)x...
优化算法详解 牛顿法求极值点（多元） 使用多元函数的展开形式： f ( X ) = f ( X 0 ) + J T ( X 0 ) ( X − X 0 ) + 1 2 ( X − X 0 ) T H T ( X 0 ) ( X − X 0 ) f(X)=f(X^0)+J^T(X^0)(X-X^0)+\frac{1}{2}(X-X^0)^TH...
