求解无约束非线性最优化问题的最速下降法会产生"锯齿现象",其原因是?

如题所述

举报该问题

第1个回答 2012-12-05

最速下降算法的不足最速下降算法也有其不足之处其中一个比较严重的问题就是存在所谓的锯齿现象.锯齿现象是指算法中迭代点的移动呈“之”字形成锯齿形状.当xk很接近极小点X时移动步长很小这就影响了算法的收敛速率.

出现这种现象的原因在于最速下降算法中相邻两个迭代点的搜索方向是正交的.

相似回答

最速梯度下降答：梯度下降法在接近最优解的区域收敛速度明显变慢，利用梯度下降法求解需要很多次的迭代。实际上收敛速度并不快。其主要原因是每次迭代后下一次的搜索方向总是和前一次相互垂直，产生锯齿现象，使得收敛速度较为缓慢。最速下降法的一种简单形式是：[if !vml][endif]在机器学习中，基于基本的梯度下...

无约束最优化(二) 共轭方向法与共轭梯度法答：接下来介绍的共轭方向法是介于最速下降法和Newton法之间的一种方法,它克服了最速下降法的锯齿现象,从而提高了收敛速度;它的迭代公式也比较简单,不必计算目标函数的二阶导数,与Newton法相比,减少了计算量和存储量。它是比较实用而有效的最优化方法。我们先将其在正定二次函数上研究,然后再把算法用到更...

优化方法·约束非线性优化答：4. 逼近与直接求解</对于一般约束优化问题，二次逼近法是强大的工具，它通过辅助问题的引导，逐步逼近原问题。而可行方向法和梯度投影法则直接面对非线性约束，提供精确而实用的解决方案。无论是线性还是非线性约束，每个步骤都需仔细操作，通过求解方向和步长，我们逐步接近那个隐藏在约束中的完美解。

大家正在搜

用最速下降法求解下述问题，要求迭代进行两轮。

什么是梯度法？为什么在接近目标函数的极值点时，梯度法的收敛速...

怎样运用matlab实现无约束非线性优化问题中的多种方法?

用matlab里的fmincon函数解决非线性约束最优化问题...

用MATLAB解非线性方程f(x)=sinx-1/4x^2=...

最优化Goldstein算法确定步长的最速下降法，matla...