梯度向量是数学或自然科学中常用的一个数学工具，它的推导和讲解前面的文章已经提到过很多次了，本篇主要介绍下梯度向量的运用和主要意义向量微积分在向量演算中，一个主要的课题是引入向量和三维空间，这通常作为在笛卡尔坐标系中研究的二维空间的扩展。矢量有两个主要性质：方向和大小。在二维中，我们可以把一个矢量从原点延伸成一个箭头(表示方向和大小)。直观地说，这可以扩展到三维空间中，我们可以想象一个箭头漂浮在空间中(同样，显示方向和大小)。不那么直观的是，向量的概念可以扩展到任何维数，在这些维数中，理解和分析只能通过代数来完成。重要的是要注意，在任何情况下，向量都没有特定的位置。这意味着如果两个向量有相同的方向和大小它们就是相同的向量。现在我们已经对向量有了基本的了解，让我们来谈谈梯度向量。梯度向量无论维数如何，梯度向量是一个包含了函数的所有一阶偏导数的向量。让我们计算以下函数的梯度…梯度记为也可以标记为：这是函数f(x,y)的梯度向量，但有什么意义呢？梯度向量能做什么——它到底意味着什么？梯度上升：最大化任何函数点的梯度都指向增加的最大方向上。这是难以置信的。假设你有一个公司利润的函数模型。很明显，你的目标是利润最大化。一种方法是计算梯度向量，然后随机选择一些输入——现在你可以通过计算梯度迭代更新你的输入，并将这些值与之前的输入相加，直到达到最大值。梯度下降法：最小化我们知道梯度向量指向最大增长的方向。相反，一个负梯度向量指向最大减小的方向。梯度下降的主要目的是最小化错误或代价，这在机器学习中最常见。假设您有一个公司的成本建模模型。显然，您的目标是将成本降到最低。与最大化利润类似，您可以为一些随机输入计算梯度向量，并通过从以前的输入中减去梯度向量中的值来迭代更新输入，直到达到最小值。坡度上升/下降的问题使用该优化方法最值得注意的问题是存在相对极值。相对极值是指函数上与函数周围点相对的最大值或最小值，如下图所示。传统的优化方法也会遇到同样的问题，通过比较函数输出的所有相对极值来确定真正的全局最大值/最小值。在梯度上升/下降方面，可以对更新输入的迭代过程进行各种不同的修改，以避免(或通过)相对极值来帮助优化工作

转载请注明:http://www.aideyishus.com/lktp/7113.html