0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

从方向导数这个角度来解析梯度的负方向为什么是局部下降最快的方向

lviY_AI_shequ 2018-02-05 13:42 次阅读

主要内容:

为什么梯度的负方向是局部下降最快的方向?

刚接触梯度下降这个概念的时候,是在学习机器学习算法的时候,很多训练算法用的就是梯度下降,然后资料和老师们也说朝着梯度的反方向变动,函数值下降最快,但是究其原因的时候,很多人都表达不清楚。所以我整理出自己的理解,从方向导数这个角度把这个结论证明出来,让我们知其然也知其所以然~

这次从最优化的角度切入来说明一下:

当我们在某个要优化的函数,这里设为f(x),我们在x点处,然后沿方向 v进行移动,到达f(x+v),图示表示了移动过程:

从方向导数这个角度来解析梯度的负方向为什么是局部下降最快的方向

上图显示了从A点,移动到B点的过程。那么 v方向是什么的时候,局部下降的最快呢?

换成数学语言来说就是, f(x+v)-f(x)的值在 v是什么的时候,达到最大!

下面进行讲解:

从方向导数这个角度来解析梯度的负方向为什么是局部下降最快的方向

则 f(x+v)-f(x)=d f(x)v ,则我们可以得出: d f(x)v 为函数值的变化量,我们要注意的是 d f(x) 和 v 均为向量, d f(x)v 也就是两个向量进行点积,而向量进行点积的最大值,也就是两者共线的时候,也就是说 v 的方向和 d f(x) 方向相同的时候,点积值最大,这个点积值也代表了从A点到B点的上升量。点积说明如下:

从方向导数这个角度来解析梯度的负方向为什么是局部下降最快的方向

而 df(x)正是代表函数值在x处的梯度。前面又说明了v的方向和df(x)方向相同的时候,点积值(变化值)最大,所以说明了梯度方向是函数局部上升最快的方向。也就证明了梯度的负方向是局部下降最快的方向!

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 算法
    +关注

    关注

    23

    文章

    4438

    浏览量

    90553
  • 梯度
    +关注

    关注

    0

    文章

    30

    浏览量

    10251
  • 机器学习
    +关注

    关注

    66

    文章

    8062

    浏览量

    130442

原文标题:【直观理解】为什么梯度的负方向是局部下降最快的方向?

文章出处:【微信号:AI_shequ,微信公众号:人工智能爱好者社区】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    Python在函数方向导数计算中的应用

    方向导数是在函数f(x)在某一点沿着特定方向的变化率。假设我们有一个多维空间中的函数f(x, y, z),并且我们想要在点(x0, y0, z0)沿着向量(dx, dy, dz)的方向导数
    的头像 发表于 11-01 11:18 352次阅读
    Python在函数<b class='flag-5'>方向导数</b>计算中的应用

    方向的判断

    小车两个量 位移和偏转角度。问题就在这个偏转角度的左右方向如何给定,偏转角度大小容易计算。而且要考虑到转弯时 车头的朝向。 尝试过向量的思想
    发表于 08-21 15:23

    机器学习新手必学的三种优化算法(牛顿法、梯度下降法、最速下降法)

    角度理解它们。本文介绍的核心算法包括:牛顿法(Newton’s Method)最速下降法(Steep Descent)梯度下降法(Grad
    发表于 05-07 08:30

    交流电方向和大小为什么会不断变化

    切割磁感线运动,那么该导线两端就会产生一个感应电动势(可以简单理解成产生一个电压)。这个电动势(电压)的大小和磁场强度、导线切割磁场速度及线圈匝数等有关,它的方向可以用右手定则判定。  右手定则:伸出右手,让四指和大拇指垂直并
    发表于 06-30 07:13

    磁场方向与电流方向有关吗

    在电流磁效应中, 磁场方向与电流方向有关吗?
    发表于 10-15 08:22

    矢量分析PPT

    矢量分析梯度、散度、旋度、亥姆霍兹定理1. 标量场的方向导数梯度方向导数:标量场在某点的方向导数表示标量场自该点沿某一方向 &n
    发表于 10-31 13:22 0次下载

    基于改进局部方向模式的人脸识别_孙君顶

    基于改进局部方向模式的人脸识别_孙君顶
    发表于 03-19 19:25 0次下载

    一文看懂常用的梯度下降算法

    的。梯度下降算法背后的原理:目标函数 关于参数 的梯度将是目标函数上升最快方向。对于最小化优化问题,只需要将参数沿着
    发表于 12-04 18:17 1484次阅读

    基于纹理方向的鲁棒视频水印算法

    针对现有基于高效视频编码的视频水印算法鲁棒性不足的问题,提出一种基于纹理方向的鲁棒视频水印算法。算法根据水印值将帧内角度预测模式分为水平方向和垂直方向两组,计算ⅣⅣ分割编码时每个预测单
    发表于 01-04 16:53 0次下载

    简单的梯度下降算法,你真的懂了吗?

    梯度下降算法的公式非常简单,”沿着梯度的反方向(坡度最陡)“是我们日常经验得到的,其本质的原因到底是什么呢?为什么局部下降
    发表于 09-19 00:17 674次阅读

    深入浅出地介绍了梯度下降这一概念

    初始化权重时,我们在损失曲面的A点。我们首先要做的,是检查一下,在x-y平面上的所有可能方向中,沿着哪个方向移动能带来最陡峭的损失值下降。这就是我们需要移动的方向。这一
    的头像 发表于 09-28 09:06 4994次阅读

    基于辅助方向的轭方向六寻优化方法

    连续两次沿负梯度方向寻优可获得共轭方向,对于一般二次目标函欻,从两个角度对该现象进行了理论证眀明。鉴于为诸多研究领域优化问题的解决提供更多更有效的优化方法,将其推广于一般目标函数,提出了基于辅助
    发表于 05-12 14:31 3次下载

    梯度下降法在机器学习中的应用

    梯度下降法沿着梯度的反方向进行搜索,利用了函数的一阶导数信息。
    的头像 发表于 05-18 09:20 798次阅读
    <b class='flag-5'>梯度</b><b class='flag-5'>下降</b>法在机器学习中的应用

    回路的绕行方向和电流方向

    回路的绕行方向和电流方向  回路的绕行方向和电流方向是电路理论中一个非常重要的概念。在电路中,电流的流动方向与回路的绕行
    的头像 发表于 09-17 09:57 3151次阅读

    感应电动势的方向与磁力线方向导体运动方向

    当导体在磁场中运动时,会产生感应电动势。感应电动势是由导体自身的运动产生或是由导体与磁场的相互作用引起的。本文将探讨感应电动势的方向与磁力线方向以及导体运动方向之间的关系。 什么是感应电
    的头像 发表于 02-14 15:01 413次阅读