0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

常见的9种距离度量方法

深度学习自然语言处理 来源:机器之心 作者:机器之心 2021-03-05 15:44 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

欧氏距离(Euclidean Distance)

欧式距离。 我们从最常见的欧式距离开始,欧式距离可解释为连接两个点的线段的长度。欧式距离公式非常简单,使用勾股定理从这些点的笛卡尔坐标计算距离。

缺点:尽管这是一种常用的距离度量,但欧式距离并不是尺度不变的,这意味着所计算的距离可能会根据特征的单位发生倾斜。通常,在使用欧式距离度量之前,需要对数据进行归一化处理。 此外,随着数据维数的增加,欧氏距离的作用也就越小。这与维数灾难(curse of dimensionality)有关。 用例:当你拥有低维数据且向量的大小非常重要时,欧式距离的效果非常好。如果在低维数据上使用欧式距离,则如 k-NN 和 HDBSCAN 之类的方法可达到开箱即用的效果。 余弦相似度(Cosine Similarity)

余弦相似度。 余弦相似度经常被用作抵消高维欧式距离问题。余弦相似度是指两个向量夹角的余弦。如果将向量归一化为长度均为 1 的向量,则向量的点积也相同。 两个方向完全相同的向量的余弦相似度为 1,而两个彼此相对的向量的余弦相似度为 - 1。注意,它们的大小并不重要,因为这是在方向上的度量。

缺点:余弦相似度的一个主要缺点是没有考虑向量的大小,而只考虑它们的方向。以推荐系统为例,余弦相似度就没有考虑到不同用户之间评分尺度的差异。 用例:当我们对高维数据向量的大小不关注时,可以使用余弦相似度。对于文本分析,当数据以单词计数表示时,经常使用此度量。例如,当一个单词在一个文档中比另一个单词更频繁出现时,这并不一定意味着文档与该单词更相关。可能是文件长度不均匀或者计数的重要性不太重要。我们最好使用忽略幅度的余弦相似度。 汉明距离(Hamming Distance)

汉明距离。 汉明距离是两个向量之间不同值的个数。它通常用于比较两个相同长度的二进制字符串。它还可以用于字符串,通过计算不同字符的数量来比较它们之间的相似程度。 缺点:当两个向量长度不相等时,汉明距离使用起来很麻烦。当幅度是重要指标时,建议不要使用此距离指标。 用例:典型的用例包括数据通过计算机网络传输时的错误纠正 / 检测。它可以用来确定二进制字中失真的数目,作为估计误差的一种方法。此外,你还可以使用汉明距离来度量分类变量之间的距离。 曼哈顿距离(Manhattan Distance)

曼哈顿距离。 曼哈顿距离通常称为出租车距离或城市街区距离,用来计算实值向量之间的距离。想象一下均匀网格棋盘上的物体,如果它们只能移动直角,曼哈顿距离是指两个向量之间的距离,在计算距离时不涉及对角线移动。

3c7dd21a-7c22-11eb-8b86-12bb97331649.png

缺点:尽管曼哈顿距离在高维数据中似乎可以工作,但它比欧式距离直观性差,尤其是在高维数据中使用时。此外,由于它可能不是最短路径,有可能比欧氏距离给出一个更高的距离值。 用例:当数据集具有离散或二进制属性时,曼哈顿距离似乎工作得很好,因为它考虑了在这些属性的值中实际可以采用的路径。以欧式距离为例,它会在两个向量之间形成一条直线,但实际上这是不可能的。 切比雪夫距离(Chebyshev Distance)

切比雪夫距离。 切比雪夫距离定义为两个向量在任意坐标维度上的最大差值。换句话说,它就是沿着一个轴的最大距离。切比雪夫距离通常被称为棋盘距离,因为国际象棋的国王从一个方格到另一个方格的最小步数等于切比雪夫距离。

缺点:切比雪夫距离通常用于特定的用例,这使得它很难像欧氏距离或余弦相似度那样作为通用的距离度量。因此,在确定适合用例时才使用它。 用例:切比雪夫距离用于提取从一个方块移动到另一个方块所需的最小移动次数。此外,在允许无限制八向移动的游戏中,这可能是有用的方法。在实践中,切比雪夫距离经常用于仓库物流,因为它非常类似于起重机移动一个物体的时间。 闵氏距离(Minkowski)

闵氏距离。 闵氏距离比大多数距离度量更复杂。它是在范数向量空间(n 维实数空间)中使用的度量,这意味着它可以在一个空间中使用,在这个空间中,距离可以用一个有长度的向量来表示。 闵氏距离公式如下:

最有趣的一点是,我们可以使用参数 p 来操纵距离度量,使其与其他度量非常相似。常见的 p 值有:

p=1:曼哈顿距离

p=2:欧氏距离

p=∞:切比雪夫距离

缺点:闵氏距离与它们所代表的距离度量有相同的缺点,因此,对哈顿距离、欧几里得距离和切比雪夫距离等度量标准有个好的理解非常重要。此外,参数 p 的使用可能很麻烦,因为根据用例,查找正确的 p 值在计算上效率低。 用例:p 的积极一面是可迭代,并找到最适合用例的距离度量。它允许在距离度量上有很大的灵活性,如果你非常熟悉 p 和许多距离度量,将会获益多多。 雅卡尔指数(Jaccard Index)

雅卡尔指数。 雅卡尔指数(交并比)是用于比较样本集相似性与多样性的统计量。雅卡尔系数能够量度有限样本集合的相似度,其定义为两个集合交集大小与并集大小之间的比例。 例如,如果两个集合有 1 个共同的实体,而有 5 个不同的实体,那么雅卡尔指数为 1/5 = 0.2。要计算雅卡尔距离,我们只需从 1 中减去雅卡尔指数:

缺点:雅卡尔指数的一个主要缺点是它受数据大小的影响很大。大数据集对指数有很大影响,因为它可以显著增加并集,同时保持交集相似。 用例:雅卡尔指数通常用于使用二进制或二进制数据的应用程序中。当你有一个深度学习模型来预测图像分割时,比如一辆汽车,雅卡尔指数可以用来计算给定真实标签的预测分割的准确度。 类似地,它可以用于文本相似性分析,以测量文档之间有多少词语重叠。因此,它可以用来比较模式集合。 半正矢(Haversine)

半正矢距离。 半正矢距离是指球面上的两点在给定经纬度条件下的距离。它与欧几里得距离非常相似,因为它可以计算两点之间的最短连线。主要区别在于半正矢距离不可能有直线,因为这里的假设是两个点都在一个球面上。

缺点:这种距离测量的一个缺点是,假定这些点位于一个球体上。实际上,这种情况很少出现,例如,地球不是完美的圆形,在某些情况下可能使计算变得困难。相反,如果假定是椭球,使用 Vincenty 距离比较好。 用例:半正矢距离通常用于导航。例如,你可以使用它来计算两个国家之间的飞行距离。请注意,如果距离本身不那么大,则不太适合。 Sørensen-Dice 系数

Sørensen-Dice 系数。 Sørensen-Dice 系数与雅卡尔指数非常相似,都是度量样本集的相似性和多样性。尽管它们的计算方法相似,但是 Sørensen-Dice 系数更直观一些,因为它可以被视为两个集合之间重叠的百分比,这个值在 0 到 1 之间:

3eb903f6-7c22-11eb-8b86-12bb97331649.png

缺点:正如雅卡尔指数,Sørensen-Dice 系数也夸大了很少或没有真值的集合的重要性,因此,它可以控制多集合的平均得分,还可以控制多组平均得分并按相关集合的大小成反比地加权每个项目,而不是平等对待它们。 用例:用例与雅卡尔指数相似,它通常用于图像分割任务或文本相似性分析。

责任编辑:lq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据
    +关注

    关注

    8

    文章

    7366

    浏览量

    95207
  • 距离
    +关注

    关注

    0

    文章

    12

    浏览量

    13982
  • 向量
    +关注

    关注

    0

    文章

    55

    浏览量

    12082

原文标题:一文读懂常见的9种距离度量方法

文章出处:【微信号:zenRRan,微信公众号:深度学习自然语言处理】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    常见元器件的极性识别方法

    元器件的正负极或第一引脚与PCB上的正负极或第一引脚在同一个方向,如果元器件与PCB上的方向不匹配时,称为反向不良。下文分析常见电子元器件的极性识别方法。1片式电阻
    的头像 发表于 05-18 11:04 330次阅读
    <b class='flag-5'>常见</b>元器件的极性识别<b class='flag-5'>方法</b>

    深度解析:组态 PROFIBUS DP 网络的常见错误与解决方法

    本篇文章中,我们将深度解析组态PROFIBUS DP网络的常见配置错误以及解决方法
    的头像 发表于 05-13 11:02 256次阅读
    深度解析:组态 PROFIBUS DP 网络的<b class='flag-5'>常见</b>错误与解决<b class='flag-5'>方法</b>

    探头常见故障维修方法日常保养实用科普!

    盲目拆解,防止造成二次损坏。 探头常见故障及实操维修方法   接触不良   故障表现:连接设备后信号时断时续、忽强忽弱,插拔后偶尔恢复,多因频繁插拔或长期闲置导致。维修方法:无需拆机,用无水酒精擦拭探头
    发表于 05-09 09:58

    倾斜仪常见故障诊断与排除方法

    倾斜仪在工程监测应用中,可能因环境因素或安装问题出现各类故障。了解常见故障的识别与处理方法,对保障监测数据连续性具有重要意义。常见故障类型与诊断读数异常是倾斜仪最常见的故障表现。当监测
    的头像 发表于 03-02 14:39 353次阅读
    倾斜仪<b class='flag-5'>常见</b>故障诊断与排除<b class='flag-5'>方法</b>

    ODF配线架常见故障及解决方法

    ODF配线架常见故障及解决方法如下: 一、接地故障 故障表现: 防雷性能下降,静电积累,甚至引发设备损坏。 光信号传输不稳定,出现误码或中断。 常见原因: 接地端子氧化、松动或接触不良。 接地线
    的头像 发表于 01-05 10:43 778次阅读

    LED显示屏常见故障分类及处理方法

    常见故障分类LED显示屏常见故障分为三类:LED模组常见故障、室内全彩显示屏故障及户外全彩显示屏故障。针对每一类故障,我们将详细分析可能的原因,并提供具体的检测与维修步骤。LED模组常见
    的头像 发表于 12-18 15:48 2016次阅读
    LED显示屏<b class='flag-5'>常见</b>故障分类及处理<b class='flag-5'>方法</b>

    工业镜头测量中的“工作距离”是什么?

    的设计和性能。本文将从定义、影响因素、计算方法以及实际应用等方面,对工业镜头的工作距离进行科普性阐述,以期为相关从业者提供清晰的参考。工作距离的定义工作距离是指工业镜头的
    的头像 发表于 12-06 16:46 1307次阅读
    工业镜头测量中的“工作<b class='flag-5'>距离</b>”是什么?

    快速定位MOS故障的常见方法与解决方案

    的关键。本文MDD将探讨常见的MOS故障类型、故障排查方法以及相应的修复方案。一、常见的MOS故障类型MOS管无法导通或无法关断这种故障通常是由栅极驱动信号异常或M
    的头像 发表于 11-25 10:56 1103次阅读
    快速定位MOS故障的<b class='flag-5'>常见方法</b>与解决方案

    Keithley吉时利6511常见故障排查及解决方法

    Keithley吉时利6511作为一款精密测量仪器,在长期使用中可能会遇到各种故障。以下是该设备常见故障的排查思路及解决方法,帮助用户快速定位问题并恢复设备正常运行。     一、常见故障及排查步骤
    的头像 发表于 11-21 18:47 1447次阅读
    Keithley吉时利6511<b class='flag-5'>常见</b>故障排查及解决<b class='flag-5'>方法</b>

    晶振使用中常见问题与解决方法

    一、频偏造成的使用异常异常现象:色彩图像不正常;音频杂音,无数据传输,距离短,遥控无反应。常见处理:换一个就OK根本原因:晶振负载电容同电路不匹配。解决办法:调整电路匹配电容大小,或换用不同负载电容
    的头像 发表于 11-21 15:37 4412次阅读
    晶振使用中<b class='flag-5'>常见</b>问题与解决<b class='flag-5'>方法</b>

    用PLC实现卷径计算的两算法

    卷径计算,是动态计算如钢卷,纸卷等存料量的一种方法,它是实现张力控制和自动充放料、以及甩尾控制的重要前提。卷径计算目前主流的方法有两,一是根据机列速度(产线速度)和和被测卷的转动角
    的头像 发表于 11-14 16:54 2827次阅读
    用PLC实现卷径计算的两<b class='flag-5'>种</b>算法

    FPGA测试DDR带宽跑不满的常见原因及分析方法

    在 FPGA 中测试 DDR 带宽时,带宽无法跑满是常见问题。下面我将从架构、时序、访问模式、工具限制等多个维度,系统梳理导致 DDR 带宽跑不满的常见原因及分析方法
    的头像 发表于 10-15 10:17 1421次阅读

    蓄电池运维的常见误区及解决方法

    和其他工业与电气设备一样,蓄电池也需要定期的维护。但不少工程师对于蓄电池维护项目和方法等还存在一些误解。今天小福为大家深度剖析蓄电池运维的常见4大维护误区,助你避开雷区,精准预判电池寿命!
    的头像 发表于 09-04 13:58 1457次阅读
    蓄电池运维的<b class='flag-5'>常见</b>误区及解决<b class='flag-5'>方法</b>

    贴片晶振中两常见封装介绍

    贴片晶体振荡器作为关键的时钟频率元件,其性能直接关系到系统运行的稳定性。今天,凯擎小妹带大家聊聊贴片晶振中两常见封装——金属面封装与陶瓷面封装。
    的头像 发表于 07-04 11:29 1608次阅读
    贴片晶振中两<b class='flag-5'>种</b><b class='flag-5'>常见</b>封装介绍

    电机常见的噪音、振动问题及解决方法

    ,甚至引发安全隐患。本文将系统分析电机常见的噪音和振动问题,并提供切实可行的解决方法。   一、电机噪音问题及解决方法 电机噪音主要来源于电磁噪音、机械噪音和空气动力噪音三个方面。 1. 电磁噪音 电磁噪音是由于电机内部
    的头像 发表于 06-08 10:25 4770次阅读