0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

常见的9种距离度量方法

深度学习自然语言处理 来源:机器之心 作者:机器之心 2021-03-05 15:44 次阅读

欧氏距离(Euclidean Distance)

欧式距离。 我们从最常见的欧式距离开始,欧式距离可解释为连接两个点的线段的长度。欧式距离公式非常简单,使用勾股定理从这些点的笛卡尔坐标计算距离。

缺点:尽管这是一种常用的距离度量,但欧式距离并不是尺度不变的,这意味着所计算的距离可能会根据特征的单位发生倾斜。通常,在使用欧式距离度量之前,需要对数据进行归一化处理。 此外,随着数据维数的增加,欧氏距离的作用也就越小。这与维数灾难(curse of dimensionality)有关。 用例:当你拥有低维数据且向量的大小非常重要时,欧式距离的效果非常好。如果在低维数据上使用欧式距离,则如 k-NN 和 HDBSCAN 之类的方法可达到开箱即用的效果。 余弦相似度(Cosine Similarity)

余弦相似度。 余弦相似度经常被用作抵消高维欧式距离问题。余弦相似度是指两个向量夹角的余弦。如果将向量归一化为长度均为 1 的向量,则向量的点积也相同。 两个方向完全相同的向量的余弦相似度为 1,而两个彼此相对的向量的余弦相似度为 - 1。注意,它们的大小并不重要,因为这是在方向上的度量。

缺点:余弦相似度的一个主要缺点是没有考虑向量的大小,而只考虑它们的方向。以推荐系统为例,余弦相似度就没有考虑到不同用户之间评分尺度的差异。 用例:当我们对高维数据向量的大小不关注时,可以使用余弦相似度。对于文本分析,当数据以单词计数表示时,经常使用此度量。例如,当一个单词在一个文档中比另一个单词更频繁出现时,这并不一定意味着文档与该单词更相关。可能是文件长度不均匀或者计数的重要性不太重要。我们最好使用忽略幅度的余弦相似度。 汉明距离(Hamming Distance)

汉明距离。 汉明距离是两个向量之间不同值的个数。它通常用于比较两个相同长度的二进制字符串。它还可以用于字符串,通过计算不同字符的数量来比较它们之间的相似程度。 缺点:当两个向量长度不相等时,汉明距离使用起来很麻烦。当幅度是重要指标时,建议不要使用此距离指标。 用例:典型的用例包括数据通过计算机网络传输时的错误纠正 / 检测。它可以用来确定二进制字中失真的数目,作为估计误差的一种方法。此外,你还可以使用汉明距离来度量分类变量之间的距离。 曼哈顿距离(Manhattan Distance)

曼哈顿距离。 曼哈顿距离通常称为出租车距离或城市街区距离,用来计算实值向量之间的距离。想象一下均匀网格棋盘上的物体,如果它们只能移动直角,曼哈顿距离是指两个向量之间的距离,在计算距离时不涉及对角线移动。

3c7dd21a-7c22-11eb-8b86-12bb97331649.png

缺点:尽管曼哈顿距离在高维数据中似乎可以工作,但它比欧式距离直观性差,尤其是在高维数据中使用时。此外,由于它可能不是最短路径,有可能比欧氏距离给出一个更高的距离值。 用例:当数据集具有离散或二进制属性时,曼哈顿距离似乎工作得很好,因为它考虑了在这些属性的值中实际可以采用的路径。以欧式距离为例,它会在两个向量之间形成一条直线,但实际上这是不可能的。 切比雪夫距离(Chebyshev Distance)

切比雪夫距离。 切比雪夫距离定义为两个向量在任意坐标维度上的最大差值。换句话说,它就是沿着一个轴的最大距离。切比雪夫距离通常被称为棋盘距离,因为国际象棋的国王从一个方格到另一个方格的最小步数等于切比雪夫距离。

缺点:切比雪夫距离通常用于特定的用例,这使得它很难像欧氏距离或余弦相似度那样作为通用的距离度量。因此,在确定适合用例时才使用它。 用例:切比雪夫距离用于提取从一个方块移动到另一个方块所需的最小移动次数。此外,在允许无限制八向移动的游戏中,这可能是有用的方法。在实践中,切比雪夫距离经常用于仓库物流,因为它非常类似于起重机移动一个物体的时间。 闵氏距离(Minkowski)

闵氏距离。 闵氏距离比大多数距离度量更复杂。它是在范数向量空间(n 维实数空间)中使用的度量,这意味着它可以在一个空间中使用,在这个空间中,距离可以用一个有长度的向量来表示。 闵氏距离公式如下:

最有趣的一点是,我们可以使用参数 p 来操纵距离度量,使其与其他度量非常相似。常见的 p 值有:

p=1:曼哈顿距离

p=2:欧氏距离

p=∞:切比雪夫距离

缺点:闵氏距离与它们所代表的距离度量有相同的缺点,因此,对哈顿距离、欧几里得距离和切比雪夫距离等度量标准有个好的理解非常重要。此外,参数 p 的使用可能很麻烦,因为根据用例,查找正确的 p 值在计算上效率低。 用例:p 的积极一面是可迭代,并找到最适合用例的距离度量。它允许在距离度量上有很大的灵活性,如果你非常熟悉 p 和许多距离度量,将会获益多多。 雅卡尔指数(Jaccard Index)

雅卡尔指数。 雅卡尔指数(交并比)是用于比较样本集相似性与多样性的统计量。雅卡尔系数能够量度有限样本集合的相似度,其定义为两个集合交集大小与并集大小之间的比例。 例如,如果两个集合有 1 个共同的实体,而有 5 个不同的实体,那么雅卡尔指数为 1/5 = 0.2。要计算雅卡尔距离,我们只需从 1 中减去雅卡尔指数:

缺点:雅卡尔指数的一个主要缺点是它受数据大小的影响很大。大数据集对指数有很大影响,因为它可以显著增加并集,同时保持交集相似。 用例:雅卡尔指数通常用于使用二进制或二进制数据的应用程序中。当你有一个深度学习模型来预测图像分割时,比如一辆汽车,雅卡尔指数可以用来计算给定真实标签的预测分割的准确度。 类似地,它可以用于文本相似性分析,以测量文档之间有多少词语重叠。因此,它可以用来比较模式集合。 半正矢(Haversine)

半正矢距离。 半正矢距离是指球面上的两点在给定经纬度条件下的距离。它与欧几里得距离非常相似,因为它可以计算两点之间的最短连线。主要区别在于半正矢距离不可能有直线,因为这里的假设是两个点都在一个球面上。

缺点:这种距离测量的一个缺点是,假定这些点位于一个球体上。实际上,这种情况很少出现,例如,地球不是完美的圆形,在某些情况下可能使计算变得困难。相反,如果假定是椭球,使用 Vincenty 距离比较好。 用例:半正矢距离通常用于导航。例如,你可以使用它来计算两个国家之间的飞行距离。请注意,如果距离本身不那么大,则不太适合。 Sørensen-Dice 系数

Sørensen-Dice 系数。 Sørensen-Dice 系数与雅卡尔指数非常相似,都是度量样本集的相似性和多样性。尽管它们的计算方法相似,但是 Sørensen-Dice 系数更直观一些,因为它可以被视为两个集合之间重叠的百分比,这个值在 0 到 1 之间:

3eb903f6-7c22-11eb-8b86-12bb97331649.png

缺点:正如雅卡尔指数,Sørensen-Dice 系数也夸大了很少或没有真值的集合的重要性,因此,它可以控制多集合的平均得分,还可以控制多组平均得分并按相关集合的大小成反比地加权每个项目,而不是平等对待它们。 用例:用例与雅卡尔指数相似,它通常用于图像分割任务或文本相似性分析。

责任编辑:lq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据
    +关注

    关注

    8

    文章

    6513

    浏览量

    87609
  • 距离
    +关注

    关注

    0

    文章

    12

    浏览量

    13751
  • 向量
    +关注

    关注

    0

    文章

    55

    浏览量

    11589

原文标题:一文读懂常见的9种距离度量方法

文章出处:【微信号:zenRRan,微信公众号:深度学习自然语言处理】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    维谛嵌入式开关电源常见告警处理方法

    维谛嵌入式开关电源常见告警处理方法
    的头像 发表于 04-09 17:15 260次阅读
    维谛嵌入式开关电源<b class='flag-5'>常见</b>告警处理<b class='flag-5'>方法</b>

    工业镜头中常见的参数之工作距离、物距、法兰距及镜头接口

    。物距(O/I)=工作距离(WD)+镜头长度+法兰距常见的C口镜头和相机,法兰距为17.526mm。在机器视觉行业中,许多镜头设计时为了保证成像质量,工作距离通常为一
    的头像 发表于 03-11 15:29 780次阅读
    工业镜头中<b class='flag-5'>常见</b>的参数之工作<b class='flag-5'>距离</b>、物距、法兰距及镜头接口

    Linux系统中调用脚本的常见方法

    在linux系统中有多种方法可以在系统启动后调用脚本,接下来介绍几种常见方法
    的头像 发表于 12-13 18:16 518次阅读

    常见的DC电源模块故障排除方法

    常见的DC电源模块故障排除方法
    的头像 发表于 12-04 10:38 322次阅读
    <b class='flag-5'>常见</b>的DC电源模块故障排除<b class='flag-5'>方法</b>

    超声波探伤仪常见故障及处理方法

    超声波探伤仪常见故障及处理方法
    的头像 发表于 11-24 10:39 721次阅读

    python两点间距离简单编程

    在编程领域中,计算两点间的距离是非常常见的任务。而在Python语言中,计算两点间距离方法有多种。本文将深入介绍多个计算两点间距离
    的头像 发表于 11-23 16:30 1431次阅读

    锁相环性能度量标准解读

    锁相环性能度量标准包括品质因数、噪声基底、闪烁噪声模型。
    的头像 发表于 10-31 10:36 512次阅读
    锁相环性能<b class='flag-5'>度量</b>标准解读

    锁相环性能度量标准

    锁相环性能度量标准包括品质因数、噪声基底、闪烁噪声模型。
    的头像 发表于 10-30 17:19 390次阅读
    锁相环性能<b class='flag-5'>度量</b>标准

    单片机I/O驱动与隔离常见设计方法

    单片机I/O驱动与隔离常见设计方法
    的头像 发表于 10-25 17:36 1791次阅读
    单片机I/O驱动与隔离<b class='flag-5'>常见</b>设计<b class='flag-5'>方法</b>

    MCU批量生产下载程序的几种常见方法

    MCU批量生产下载程序的几种常见方法
    的头像 发表于 10-24 17:22 1012次阅读
    MCU批量生产下载程序的几种<b class='flag-5'>常见方法</b>

    电感啸叫的常见原因以及解决方法

    电子发烧友网站提供《电感啸叫的常见原因以及解决方法.docx》资料免费下载
    发表于 10-15 11:03 2次下载

    舵机常见的故障原因分析以及解决方法

    舵机的分析方法和注意事项,以及对舵机常见故障的解决方法进行一个列举。
    的头像 发表于 09-22 10:14 2384次阅读
    舵机<b class='flag-5'>常见</b>的故障原因分析以及解决<b class='flag-5'>方法</b>

    松下贴片机NPM常见报警处理方法

    松下贴片机NPM常见报警处理方法
    的头像 发表于 06-28 09:49 8540次阅读

    常见的接地方法介绍

    接地是通过建立一个连接到地的电路或结构,以提供安全和稳定的地电位的过程。以下是常见的接地方法:   物理接地(Physical Grounding):这是最常见的接地方法,通过将
    的头像 发表于 06-16 17:34 1676次阅读

    变频器常见故障及解决方法

    本文将介绍20个变频器常见故障及其维修方法,为读者提供一个全面了解变频器维修的机会。
    发表于 05-15 12:43 5662次阅读
    变频器<b class='flag-5'>常见</b>故障及解决<b class='flag-5'>方法</b>