张飞软硬开源基于STM32 BLDC直流无刷电机驱动器开发视频套件,👉戳此立抢👈

SVD的简介和主要应用领域以及原理与几何意义

人工智能爱好者社区 2018-06-18 18:01 次阅读

1 简介

SVD 全称:Singular Value Decomposition。SVD 是一种提取信息的强大工具,它提供了一种非常便捷的矩阵分解方式,能够发现数据中十分有意思的潜在模式。

主要应用领域包括:

隐性语义分析 (Latent Semantic Analysis, LSA) 或隐性语义索引 (Latent Semantic Indexing, LSI);

推荐系统 (Recommender system),可以说是最有价值的应用点;

矩阵形式数据(主要是图像数据)的压缩。

2 线性变换

在做 SVD 推导之前,先了解一下线性变换,以 2*2 的线性变换矩阵为例,先看简单的对角矩阵:

SVD的简介和主要应用领域以及原理与几何意义

从集合上讲, M 是将二维平面上的点(x,y)  经过线性变换到另一个点的变换矩阵,如下所示:

SVD的简介和主要应用领域以及原理与几何意义

该变换的几何效果是,变换后的平面沿着x水平方向进行了3倍拉伸,垂直方向没有发生变化。

3 SVD 推导

该部分的推导从几何层面上去理解二维的SVD,总体的思想是:借助 SVD 可以将一个相互垂直的网格 (orthogonal grid) 变换到另外一个互相垂直的网格。

可以通过二维空间中的向量来描述这件事情。

首先,选择两个互相正交的单位向量v1和v2(也可称为一组正交基)。

M 是一个变换矩阵。

向量Mv1 , Mv2 也是一组正交向量(也就是v1和v2 经过M变换得到的)。

u1, u2分别是Mv1, Mv2的单位向量(即另一组正交基),且有:

SVD的简介和主要应用领域以及原理与几何意义

则,σ1,σ2 分别为 Mv1 , Mv2的模(也称为M的奇异值)。

设任意向量x,有:

SVD的简介和主要应用领域以及原理与几何意义

SVD的简介和主要应用领域以及原理与几何意义

根据线代知识,向量的内积可用向量的转置来表示:

SVD的简介和主要应用领域以及原理与几何意义

至此,SVD 使用几何意义的形式推导完毕,其中:

SVD的简介和主要应用领域以及原理与几何意义

关于 SVD 的一些重要的结论性总结:

任意的矩阵M是可以分解成三个矩阵;

V表示了原始域的标准正交基;

U表示经过M变换后的新标准正交基;

∑表示了V中的向量与U中相对应向量之间的比例(伸缩)关系;

∑中的每个σ会按从大到小排好顺序,值越大代表该维度重要性越高;

在利用 SVD 做数据信息提取或压缩时,往往依据一些启发式策略,如直接设定只提取∑  中的前 k项,或者另一种较常用的做法是保留矩阵中一定百分比的能量信息,一般可设定为 90%,能量信息比例的计算可先求得所有奇异值平方总和,然后将奇异值的平方依次累加到总值的 90% 为止,形如: 

SVD的简介和主要应用领域以及原理与几何意义

# -*- coding: utf-8 -*-

import numpy as np

import numpy.linalg as la

import matplotlib.pyplot as plt

from sklearn import datasets

from skimage import io

def getImgAsMat(index):

ds = datasets.fetch_olivetti_faces()

return np.mat(ds.images[index])

def getImgAsMatFromFile(filename):

img = io.imread(filename, as_grey=True)

return np.mat(img)

def plotImg(imgMat):

plt.imshow(imgMat, cmap=plt.cm.gray)

plt.show()

def recoverBySVD(imgMat, k):

# singular value decomposition

U, s, V = la.svd(imgMat)

# choose top k important singular values (or eigens)

Uk = U[:, 0:k]

Sk = np.diag(s[0:k])

Vk = V[0:k, :]

# recover the image

imgMat_new = Uk * Sk * Vk

return imgMat_new

# -------------------- main --------------------- #

#A = getImgAsMat(0)

#plotImg(A)

#A_new = recoverBySVD(A, 20)

#plotImg(A_new)

A = getImgAsMatFromFile('D:/pic.jpg')

plotImg(A)

A_new = recoverBySVD(A, 30)

plotImg(A_new)

原文标题:SVD-矩阵奇异值分解 —— 原理与几何意义

文章出处:【微信号:AI_shequ,微信公众号:人工智能爱好者社区】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

请问欧拉角的微分具体是怎么算的?

原子的开发手册上面只说了 欧拉角矩阵 套用欧拉微分   具体是怎么算的。...
发表于 06-12 04:36 16次 阅读
请问欧拉角的微分具体是怎么算的?

从冲突局部解释网络中提取全局最佳图形的方式找木偶

相连的部件必须以正确的方式重叠。每个部件只能指定一个区域是否重叠,而不能指定多个区域。大腿和小腿之间....
的头像 AI科技大本营 发表于 06-07 17:05 190次 阅读
从冲突局部解释网络中提取全局最佳图形的方式找木偶

如何对两个不同维度的矩阵进行筛选?

如题,我有两个矩阵A=[1,2,3;4,5,6;7,8,9;10,11,12;13,14,15;16,17,18;19,20,21] B=[1,2;7,8;19,20] 我想用B的两列元素来筛...
发表于 06-05 09:15 170次 阅读
如何对两个不同维度的矩阵进行筛选?

采用网络分析仪实现矩阵调试

一个任意多端口网络的各端口终端均匹配时,由第n个端口输入的入射行波 an将散射到其余一切端口并出射出去。若第m个端口的出射行波...
发表于 06-05 07:39 66次 阅读
采用网络分析仪实现矩阵调试

Adobe研究院的研究者们提出了全新的通用深度网络架构CPNet

我们将网络的核心命名为”CP模块“,其结构如下,大致分为两个部分。输入和输出都是一个THW x C的....
的头像 新智元 发表于 05-25 09:41 397次 阅读
Adobe研究院的研究者们提出了全新的通用深度网络架构CPNet

NetWork Analyst总结文档

1.在ArcGIS Server10.1和10.2中没有直接提供成本矩阵的分析功能,但可以通过设置最近设施点服务的参数完成成本矩阵的分析。...
发表于 05-24 07:48 28次 阅读
NetWork Analyst总结文档

E8481A 2线制4x32继电器矩阵切换模块服务手册

E8481A 2线制4x32继电器矩阵切换模块服务手册
发表于 05-23 12:47 66次 阅读
E8481A 2线制4x32继电器矩阵切换模块服务手册

自定义开关矩阵

Over a period of more than ten years, Keysight has developed a standard design and manufacturing process for making hi...
发表于 05-13 16:38 48次 阅读
自定义开关矩阵

奇异值分解和矩阵分解傻傻分不清楚?一文帮你理清两者差异!

推荐系统 (Recommender Systems, RS) 是一种自动化的针对用户的内容推荐方式,....
的头像 电子发烧友网工程师 发表于 05-05 11:26 484次 阅读
奇异值分解和矩阵分解傻傻分不清楚?一文帮你理清两者差异!

美国照明企业LSI Industries Inc出售纽约工厂

近日,美国LSI Industries Inc. (LYTS.US) 为其纽约工厂找到了买家,预计6....
的头像 中国照明电器协会 发表于 04-27 09:06 578次 阅读
美国照明企业LSI Industries Inc出售纽约工厂

E8481A 2线制4x32继电器矩阵切换模块用户手册

E8481A 2线制4x32继电器矩阵切换模块用户手册
发表于 04-24 10:34 72次 阅读
E8481A 2线制4x32继电器矩阵切换模块用户手册

美国照明大厂 LSI出售纽约工厂,售价不菲

据报道,美国俄亥俄州(Cincinnati)照明大厂LSI Industries Inc. (LYT....
的头像 高工LED 发表于 04-23 15:31 395次 阅读
美国照明大厂 LSI出售纽约工厂,售价不菲

请问怎么让锁定的矩阵按键值保持在一个时钟周期

always @(posedge clk or negedge rst_n) begin if (!rst_n)     begin       key_value_r...
发表于 04-22 06:35 47次 阅读
请问怎么让锁定的矩阵按键值保持在一个时钟周期

图形变换之基本矩阵变换

如果对缩放矩阵 s 的一个或者三个分量置负,就会产生一个反射矩阵(镜像矩阵),如果其中两个缩放因子为....
的头像 Imagination Tech 发表于 04-19 16:45 330次 阅读
图形变换之基本矩阵变换

卡尔曼滤波程序的转换问题

上面是卡尔曼滤波的第五个公式,里面说I是一个全1矩阵,然后可以转换成下面这个式子,但是我仔细看了一下,如果想要转换成这样...
发表于 04-12 06:36 49次 阅读
卡尔曼滤波程序的转换问题

索尼推出了X8000G系列液晶电视,进一步丰富了2019年液晶电视的产品矩阵

它还搭载了索尼引以为傲的特丽魅彩显示技术,带来更为宽广的色域覆盖,让电视能够显示出更多纯正、鲜明色彩....
的头像 扩展触控快讯 发表于 04-10 09:28 1736次 阅读
索尼推出了X8000G系列液晶电视,进一步丰富了2019年液晶电视的产品矩阵

关于图像中复制矩阵ROI,谁有更好思路

目前本人做到可以在一副图像中画一个ROI可以自动(行/列)复制多个ROI,但无法实现矩阵复制,各位大侠谁有更好的算法可以实...
发表于 04-07 15:43 163次 阅读
关于图像中复制矩阵ROI,谁有更好思路

SVD的数据压缩原理

我们考虑了当基向量是对称矩阵的特征向量时,矩阵变换后仍是基向量,但是,我们在实际项目中遇到的大都是行....
的头像 人工智能爱好者社区 发表于 04-02 15:16 420次 阅读
SVD的数据压缩原理

C语言求解线性方程组

先用循环结构将增广矩阵转换为阶梯形矩阵,循环结束时得到阶梯型矩阵非零行行数,同时得到一个链表其中存放....
的头像 玩转单片机 发表于 01-28 15:47 823次 阅读
C语言求解线性方程组

你以为你真了解晶体?

这一组动作就构成一个群(group)。 其实,群就是一种特殊的集合,其元素间定义了满足结合律的乘法,....
的头像 电子发烧友网工程师 发表于 01-15 16:39 776次 阅读
你以为你真了解晶体?

MATLAB教程之数组和矩阵的介绍及运算说明

本文档的主要内容详细介绍的是MATLAB教程之数组和矩阵的介绍及运算说明主要内容包括了:1 数组的创....
发表于 01-04 14:55 229次 阅读
MATLAB教程之数组和矩阵的介绍及运算说明

有源驱动与无源驱动矩阵的八个不同点汇总

开关电源设计中有源驱动与无源驱动矩阵有很多不同点,下面,笔者将对其一一分析,希望给大家提供一些应有的....
发表于 12-21 14:13 613次 阅读
有源驱动与无源驱动矩阵的八个不同点汇总

Numpy居然有这么多陷阱?

从 Out[101] 可以看到一个陷阱,a[:, 0] 过滤完应该是一个 3 x 1 的列向量,可是....
的头像 马哥Linux运维 发表于 12-03 16:37 889次 阅读
Numpy居然有这么多陷阱?

硅的性质是怎样的和相关的半导体基础理论资料介绍

硅是典型的具有半导体性质的元素,是很重要的半导体材料。据统计, 目前半导体器件的95%以上用硅材料制....
发表于 11-07 17:43 137次 阅读
硅的性质是怎样的和相关的半导体基础理论资料介绍

如何开发一个蓝牙低功耗系统的资料概述

在通过与智能手机和平板终端的结合来提高利便性的应用(例如钟表、健身/保健器材等)中,Bluetoot....
发表于 10-31 17:34 200次 阅读
如何开发一个蓝牙低功耗系统的资料概述

一种文本挖掘方法称为主题建模,什么时候会用到主题建模?

我们可以轻易地分辨二者,因为我们理解了“novel”前后词语的意思。但是,机器无法理解这些概念,所以....
的头像 论智 发表于 10-10 09:01 1662次 阅读
一种文本挖掘方法称为主题建模,什么时候会用到主题建模?

基于PXI平台的NI开关的矩阵扩展方案

使用PXIe-2739矩阵模块创建一个32×32(2线)矩阵。 每个PXIe-2739是一个独立的1....
的头像 电子设计 发表于 09-30 08:19 1485次 阅读
基于PXI平台的NI开关的矩阵扩展方案

线性系统是什么?《线性系统理论》第2版电子教材免费下载

线性系统理论是系统与控制科学领域的一门最为基础的课程。本书按照课程的定位和少而精的原则 ,以线性系统....
发表于 09-17 15:53 187次 阅读
线性系统是什么?《线性系统理论》第2版电子教材免费下载

中美贸易冲突表象的博弈解读

中国选择“打”或“不打”两种情况下所获得的收益对比(在图中用竖着的椭圆虚框圈出)。上面所做的收益假设....
的头像 工业4俱乐部 发表于 08-13 14:33 3174次 阅读
中美贸易冲突表象的博弈解读

Dave Smith使用Excel电子表格深入浅出地讲解了SVD++的原理

我们将创建的SVD++模型(奇异值分解逼近)和Simon Funk的博客文章Netflix Upda....
的头像 论智 发表于 08-03 09:02 2133次 阅读
Dave Smith使用Excel电子表格深入浅出地讲解了SVD++的原理

在OPencv中采用的是Bouguet的极线校正的算法

校正后,极点在无穷远处,两个相机的光轴平行。像点在左右图像上的高度一致。这也就是极线校正的目标。校正....
的头像 Imagination Tech 发表于 06-29 11:13 2683次 阅读
在OPencv中采用的是Bouguet的极线校正的算法

通径分析的详细介绍及其在医学研究中的应用中文资料概述

通径分析是多元回归分析的扩展。在社会学、心理学和医学研究中,通径分析常用来探索和分析系统内部多变量间....
发表于 06-14 08:00 175次 阅读
通径分析的详细介绍及其在医学研究中的应用中文资料概述

51单片机之矩阵键盘的驱动实现

用这个 矩阵键盘 做 单片机 输入,插 P1 口的 P1.0~P1.6。 想问的是,当: 按下 1 ....
发表于 05-18 01:36 892次 阅读
51单片机之矩阵键盘的驱动实现

开眼界!矩阵矢网 助力MIMO天线厂商增产增效

在天线制造生产流程中,测试和调试是一个至关重要的环节,不仅关乎天线产品本身的参数质量指标,还影响整个....
发表于 05-09 09:09 311次 阅读
开眼界!矩阵矢网 助力MIMO天线厂商增产增效

以FX1N系列PLC来介绍PLC节省输入点数方法

使用时应注意:除按上图进行接线外,还必须有对应的软件来配合,以实现Y000~Y003轮流导通;同时还....
的头像 工控资料窝 发表于 05-07 08:54 2301次 阅读
以FX1N系列PLC来介绍PLC节省输入点数方法

OpenEM的原理简单的介绍和利用大矩阵乘的演示详细介绍OpenEM的使用

本文首先对OpenEM的原理做了简单的介绍。然后结合一个大矩阵乘的演示用例详细介绍了OpenEM的使....
发表于 04-28 10:02 265次 阅读
OpenEM的原理简单的介绍和利用大矩阵乘的演示详细介绍OpenEM的使用

基于GPGPU的大整数矩阵行列式快速准确计算方法

矩阵行列式的准确计算是一个非常基础的数学操作,但是在很多科学和工程问题中却较为关键。例如,在符号计算....
发表于 04-24 15:33 215次 阅读
基于GPGPU的大整数矩阵行列式快速准确计算方法

AM-HM808高清共享矩阵资料下载.pdf

AM-HM808高清共享矩阵资料下载.pdf
发表于 04-19 11:18 211次 阅读
AM-HM808高清共享矩阵资料下载.pdf

基于SVD的周期干净信号快速分解

文中提出了一种利用SVD将周期干净信号进行快速分解的方法。该方法首先利用SVD将带噪声的周期源信号进....
发表于 04-09 11:42 187次 阅读
基于SVD的周期干净信号快速分解

基于奇异值分解和小波包分解的故障检测

对于采集的时间序列x(n),有用信号和噪声混杂其中。根据研究,若信号为光滑信号,那么其吸引子轨迹矩阵....
的头像 电子技术应用ChinaAET 发表于 03-27 08:58 1628次 阅读
基于奇异值分解和小波包分解的故障检测

分类问题统计指标入门:混淆矩阵、召回、误检率、AUROC

当比较多个不同模型的表现时,仅仅考虑精确度往往是不够的。常用的指标还包括混淆矩阵、召回、误检率和AU....
的头像 论智 发表于 03-17 10:37 6829次 阅读
分类问题统计指标入门:混淆矩阵、召回、误检率、AUROC

高频链矩阵整流器拓扑结构

高频链矩阵整流器通过三相一单相AC/AC矩阵变换器与高频链结合并经由单相整流电路组合而成,自提出以来....
发表于 01-07 10:20 298次 阅读
高频链矩阵整流器拓扑结构

基于SVD和Savitzky-Golay滤波器的信号降噪方法

为降低信号中噪声的干扰,将奇异值分解( SVD)理论和Savitzky-Golay滤波器相结合提出了....
发表于 01-03 15:08 276次 阅读
基于SVD和Savitzky-Golay滤波器的信号降噪方法

矩阵补全模型算法研究

近年来,随着压缩感知技术在信号处理领域的巨大成功,由其衍生而来的矩阵补全技术也日益成为机器学习领域的....
发表于 12-28 10:54 190次 阅读
矩阵补全模型算法研究

基于SVD和最大熵的缺陷图像背景建模方法

针对目前液晶显示器斑痕( LCD-Mura)缺陷背景抑制检测中重建的背景存在引入性噪声干扰和目标缺损....
发表于 12-21 16:16 308次 阅读
基于SVD和最大熵的缺陷图像背景建模方法

基于SVD和分块DCT的半脆弱图像水印算法

随着计算机和网络技术的快速发展,各种数字媒体得到广泛的传播和使用。但是,数字化在给人类带来便利的同时....
发表于 12-15 10:38 191次 阅读
基于SVD和分块DCT的半脆弱图像水印算法

可控特性的金字塔变换

本文设计了一种具有平移不变性、方向和尺度联合可控特性的金字塔变换,称为几何变形可控金字塔变换(DPT....
发表于 12-14 16:41 196次 阅读
可控特性的金字塔变换

基于压缩感知测量矩阵构造分析

压缩感知测量矩阵构造方式多样并不断发展,为梳理现有研究成果,掌握测量矩阵发展动态,对压缩感知测量矩阵....
发表于 12-07 10:25 207次 阅读
基于压缩感知测量矩阵构造分析

基于LDA主题模型的移动应用的相似度矩阵

随着移动互联网的快速发展,如何从大量的移动应用中抽取有效的描述信息继而为移动用户提供有效准确的推荐策....
发表于 12-04 09:39 250次 阅读
基于LDA主题模型的移动应用的相似度矩阵

基于稀疏随机矩阵和乘积矩阵框架相结合的再生码构造方法

针对已有的再生码编码方案的运算是基于有限域GF(g)、运算复杂度高、效率低的问题,提出了一种将CF(....
发表于 11-30 15:12 162次 阅读
基于稀疏随机矩阵和乘积矩阵框架相结合的再生码构造方法

矩阵分析+(史荣昌)

矩阵分析
发表于 11-29 15:46 186次 阅读
矩阵分析+(史荣昌)

基于低秩投影中稀疏误差矩阵分析的视觉跟踪

单目标跟踪是计算机视觉的重要组成部分,其鲁棒性一直受到目标遮挡、光照变化、目标尺度变化等因素的制约。....
发表于 11-21 16:15 136次 阅读
基于低秩投影中稀疏误差矩阵分析的视觉跟踪

基于FPGA的矩阵键盘控制器的设计

为改变采用CPU 控制矩阵键盘导致CPU 资源利用下降及引脚不足的现状,介绍了一种基于FPGA 的矩....
发表于 11-18 11:45 1342次 阅读
基于FPGA的矩阵键盘控制器的设计

matlab输入矩阵的格式的方法步骤

Matlab语言的核心是矩阵,其最初的出现和应用也是和矩阵息息相关的,矩阵是Matlab中的基本运算....
发表于 11-15 11:35 5478次 阅读
matlab输入矩阵的格式的方法步骤

直升机卫星通信系统关键技术解析

卫星通信(简 称卫通) 具有频带宽、容量大、性能稳定、成本与通信距离无关等优点,成为现代通信的一种重....
发表于 11-09 11:37 252次 阅读
直升机卫星通信系统关键技术解析

RSM高性能射频开关矩阵的应用

1. 概述 RSM高性能射频开关矩阵是基于高稳定性、高可靠性、高性能指标的射频开关研制而成,工作频率....
发表于 11-09 10:56 302次 阅读
RSM高性能射频开关矩阵的应用

LED几种典型的点矩阵实验案例与程序分析

发表于 09-06 09:33 232次 阅读
LED几种典型的点矩阵实验案例与程序分析

Type 7 模块解决复杂的物联网边 缘节点处理矩阵

Type 7 模块解决复杂的物联网边 缘节点处理矩阵
发表于 09-04 16:01 207次 阅读
Type 7 模块解决复杂的物联网边 缘节点处理矩阵

第四棵--KEY独立键盘和矩阵键盘的检测

独立键盘和矩阵键盘的检测,十分详细。适合新手。
发表于 09-01 11:44 243次 阅读
第四棵--KEY独立键盘和矩阵键盘的检测