张飞软硬开源基于STM32 BLDC直流无刷电机驱动器开发视频套件,👉戳此立抢👈

YOLO的核心思想及YOLO的实现细节

2018-06-05 09:12 次阅读

YOLOv1

这是继 RCNN,fast-RCNN 和 faster-RCNN之后,Ross Girshick 针对 DL 目标检测速度问题提出的另外一种框架。YOLO V1 其增强版本在 gpu 上能跑45fps,简化版本155fps。

论文下载:

http://arxiv.org/abs/1506.02640

代码下载:

https://github.com/pjreddie/darknet 

1. YOLO 的核心思想

YOLO 的核心思想就是利用整张图作为网络的输入,直接在输出层回归 bounding box(边界框) 的位置及其所属的类别。

faster-RCNN 中也直接用整张图作为输入,但是 faster-RCNN 整体还是采用了RCNN 那种 proposal+classifier 的思想,只不过是将提取 proposal 的步骤放在 CNN 中实现了,而 YOLO 则采用直接回归的思路。

2.YOLO 的实现方法

将一幅图像分成 SxS 个网格(grid cell),如果某个 object 的中心落在这个网格中,则这个网格就负责预测这个 object。 

每个网格要预测 B 个 bounding box,每个 bounding box 除了要回归自身的位置之外,还要附带预测一个 confidence 值。 

这个 confidence 代表了所预测的 box 中含有 object 的置信度和这个 box 预测的有多准这两重信息,其值是这样计算的:  

其中如果有 object 落在一个 grid cell 里,第一项取 1,否则取 0。 第二项是预测的 bounding box 和实际的 groundtruth 之间的 IoU 值。

每个 bounding box 要预测 (x, y, w, h) 和 confidence 共5个值,每个网格还要预测一个类别信息,记为 C 类。则 SxS个 网格,每个网格要预测 B 个 bounding box 还要预测 C 个 categories。输出就是 S x S x (5*B+C) 的一个 tensor。

注意:class 信息是针对每个网格的,confidence 信息是针对每个 bounding box 的。

举例说明: 在 PASCAL VOC 中,图像输入为 448x448,取 S=7,B=2,一共有20 个类别(C=20),则输出就是 7x7x30 的一个 tensor。

整个网络结构如下图所示: 

在 test 的时候,每个网格预测的 class 信息和 bounding box 预测的 confidence信息相乘,就得到每个 bounding box 的 class-specific confidence score:

等式左边第一项就是每个网格预测的类别信息,第二、三项就是每个 bounding box 预测的 confidence。这个乘积即 encode 了预测的 box 属于某一类的概率,也有该 box 准确度的信息。

得到每个 box 的 class-specific confidence score 以后,设置阈值,滤掉得分低的 boxes,对保留的 boxes 进行 NMS 处理,就得到最终的检测结果。

注:

*由于输出层为全连接层,因此在检测时,YOLO 训练模型只支持与训练图像相同的输入分辨率。

*虽然每个格子可以预测 B 个 bounding box,但是最终只选择只选择 IOU 最高的 bounding box 作为物体检测输出,即每个格子最多只预测出一个物体。当物体占画面比例较小,如图像中包含畜群或鸟群时,每个格子包含多个物体,但却只能检测出其中一个。这是 YOLO 方法的一个缺陷。

3.YOLO 的实现细节

每个 grid 有 30 维,这 30 维中,8 维是回归 box 的坐标,2 维是 box的 confidence,还有 20 维是类别。 

其中坐标的 x, y 用对应网格的 offset 归一化到 0-1 之间,w, h 用图像的 wIDTh 和 height 归一化到 0-1 之间。

在实现中,最主要的就是怎么设计损失函数,让这个三个方面得到很好的平衡。作者简单粗暴的全部采用了 sum-squared error loss 来做这件事。

这种做法存在以下几个问题: 

第一,8维的 localization error 和20维的 classification error 同等重要显然是不合理的; 

第二,如果一个网格中没有 object(一幅图中这种网格很多),那么就会将这些网格中的 box 的 confidence push 到 0,相比于较少的有 object 的网格,这种做法是 overpowering 的,这会导致网络不稳定甚至发散。

解决办法:

更重视8维的坐标预测,给这些损失前面赋予更大的 loss weight, 记为

在 pascal VOC 训练中取 5。

对没有 object 的 box 的 confidence loss,赋予小的 loss weight,记为

在 pascal VOC 训练中取 0.5。

有 object 的 box 的 confidence loss 和类别的 loss 的 loss weight 正常取 1。

对不同大小的 box 预测中,相比于大 box 预测偏一点,小 box 预测偏一点肯定更不能被忍受的。而 sum-square error loss 中对同样的偏移 loss 是一样。

为了缓和这个问题,作者用了一个比较取巧的办法,就是将 box 的 width 和 height 取平方根代替原本的 height 和 width。这个参考下面的图很容易理解,小box 的横轴值较小,发生偏移时,反应到y轴上相比大 box 要大。(也是个近似逼近方式)

一个网格预测多个 box,希望的是每个 box predictor 专门负责预测某个 object。具体做法就是看当前预测的 box 与 ground truth box 中哪个 IoU 大,就负责哪个。这种做法称作 box predictor 的 specialization。

最后整个的损失函数如下所示: 

这个损失函数中: 

只有当某个网格中有 object 的时候才对 classification error 进行惩罚。

只有当某个 box predictor 对某个 ground truth box 负责的时候,才会对 box 的 coordinate error 进行惩罚,而对哪个 ground truth box 负责就看其预测值和 ground truth box 的 IoU 是不是在那个 cell 的所有 box 中最大。

其他细节,例如使用激活函数使用 leak RELU,模型用 ImageNet 预训练等等,在这里就不一一赘述了。

注:

*YOLO 方法模型训练依赖于物体识别标注数据,因此,对于非常规的物体形状或比例,YOLO 的检测效果并不理想。

*YOLO 采用了多个下采样层,网络学到的物体特征并不精细,因此也会影响检测效果。

* YOLO 的损失函数中,大物体 IOU 误差和小物体 IOU 误差对网络训练中 loss 贡献值接近(虽然采用求平方根方式,但没有根本解决问题)。因此,对于小物体,小的 IOU 误差也会对网络优化过程造成很大的影响,从而降低了物体检测的定位准确性。

4.YOLO 的缺点

YOLO 对相互靠的很近的物体,还有很小的群体检测效果不好,这是因为一个网格中只预测了两个框,并且只属于一类。

同一类物体出现的新的不常见的长宽比和其他情况时,泛化能力偏弱。

由于损失函数的问题,定位误差是影响检测效果的主要原因。尤其是大小物体的处理上,还有待加强。

YOLOv2

YOLOv2:代表着目前业界最先进物体检测的水平,它的速度要快过其他检测系统(FasterR-CNN,ResNet,SSD),使用者可以在它的速度与精确度之间进行权衡。

YOLO9000:这一网络结构可以实时地检测超过 9000 种物体分类,这归功于它使用了 WordTree,通过 WordTree 来混合检测数据集与识别数据集之中的数据。

工程代码地址:

http://pjreddie.com/darknet/yolo/

▌简介

目前的检测数据集(Detection Datasets)有很多限制,分类标签的信息太少,图片的数量小于分类数据集(Classification Datasets),而且检测数据集的成本太高,使其无法当作分类数据集进行使用。而现在的分类数据集却有着大量的图片和十分丰富分类信息。

文章提出了一种新的训练方法–联合训练算法。这种算法可以把这两种的数据集混合到一起。使用一种分层的观点对物体进行分类,用巨量的分类数据集数据来扩充检测数据集,从而把两种不同的数据集混合起来。

联合训练算法的基本思路就是:同时在检测数据集和分类数据集上训练物体检测器(Object Detectors ),用监测数据集的数据学习物体的准确位置,用分类数据集的数据来增加分类的类别量、提升鲁棒性。

YOLO9000 就是使用联合训练算法训练出来的,他拥有 9000 类的分类信息,这些分类信息学习自ImageNet分类数据集,而物体位置检测则学习自 COCO 检测数据集。

代码和预训练模型地址:

http://pjreddie.com/yolo9000/

▌更准

YOLO 一代有很多缺点,作者希望改进的方向是改善 recall,提升定位的准确度,同时保持分类的准确度。 

目前计算机视觉的趋势是更大更深的网络,更好的性能表现通常依赖于训练更大的网络或者把多种模型综合到一起。但是 YOLO v2 则着力于简化网络。具体的改进见下表:

Batch Normalization

使用 Batch Normalization 对网络进行优化,让网络提高了收敛性,同时还消除了对其他形式的正则化(regularization)的依赖。通过对 YOLO 的每一个卷积层增加 Batch Normalization,最终使得 mAP 提高了 2%,同时还使模型正则化。使用 Batch Normalization 可以从模型中去掉 Dropout,而不会产生过拟合。

High resolution classifier

目前业界标准的检测方法,都要先把分类器(classifier)放在ImageNet上进行预训练。从 Alexnet 开始,大多数的分类器都运行在小于 256*256 的图片上。而现在 YOLO 从 224*224 增加到了 448*448,这就意味着网络需要适应新的输入分辨率。

为了适应新的分辨率,YOLO v2 的分类网络以 448*448 的分辨率先在 ImageNet上进行微调,微调 10 个 epochs,让网络有时间调整滤波器(filters),好让其能更好的运行在新分辨率上,还需要调优用于检测的 Resulting Network。最终通过使用高分辨率,mAP 提升了 4%。

Convolution with anchor boxes

YOLO 一代包含有全连接层,从而能直接预测 Bounding Boxes 的坐标值。  Faster R-CNN 的方法只用卷积层与 Region Proposal Network 来预测 Anchor Box 偏移值与置信度,而不是直接预测坐标值。作者发现通过预测偏移量而不是坐标值能够简化问题,让神经网络学习起来更容易。

所以最终 YOLO 去掉了全连接层,使用 Anchor Boxes 来预测 Bounding Boxes。作者去掉了网络中一个池化层,这让卷积层的输出能有更高的分辨率。收缩网络让其运行在 416*416 而不是 448*448。由于图片中的物体都倾向于出现在图片的中心位置,特别是那种比较大的物体,所以有一个单独位于物体中心的位置用于预测这些物体。YOLO 的卷积层采用 32 这个值来下采样图片,所以通过选择 416*416 用作输入尺寸最终能输出一个 13*13 的特征图。 使用 Anchor Box 会让精确度稍微下降,但用了它能让 YOLO 能预测出大于一千个框,同时 recall 达到88%,mAP 达到 69.2%。

Dimension clusters

之前 Anchor Box 的尺寸是手动选择的,所以尺寸还有优化的余地。 为了优化,在训练集的 Bounding Boxes 上跑一下 k-means聚类,来找到一个比较好的值。

如果我们用标准的欧式距离的 k-means,尺寸大的框比小框产生更多的错误。因为我们的目的是提高 IOU 分数,这依赖于 Box 的大小,所以距离度量的使用: 

通过分析实验结果(Figure 2),左图:在模型复杂性与 high recall 之间权衡之后,选择聚类分类数 K=5。右图:是聚类的中心,大多数是高瘦的 Box。

Table1 是说明用 K-means 选择 Anchor Boxes 时,当 Cluster IOU 选择值为 5 时,AVG IOU 的值是 61,这个值要比不用聚类的方法的 60.9 要高。选择值为 9 的时候,AVG IOU 更有显著提高。总之就是说明用聚类的方法是有效果的。

Direct location prediction

用 Anchor Box 的方法,会让 model 变得不稳定,尤其是在最开始的几次迭代的时候。大多数不稳定因素产生自预测 Box 的(x,y)位置的时候。按照之前 YOLO的方法,网络不会预测偏移量,而是根据 YOLO 中的网格单元的位置来预测坐标,这就让 Ground Truth 的值介于 0 到 1 之间。而为了让网络的结果能落在这一范围内,网络使用一个 Logistic Activation 来对于网络预测结果进行限制,让结果介于 0 到 1 之间。 网络在每一个网格单元中预测出 5 个 Bounding Boxes,每个 Bounding Boxes 有五个坐标值 tx,ty,tw,th,t0,他们的关系见下图(Figure3)。假设一个网格单元对于图片左上角的偏移量是 cx、cy,Bounding Boxes Prior 的宽度和高度是 pw、ph,那么预测的结果见下图右面的公式: 

因为使用了限制让数值变得参数化,也让网络更容易学习、更稳定。Dimension clusters和Direct location prediction,使 YOLO 比其他使用 Anchor Box 的版本提高了近5%。

Fine-GrAIned Features

YOLO 修改后的特征图大小为 13*13,这个尺寸对检测图片中尺寸大物体来说足够了,同时使用这种细粒度的特征对定位小物体的位置可能也有好处。Faster-RCNN、SSD 都使用不同尺寸的特征图来取得不同范围的分辨率,而 YOLO 采取了不同的方法,YOLO 加上了一个 Passthrough Layer 来取得之前的某个 26*26 分辨率的层的特征。这个 Passthrough layer 能够把高分辨率特征与低分辨率特征联系在一起,联系起来的方法是把相邻的特征堆积在不同的 Channel 之中,这一方法类似与 Resnet 的 Identity MapPIng,从而把 26*26*512 变成 13*13*2048。YOLO 中的检测器位于扩展后(expanded )的特征图的上方,所以他能取得细粒度的特征信息,这提升了 YOLO 1% 的性能。

Multi-Scale Training

作者希望 YOLOv2 能健壮地运行于不同尺寸的图片之上,所以把这一想法用于训练模型中。 

区别于之前的补全图片的尺寸的方法,YOLOv2 每迭代几次都会改变网络参数。每 10 个 Batch,网络会随机地选择一个新的图片尺寸,由于使用了下采样参数是  32,所以不同的尺寸大小也选择为 32 的倍数 {320,352…..608},最小 320*320,最大 608*608,网络会自动改变尺寸,并继续训练的过程。

这一政策让网络在不同的输入尺寸上都能达到一个很好的预测效果,同一网络能在不同分辨率上进行检测。当输入图片尺寸比较小的时候跑的比较快,输入图片尺寸比较大的时候精度高,所以你可以在 YOLOv2 的速度和精度上进行权衡。

下图是在 voc2007 上的速度与精度

▌更快

YOLO 使用的是 GoogLeNet 架构,比 VGG-16 快,YOLO 完成一次前向过程只用 85.2 亿次运算,而 VGG-16 要 306.9 亿次,但是 YOLO 精度稍低于 VGG-16。

Draknet19

YOLO v2 基于一个新的分类模型,有点类似于 VGG。YOLO v2 使用 3*3 的 filter,每次池化之后都增加一倍 Channels 的数量。YOLO v2 使用全局平均池化,使用 Batch NorMIlazation 来让训练更稳定,加速收敛,使模型规范化。

最终的模型–Darknet19,有 19 个卷积层和 5 个 maxpooling 层,处理一张图片只需要 55.8 亿次运算,在 ImageNet 上达到 72.9% top-1 精确度,91.2% top-5 精确度。

Training for classification

在训练时,把整个网络在更大的448*448分辨率上Fine Turnning 10个 epoches,初始学习率设置为0.001,这种网络达到达到76.5%top-1精确度,93.3%top-5精确度。

▌更强

在训练的过程中,当网络遇到一个来自检测数据集的图片与标记信息,那么就把这些数据用完整的 YOLO v2 loss 功能反向传播这个图片。当网络遇到一个来自分类数据集的图片和分类标记信息,只用整个结构中分类部分的 loss 功能反向传播这个图片。

但是检测数据集只有粗粒度的标记信息,像“猫“、“ 狗”之类,而分类数据集的标签信息则更细粒度,更丰富。比如狗这一类就包括”哈士奇“”牛头梗“”金毛狗“等等。所以如果想同时在监测数据集与分类数据集上进行训练,那么就要用一种一致性的方法融合这些标签信息。

再者,用于分类的方法,大多是用 softmax layer 方法,softmax 意味着分类的类别之间要互相独立的。而盲目地混合数据集训练,就会出现比如:检测数据集的分类信息中”狗“这一分类,在分类数据集合中,就会有的不同种类的狗:“哈士奇”、“牛头梗”、“金毛”这些分类,这两种数据集之间的分类信息不相互独立。所以使用一种多标签的模型来混合数据集,假设一个图片可以有多个分类信息,并假定分类信息必须是相互独立的规则可以被忽略。

Hierarchical classification

WordNet 的结构是一个直接图表(directed graph),而不是树型结构。因为语言是复杂的,狗这个词既属于‘犬科’又属于‘家畜’两类,而‘犬科’和‘家畜’两类在 WordNet 中则是同义词,所以不能用树形结构。

作者希望根据 ImageNet 中包含的概念来建立一个分层树,为了建立这个分层树,首先检查 ImagenNet 中出现的名词,再在 WordNet 中找到这些名词,再找到这些名词到达他们根节点的路径(在这里设为所有的根节点为实体对象(physical object)。在 WordNet 中,大多数同义词只有一个路径,所以首先把这条路径中的词全部都加到分层树中。接着迭代地检查剩下的名词,并尽可能少的把他们添加到分层树上,添加的原则是取最短路径加入到树中。

为了计算某一结点的绝对概率,只需要对这一结点到根节点的整条路径的所有概率进行相乘。所以比如你想知道一个图片是否是 Norfolk terrier 的概率,则进行如下计算:

为了验证这一个方法,在 WordTree 上训练 Darknet19 的模型,使用 1000 类的 ImageNet 进行训练,为了建立 WordtTree 1K,把所有中间词汇加入到 WordTree 上,把标签空间从 1000 扩大到了 1369。在训练过程中,如果有一个图片的标签是“Norfolk terrier”,那么这个图片还会获得”狗“(dog)以及“哺乳动物”(mammal)等标签。总之现在一张图片是多标记的,标记之间不需要相互独立。

如 Figure5 所示,之前的 ImageNet 分类是使用一个大 softmax 进行分类。而现在,WordTree 只需要对同一概念下的同义词进行 softmax 分类。 

使用相同的训练参数,这种分层结构的Darknet19达到71.9%top-1精度和90.4% top-5 精确度,精度只有微小的下降。 

这种方法的好处:在对未知或者新的物体进行分类时,性能降低的很优雅(gracefully)。比如看到一个狗的照片,但不知道是哪种种类的狗,那么就高置信度(confidence)预测是”狗“,而其他狗的种类的同义词如”哈士奇“”牛头梗“”金毛“等这些则低置信度。

Datasets combination with wordtree

用 WordTree 把数据集合中的类别映射到分层树中的同义词上,例如上图 Figure 6,WordTree 混合 ImageNet 与 COCO。

Joint classification and detection

作者的目的是:训练一个 Extremely Large Scale 检测器。所以训练的时候使用 WordTree 混合了 COCO 检测数据集与 ImageNet 中的 Top9000 类,混合后的数据集对应的 WordTree 有 9418 个类。另一方面,由于 ImageNet 数据集太大了,作者为了平衡一下两个数据集之间的数据量,通过过采样(oversampling) COCO 数据集中的数据,使 COCO 数据集与 ImageNet 数据集之间的数据量比例达到 1:4。

YOLO9000 的训练基于 YOLO v2 的构架,但是使用 3 priors 而不是 5 来限制输出的大小。当网络遇到检测数据集中的图片时则正常地反方向传播,当遇到分类数据集图片的时候,只使用分类的 loss 功能进行反向传播。同时作者假设 IOU 最少为 0.3。最后根据这些假设进行反向传播。

使用联合训练法,YOLO9000 使用 COCO 检测数据集学习检测图片中的物体的位置,使用 ImageNet 分类数据集学习如何对大量的类别中进行分类。 

为了评估这一方法,使用 ImageNet Detection Task 对训练结果进行评估。 

评估结果: 

YOLO9000 取得 19.7 mAP。 在未学习过的 156 个分类数据上进行测试, mAP 达到 16.0。

YOLO9000 的 mAP 比 DPM 高,而且 YOLO 有更多先进的特征,YOLO9000 是用部分监督的方式在不同训练集上进行训练,同时还能检测 9000个物体类别,并保证实时运行。

虽然 YOLO9000 对动物的识别性能很好,但是对类别为“sungalsses”或者“swimming trunks”这些衣服或者装备的类别,它的识别性能不是很好,见 table 7。这跟数据集的数据组成有很大关系。

▌总结

YOLO v2 代表着目前最先进物体检测的水平,在多种监测数据集中都要快过其他检测系统,并可以在速度与精确度上进行权衡。

YOLO 9000 的网络结构允许实时地检测超过9000种物体分类,这归功于它能同时优化检测与分类功能。使用 WordTree 来混合来自不同的资源的训练数据,并使用联合优化技术同时在 ImageNet 和 COCO 数据集上进行训练,YOLO9000 进一步缩小了监测数据集与识别数据集之间的大小代沟。

YOLOv3

YOLOv3 在 Pascal Titan X 上处理 608x608 图像速度可以达到 20FPS,在 COCO test-dev 上 mAP@0.5 达到 57.9%,与RetinaNet(FocalLoss论文所提出的单阶段网络)的结果相近,并且速度快 4 倍.

YOLO v3 的模型比之前的模型复杂了不少,可以通过改变模型结构的大小来权衡速度与精度。

速度对比如下:

YOLOv3 在实现相同准确度下要显著地比其它检测方法快。时间都是在采用 M40 或 Titan X 等相同 GPU 下测量的。

简而言之,YOLOv3 的先验检测(Prior detection)系统将分类器或定位器重新用于执行检测任务。他们将模型应用于图像的多个位置和尺度。而那些评分较高的区域就可以视为检测结果。此外,相对于其它目标检测方法,我们使用了完全不同的方法。我们将一个单神经网络应用于整张图像,该网络将图像划分为不同的区域,因而预测每一块区域的边界框和概率,这些边界框会通过预测的概率加权。我们的模型相比于基于分类器的系统有一些优势。它在测试时会查看整个图像,所以它的预测利用了图像中的全局信息。与需要数千张单一目标图像的 R-CNN 不同,它通过单一网络评估进行预测。这令 YOLOv3 非常快,一般它比 R-CNN 快 1000 倍、比 Fast R-CNN 快 100 倍。

改进之处:

1.多尺度预测 (类FPN)

2.更好的基础分类网络(类ResNet)和分类器 darknet-53,见下图

3.分类器-类别预测:

YOLOv3 不使用 Softmax 对每个框进行分类,主要考虑因素有两个:

a.Softmax 使得每个框分配一个类别(得分最高的一个),而对于 Open Images这种数据集,目标可能有重叠的类别标签,因此 Softmax不适用于多标签分类。

b.Softmax 可被独立的多个 logistic 分类器替代,且准确率不会下降。

c.分类损失采用 binary cross-entropy loss.

多尺度预测

每种尺度预测 3 个 box, anchor 的设计方式仍然使用聚类,得到9个聚类中心,将其按照大小均分给 3 个尺度。

尺度1: 在基础网络之后添加一些卷积层再输出box信息。

尺度2: 从尺度1中的倒数第二层的卷积层上采样(x2)再与最后一个 16x16 大小的特征图相加,再次通过多个卷积后输出 box 信息,相比尺度1变大两倍.

尺度3: 与尺度2类似,使用了 32x32 大小的特征图

基础网络 Darknet-53

darknet-53 与 ResNet-101 或 ResNet-152 准确率接近,但速度更快,对比如下:

检测结构如下:

YOLOv3 在 mAP@0.5 及小目标 APs 上具有不错的结果,但随着 IOU的增大,性能下降,说明 YOLOv3 不能很好地与 ground truth 切合.

原文标题:从YOLOv1到YOLOv3,目标检测的进化之路

文章出处:【微信号:rgznai100,微信公众号:AI科技大本营】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

C语言基础 之 第6章 函数

1 main函数回顾2 自定义函数1 之 函数定义3 自定义函数2 之 函数调用4 自定义函数3 之 传参和返回值5 使
发表于 12-09 00:00 2955次 阅读
C语言基础 之 第6章 函数

C语言基础 之 第6章 函数

1 main函数回顾2 自定义函数1 之 函数定义3 自定义函数2 之 函数调用4 自定义函数3 之 传参和返回值5 使
发表于 12-09 00:00 2955次 阅读
C语言基础 之 第6章 函数

使用单片机实现花样流水灯的详细教程说明

本文档的主要内容详细介绍的是使用单片机实现花样流水灯的详细教程说明包括了:1.变量的定义,2.for....
发表于 05-21 08:00 15次 阅读
使用单片机实现花样流水灯的详细教程说明

自动控制原理试题库20套和答案详解

本文档的主要内容详细介绍的是自动控制原理试题库20套和答案详解。
发表于 05-21 08:00 13次 阅读
自动控制原理试题库20套和答案详解

Excel的操作使用教程免费下载

Excel操作 Microsoft.Office.Interop.Excel.dll的使用 先说说....
发表于 05-21 08:00 19次 阅读
Excel的操作使用教程免费下载

如何使用Numpy搭建神经网络

很多同学入门机器学习之后,直接用TensorFlow调包实现神经网络,对于神经网络内在机理知之甚少。
的头像 电子发烧友网工程师 发表于 05-18 11:02 210次 阅读
如何使用Numpy搭建神经网络

Matlab揭秘PDF电子书免费下载

《MATLAB 揭秘》为学习这种功能强大的数学计算工具提供了高效的、启发性的方法。 本书使用简单易行....
发表于 05-17 17:36 31次 阅读
Matlab揭秘PDF电子书免费下载

matplotlib绘图中编写的辅助函数总结

matplotlib做图中常用的辅助函数
发表于 05-17 17:12 29次 阅读
matplotlib绘图中编写的辅助函数总结

二维反三角超混沌系统的介绍及其在图像加密上的应用资料说明

为了进一步提高混沌系统的混沌特性,为图像加密算法提供更可靠的混沌系统,增强图像加密算法的安全性,提出....
发表于 05-17 16:38 29次 阅读
二维反三角超混沌系统的介绍及其在图像加密上的应用资料说明

二维Logistic分数阶微分方程的离散化过程的详细资料说明

针对二维Logistic 分数阶微分方程的求解问题,引进了一种离散化方法对其进行离散求解。首先,将二....
发表于 05-17 16:38 25次 阅读
二维Logistic分数阶微分方程的离散化过程的详细资料说明

电压电流闭环传递函数的详细资料说明

本文档的主要内容详细介绍的是电压电流闭环传递函数的详细资料说明。电压外环设计 电压环控制框图如下。
发表于 05-17 16:38 29次 阅读
电压电流闭环传递函数的详细资料说明

开发成功的机器学习应用程序需要一定的“偏方”

澄清说明:分类器与学习器的含义是什么?假设你有训练数据,并使用你构建另一个程序(模型)的程序处理这些....
的头像 电子发烧友网工程师 发表于 05-16 18:18 255次 阅读
开发成功的机器学习应用程序需要一定的“偏方”

AMetal助你三步搞定传感器

传感器应用广泛种类繁多,能快速配置好传感器并加以使用无疑会帮助产品开发节省很多时间,在AMetal中....
的头像 周立功单片机 发表于 05-16 15:16 279次 阅读
AMetal助你三步搞定传感器

开发成功的机器学习应用程序需要一定的“民间技巧”

似乎我们陷入了困境。幸运的是,我们想要在现实世界中学习的特性并不是从所有数学上可能的函数集中统一绘制....
的头像 人工智能学家 发表于 05-16 14:33 176次 阅读
开发成功的机器学习应用程序需要一定的“民间技巧”

对抗性样本真的是不自然且无意义的吗?

慢慢的,随着Nets越来越老,越来越聪明,他们开始在See-Far中发现越来越多的信号模式。他们发现....
的头像 电子发烧友网工程师 发表于 05-15 11:25 210次 阅读
对抗性样本真的是不自然且无意义的吗?

从YOLO v1开始讲起,直至目前最新的版本YOLO v3

每个边界框对应于 5 个输出,分别是 x,y,w,h 和置信度。其中 x,y 代表边界框的中心离开其....
的头像 电子发烧友网工程师 发表于 05-15 09:08 265次 阅读
从YOLO v1开始讲起,直至目前最新的版本YOLO v3

如何有效地对神经网络参数进行初始化

确保均值为零,并保持每层输入方差值不变,可以保证信号不会爆炸或消失。该方法既适用于前向传播(用于激活....
的头像 新智元 发表于 05-15 08:59 215次 阅读
如何有效地对神经网络参数进行初始化

如何使用无监督形状对时间序列进行聚类的资料说明

时间序列聚类已成为近十年来越来越重要的研究课题。大多数现有的时间序列聚类方法依赖于使用欧几里得距离或....
发表于 05-15 08:00 24次 阅读
如何使用无监督形状对时间序列进行聚类的资料说明

以图搜图背后的技术,你了解吗?

深度学习技术兴起之后,基于深度学习的图像特征开始成为图像检索的主流。我们知道CNN网络具有很多不同程....
的头像 将门创投 发表于 05-14 09:29 332次 阅读
以图搜图背后的技术,你了解吗?

到底谁才是发明了GAN的男人?

比如一个草原的照片上有一块污渍,我们知道被盖住的部分(缺失的数据)也是草,那么我们就可以训练神经网络....
的头像 新智元 发表于 05-14 08:53 205次 阅读
到底谁才是发明了GAN的男人?

一种新型的GAN,在测试期间只需几张示例图像

基于该假设,研究人员使用包含许多不同对象类的图像的数据集来训练FUNIT模型,以模拟过去的视觉体验。....
的头像 电子发烧友网工程师 发表于 05-13 09:17 306次 阅读
一种新型的GAN,在测试期间只需几张示例图像

Ansible入门教程如何快速了解Ansible

顶级大牛带你20分钟玩转Ansible!
的头像 马哥Linux运维 发表于 05-12 11:49 425次 阅读
Ansible入门教程如何快速了解Ansible

英伟达的StyleGAN仅需小样本就可以做到图像到图像的转换!

为了训练FUNIT,我们使用来自一组对象类(例如各种动物物种的图像)中的图像,称为源类(source....
的头像 新智元 发表于 05-11 09:13 441次 阅读
英伟达的StyleGAN仅需小样本就可以做到图像到图像的转换!

Python教程之Python学习笔记第二版PDF电子书免费下载

Python是一种半编译半解释型运行环境。首先,它会在模块“载入”时将源码编译成字节码(ByteCo....
发表于 05-10 08:00 58次 阅读
Python教程之Python学习笔记第二版PDF电子书免费下载

一份深度学习“人体姿势估计”全指南,从DeepNet到HRNet

一个部件表示目标对象某部分图形的模板。“弹簧”显示部件之间的连接方式,当部件通过像素位置和方向进行参....
的头像 电子发烧友网工程师 发表于 05-08 17:10 426次 阅读
一份深度学习“人体姿势估计”全指南,从DeepNet到HRNet

如何使用阈值自适应忆阻器Hopfield神经网络进行关联规则挖掘算法

针对基于Hopfield神经网络的最大频繁项集挖掘(HNNMFI)算法存在的挖掘结果不准确的问题,提....
发表于 05-08 17:07 34次 阅读
如何使用阈值自适应忆阻器Hopfield神经网络进行关联规则挖掘算法

视觉系统的基础知识:关于摄像元件CCD

在检测位置及检测物体的尺寸均已确定的情况下,使用一个光电传感器就可以检测该位置是否存在该物体。但是,....
的头像 电子发烧友网工程师 发表于 05-08 14:47 293次 阅读
视觉系统的基础知识:关于摄像元件CCD

“位置/ 角度测量”是视觉检测的重要应用之一

以一定的间隔在搜索区域内移动,找出相关值最高的部位。该间隔被称为“步幅”或“间距”,或者单 独称为“....
的头像 电子发烧友网工程师 发表于 05-08 14:10 332次 阅读
“位置/ 角度测量”是视觉检测的重要应用之一

一种十亿级数据规模的半监督图像分类模型

除此模型之外,本研究还尝试了几种其他的模型结构,一是移除教师 - 学生模型并使用自训练模型,二是在进....
的头像 电子发烧友网工程师 发表于 05-08 09:47 216次 阅读
一种十亿级数据规模的半监督图像分类模型

信号与线性系统分析第四版习题全解资料合集

《信号与线性系统分析(第4版)》是由吴大正编写,全书共分8个章节,主要对信号与线性系统分析知识作了介....
发表于 05-08 08:00 46次 阅读
信号与线性系统分析第四版习题全解资料合集

射频数据转换器解决方案

一个常见的用例是您希望在系统中调试 RF-ADC 和 RF-DAC,并需要编写一个小应用以在运行时进....
的头像 FPGA开发圈 发表于 05-07 18:46 335次 阅读
射频数据转换器解决方案

请问怎么从子函数的某一步返回到主函数的某一步?

简单的说就是希望可以在子函数中的某一步程序执行完之后返回到主函数中段的一句指令,尝试过用goto函数,发现不允许夸函数,有什...
发表于 05-07 05:27 203次 阅读
请问怎么从子函数的某一步返回到主函数的某一步?

机器学习中的基本数学符号

我们常希望用更抽象的方式来描述运算过程,以将其与具体的数据或运算区分开来。因此代数的运用随处可见:也....
的头像 Imagination Tech 发表于 05-06 17:48 242次 阅读
机器学习中的基本数学符号

LCD1602显示接收到的红外线键值程序和LCD1602的延迟函数

本文档的主要内容详细介绍的是LCD1602显示接收到的红外线键值程序和LCD1602的延迟函数。
发表于 05-06 16:40 45次 阅读
LCD1602显示接收到的红外线键值程序和LCD1602的延迟函数

统计函数subtotal和countif的基本用法

统计函数subtotal和countif
发表于 05-06 16:39 36次 阅读
统计函数subtotal和countif的基本用法

如何使用Python通过函数式编程完成excel中的数据处理及分析工作

我们在创建数据表的时候在 price 字段中故意设置了几个 NA 值。对于空值的处理方式有很多种,可....
的头像 电子发烧友网工程师 发表于 05-06 15:07 298次 阅读
如何使用Python通过函数式编程完成excel中的数据处理及分析工作

了解镜头性能-调制传递函数

除了分辨率的变化外,所有透镜也会受到一定的空间畸变。图2显示了如何以非线性方式拉伸或压缩图像,使整个....
的头像 电子发烧友网工程师 发表于 05-06 11:48 392次 阅读
了解镜头性能-调制传递函数

机器视觉镜头的主要特性

在镜头设计中有许多重要的特性,包括镜头分辨率、镜头畸变和光照均匀性等,直接影响机器视觉系统性能。
的头像 电子发烧友网工程师 发表于 05-06 11:46 402次 阅读
机器视觉镜头的主要特性

基于GANs的新型自拍卡通化方法

此外由于卡通图像具有高度简化的特征和均匀的颜色,需要在像素级损失上进行引导。研究人员观察到画师的作品....
的头像 将门创投 发表于 05-06 09:57 531次 阅读
基于GANs的新型自拍卡通化方法

如果机器智能具有人类情商,那么机器智能是否会超越人类智能

根据人的内在认知状态采取适当行动的能力对于高情商的人来说是必不可少的。诸如自动辅导系统、心理和身体健....
的头像 人工智能 发表于 05-05 15:18 670次 阅读
如果机器智能具有人类情商,那么机器智能是否会超越人类智能

三种常见的损失函数和两种常用的激活函数介绍和可视化

从上面阐释的步骤可以看出,神经网络中的权重由损失函数的导数而不是损失函数本身来进行更新或反向传播。因....
的头像 电子发烧友网工程师 发表于 05-05 11:42 289次 阅读
三种常见的损失函数和两种常用的激活函数介绍和可视化

图像处理常用算法(基础)

同图像灰度不同,边界处一般会有明显的边缘,利用此特征可以分割图像。需要说明的是:边缘和物体间的边界并....
的头像 机器学习与人工智能 发表于 04-30 15:26 420次 阅读
图像处理常用算法(基础)

玻璃纤维布如何区分好坏

方法一:通过表面观察玻璃纤维布来判断好坏。品质比较好的玻璃纤维布,表面比较干净,网格的经纬线均匀平直....
的头像 PCBworld 发表于 04-30 10:39 250次 阅读
玻璃纤维布如何区分好坏

为什么PySnooper能从其他智能调试工具中脱颖而出?

因为你可以在不需要进行任何设置的情况下将其用于糟糕的、庞大的企业代码库中。只需打开装饰器(如下示例所....
的头像 电子发烧友网工程师 发表于 04-29 18:30 468次 阅读
为什么PySnooper能从其他智能调试工具中脱颖而出?

人与AI进行对弈谁胜谁负

昨天和清华大学参加智能车竞赛的队伍进行交谈,参加室内“步步为营”创意组的潘晓凡同学演示了他们对车模如....
的头像 电子发烧友网工程师 发表于 04-29 16:13 371次 阅读
人与AI进行对弈谁胜谁负

解析你的手机是如何进行拍照的

当你打开手机,准备拍照,镜头会首先把被摄景物投影在图像传感器上,与此同时,影像处理器会通过测光、测距....
的头像 电子发烧友网工程师 发表于 04-29 15:44 478次 阅读
解析你的手机是如何进行拍照的

生成对抗网络与其他生成模型之间的权衡取舍是什么?

根据一些指标显示,关于生成对抗网络(GAN)的研究在过去两年间取得了本质的进步。
的头像 电子发烧友网工程师 发表于 04-29 11:01 283次 阅读
生成对抗网络与其他生成模型之间的权衡取舍是什么?

前端不哭!最新优化性能经验分享

任何一个网站,图像都是至关重要的部分。平均而言,图像类数据占 Web页面加载数据的 60%以上,因此....
的头像 电子发烧友网工程师 发表于 04-29 10:13 255次 阅读
前端不哭!最新优化性能经验分享

一个可以生成欺骗性补丁的系统模型,人们能够使自己在行人检测器中获得“隐身”的效果

卷积神经网络(CNNs)的兴起在计算机视觉领域取得了巨大成功。 CNN在图像数据中进行端到端的学习在....
的头像 电子发烧友网工程师 发表于 04-29 09:35 270次 阅读
一个可以生成欺骗性补丁的系统模型,人们能够使自己在行人检测器中获得“隐身”的效果

训练神经网络到底有诀窍和套路吗?

在这篇长文中,Andrej Karpathy像一个操心的老父亲一样,详细且循循善诱地对所有机器学习从....
的头像 中国人工智能学会 发表于 04-28 10:54 470次 阅读
训练神经网络到底有诀窍和套路吗?

请问emWim的ID_MULTIEDIT控件如何将光标切换到下一行?

手册中有如上图的相关内容,但是使用哪个函数呢,我使用的是 MULTIEDIT_AddKey(hItem,GUI_KEY_DOWN);但...
发表于 04-28 09:56 41次 阅读
请问emWim的ID_MULTIEDIT控件如何将光标切换到下一行?

OpenAl提出了一种适用于文本、图像和语音的稀疏Transformer

上图中间是第一种步进注意力的版本,可以粗略的理解为每一个位置需要注意它所在的行和列;另一种固定注意力....
的头像 将门创投 发表于 04-28 09:41 284次 阅读
OpenAl提出了一种适用于文本、图像和语音的稀疏Transformer

STM32实用的按键处理程序可移植的函数免费下载

本文档的主要内容详细介绍的是STM32实用的按键处理程序可移植的函数免费下载
发表于 04-28 08:00 68次 阅读
STM32实用的按键处理程序可移植的函数免费下载

嵌入式代码之编写规范

嵌入式代码编码规范,用于规范自己的代码,增强可读性,非标准规范。最好能强制自己形成良好的编码风格,有....
的头像 玩转单片机 发表于 04-26 15:21 442次 阅读
嵌入式代码之编写规范

Matplotlib绘制柱柱状图、直方图、条形图的使用语法

Matplotlib - 柱状图、直方图、条形图 bar() & barh() 所有用法详解...
发表于 04-18 08:17 41次 阅读
Matplotlib绘制柱柱状图、直方图、条形图的使用语法

执行GUI_JPEG_Draw()函数系统就会死掉

执行GUI_JPEG_Draw()函数就会在 void HardFault_Handler(void)这个中断里,蛋疼...
发表于 04-18 06:36 44次 阅读
执行GUI_JPEG_Draw()函数系统就会死掉

请问UCGUI的最新版本是多少?

之前一直使用3.90的, 前几天在官网下载了一个UCGUI的手册,手册里介绍的一些函数在3.90里没有找到, 例如DROPDOW...
发表于 04-18 01:10 67次 阅读
请问UCGUI的最新版本是多少?

请问ucgui中GUI_SetBkColor和WM_SetDesktopColor有什么区别?

我在创建了一个视窗的时候,GUI_SetBkColor这个有效 但是用ucguibuilder的时候 里面生成的代码是用的第二个 这两个有什么...
发表于 04-08 09:35 39次 阅读
请问ucgui中GUI_SetBkColor和WM_SetDesktopColor有什么区别?

拿黑白的图像显示位图都是黑框是怎么回事?

为什么我拿一张黑白的图像 让显示位图 黑的显示黑 图片白的背景也显示为黑啊 结果就是一个黑框 求解...
发表于 04-04 06:36 51次 阅读
拿黑白的图像显示位图都是黑框是怎么回事?

请问注册函数类型不一致问题该怎么解决?

注意:如果点击空白处无法输入,则点击字会有输入提示符 | 则可以使用键盘进行输入! 此板块为  [ARM裸机加强版...
发表于 04-04 05:16 182次 阅读
请问注册函数类型不一致问题该怎么解决?

TensorFlow 的功能以及在其他编程语言中的应用

Python 是 TensorFlow 支持的第一种客户端语言,目前支持的功能最多。该功能正逐步移植....
的头像 TensorFlow 发表于 04-27 09:38 162次 阅读
TensorFlow 的功能以及在其他编程语言中的应用