侵权投诉

CVChain:一个较完善的计算机视觉工具链

新机器视觉 2020-11-27 09:56 次阅读

我们这一年来做的一些工作(总结见文章最下方)现在差不多形成了一个较完善的计算机视觉工具链——CVChain。我们这一年来做的一些工作(总结见文章最下方)现在差不多形成了一个较完善的计算机视觉工具链——CVChain。

纵向上它涵盖了一个计算机视觉任务的生命周期:数据分析与模型选型、模型训练、发现模型存在的问题并优化、模型加速、模型SDK编写;横向上它包含了计算机视觉中三个基本任务:分类、语义分割、目标检测;与此同时它还总结了计算机视觉入门到进阶的学习框架。一言以蔽之:有了CVChain,妈妈再也不用担心我搞不定计算机视觉!

CVChain是我们平常做项目或者打比赛过程中打磨出来的,它们可以满足计算机视觉算法工程师日常大部分需求,比如:

1.刚踏入计算机视觉领域,不知道从何学起,需要一张学习的地图:

https://github.com/mileistone/study_resources/blob/master/modeling/learning_framework/learning_framework_general.md

部分示例

带着自己一步一步领略计算机视觉的风采;

2.已经成为一名合格的计算机视觉算法工程师,开始接任务。当任务来了,需要分析数据分析数据以进行模型选型、模型超参的初步设定;

https://github.com/Media-Smart/volkscv/tree/master/volkscv/analyzer/statistics

3.模型确定后,得训练模型(可能涉及到分类、语义分割、文字识别、目标检测等等),这个时候需要一个趁手的训练工具;

分类:
https://github.com/Media-Smart/vedacls

语义分割
https://github.com/Media-Smart/vedaseg

示例

文字识别
https://github.com/Media-Smart/vedastr

示例

目标检测
https://github.com/Media-Smart/vedadet

4.模型训练完之后,效果不够好,我们需要把FP、FN打印出来,分析模型存在的问题;

https://github.com/Media-Smart/volkscv/tree/master/volkscv/analyzer/visualization

5.模型训练好之后,需要将模型转换为应用并进行部署,这里需要用TensorRT对模型进行加速,然后根据业务需求编写Python前端或者C++++前端的SDK;

加速
https://github.com/Media-Smart/volksdep

Python前端
https://github.com/Media-Smart/flexinfer

示例

C++前端
https://github.com/Media-Smart/cheetahinfer

6.计算机行业竞争激烈,平常得抽空加强学习,无论是工程、模型还是算法方面,都需要持续不断学习,把自己训练为一名六边形战士。

工程
https://github.com/mileistone/study_resources/tree/master/engineering

模型
https://github.com/mileistone/study_resources/tree/master/modeling

算法
https://github.com/mileistone/study_resources/tree/master/modeling/optimization_and_generalization

上述的“2、数据分析”提供以下功能。

1、浏览图片和标注

比如分类、目标检测、语义分割等等,这可以帮助我们对数据有一个感性的认识,可以定性出来这个任务有哪些挑战。

2、图片和标注分析

比如图片大小分布,图片长宽比分布,图片中GT框数量分布,GT框长宽分布等等,这可以让我们对数据有一些理性的认识,让我们可以定量这个任务存在的挑战。

3、打印模型预测结果中的FP、FN

比如分类。

比如目标检测。

比如语义分割。

打印FP、FN可以让我们发现模型存在的问题,进而有助于我们分析问题、定位问题直至解决问题。

4、anchor分析

比如GT匹配上的anchor数量分布,GT与匹配上anchor的IoU分布等等。这有助于我们设计出更好的anchor策略,比如anchor应该放在哪几层,每一层anchor数量应该设置多少,对应的大小和长宽比是多少,以及label assignment该怎么做等等。

汇总

https://github.com/Media-Smart/vedaseg

https://github.com/Media-Smart/vedastr

https://github.com/Media-Smart/vedacls

https://github.com/Media-Smart/vedadet

Media-Smart/volksdep,https://github.com/Media-Smart/volksdep

Media-Smart/flexinfer,https://github.com/Media-Smart/flexinfer

https://github.com/Media-Smart/cheetahinfer

https://github.com/Media-Smart/volkscv

https://github.com/mileistone/study_resources

- 数据分析 - [volkscv](https://github.com/Media-Smart/volkscv/tree/master/volkscv/analyzer/) - 数据浏览 -> 获取感性认识 - 图片、标注 - 数据统计 -> 获取理性认识 - 图片统计 - 大小 - 长宽比 - 等等 - 标注统计 - 类别 - 各个类别有多少实例 - 等等 - GT框 - 大小 - 长宽比 - 等等 - anchor分析 - GT挂上anchor的数量分布 - GT与挂上anchor的IoU分布- 模型训练 - [vedaseg](https://github.com/Media-Smart/vedaseg) - semantic segmentation - [vedastr](https://github.com/Media-Smart/vedastr) - scene text recognition - [vedacls](https://github.com/Media-Smart/vedacls) - classification - [vedadet](https://github.com/Media-Smart/vedadet) - object detection - 应用部署 - [volksdep](https://github.com/Media-Smart/volksdep) - increase efficiency and decrease latency - convert PyTorch,ONNX model to TensorRT engine - [flexinfer](https://github.com/Media-Smart/flexinfer) -> Python front end SDK based on TensorRT engine - classification - semantic segmentation - scene text recognition - object detection - [cheetahinfer](https://github.com/Media-Smart/cheetahinfer) -> C++ front end SDK based on TensorRT engine - classification - semantic segmentation - object detection- 学习资源 - [学习框架]

(https://github.com/mileistone/study_resources/tree/master/modeling/learning_framework) - 知识点 - 相关课程与书籍 - 基础 - [工程](https://github.com/mileistone/study_resources/tree/master/engineering) - 编程语言 - Python - C++ - 软件工程 - 设计模式 - 操作系统 - Linux - Bash - Vim - 编译工具链 - [模型](https://github.com/mileistone/study_resources/tree/master/modeling) - 内容 - 机器学习 - 深度学习 - 计算机视觉 - 形式 - 课程 - 书籍 - 论文 - [算法](https://github.com/mileistone/study_resources/tree/master/modeling/optimization_and_generalization) - 凸优化 - 数值优化

责任编辑:xj

原文标题:CVChain:一条用视觉竞赛和项目经验打磨出的计算机视觉完整工具链

文章出处:【微信公众号:新机器视觉】欢迎添加关注!文章转载请注明出处。

原文标题:CVChain:一条用视觉竞赛和项目经验打磨出的计算机视觉完整工具链

文章出处:【微信号:vision263com,微信公众号:新机器视觉】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

计算机视觉方向简介

其中VO(visual odometry)指仅视觉的里程计,T表示位置和姿态。松耦合中视觉运动估计和....
的头像 机器视觉自动化 发表于 04-15 15:14 94次 阅读
计算机视觉方向简介

计算机视觉可以学习美式手语,进而帮助听力障碍群体吗?

对普通人而言轻轻松松的事情对于听障群体可能是很困难的,他们甚至还会因此遭到歧视。在很多场景下,他们无....
的头像 新机器视觉 发表于 04-15 15:09 89次 阅读
计算机视觉可以学习美式手语,进而帮助听力障碍群体吗?

一种新型的子集比例动态选取方法

水下图像往往质量较低且数量众多,在许多应用中需要对其执行大规模的一致増强。在子集导引一致増强评估准则....
发表于 04-14 11:09 62次 阅读
一种新型的子集比例动态选取方法

未来机器人柔性物流无人化解决方案与应用案例

凭借着独特的技术路线和优秀的物流无人化方案,未来机器人逆势增长,以惊人的速度完成多领域项目落地和刚需....
的头像 机器人大讲堂 发表于 04-12 10:32 441次 阅读
未来机器人柔性物流无人化解决方案与应用案例

双目立体计算机视觉的立体匹配研究综述

双目立体视觉技术具有成本低、适用性广的优点,在物体识别、目标检测等方面应用广泛,成为计算机视觉领域的....
发表于 04-12 09:47 14次 阅读
双目立体计算机视觉的立体匹配研究综述

关于OpenCV4.5.2的浅析

OpenCV 是 Intel 开源计算机视觉库,它实现了图像处理和计算机视觉方面的很多通用算法。
的头像 新机器视觉 发表于 04-09 11:14 146次 阅读
关于OpenCV4.5.2的浅析

基于人工智能技术的OCR应用

光学字符识别(Optical Character Recognition,OCR)是将图像中的文字信....
的头像 新机器视觉 发表于 04-09 10:54 334次 阅读
基于人工智能技术的OCR应用

东软睿驰“领跑”ADAS量产赛道

东软睿驰前视一体机在国内主要商用车品牌的预警类法规强制项目上已经进行了大规模量产,并在乘用车上量产了....
的头像 电子发烧友网工程师 发表于 04-08 14:37 417次 阅读
东软睿驰“领跑”ADAS量产赛道

视觉问答与对话任务研究综述

视觉问答与对话是人工智能领堿的重要硏究任务,是计算机视觉与自然语言处理交叉领域的代表性问题之一。视觉....
发表于 04-08 10:33 13次 阅读
视觉问答与对话任务研究综述

基于计算机视觉和NLP的跨媒体问答与推理

基于视觉和语言的跨媒体问答与推理是人工智能领域的研究热点其目的是基于给定的视觉内容和相关问题,模型能....
发表于 04-08 10:25 17次 阅读
基于计算机视觉和NLP的跨媒体问答与推理

基于LPC2106微处理器实现微型足球机器人控制系统的设计

以应用为中心的嵌入式系统,已经深入到生活的各个方面。相对于其它领域,智能机器人系统可以说是嵌入式系统....
的头像 电子设计 发表于 04-08 09:58 2333次 阅读
基于LPC2106微处理器实现微型足球机器人控制系统的设计

结合注意力机制的改进深度学习光流网络

为提升基于编解码架构的U型网络在深度学习光流估计中的精度,提岀了一种结合注意力机制的改进有监督深度学....
发表于 04-07 13:56 25次 阅读
结合注意力机制的改进深度学习光流网络

关于AI芯片的概念与发展历程及其应用领域

AI芯片是人工智能时代的技术核心之一,决定了平台的基础架构和发展生态。作为人工智能产业的重中之重,A....
的头像 传感器技术 发表于 04-06 15:50 590次 阅读
关于AI芯片的概念与发展历程及其应用领域

基于深度神经网络的图像语义分割方法

图像语义分割是计算机视觉领堿近年来的热点硏究课题,随着深度学习技术的兴起,图像语义分割与深度学习技术....
发表于 04-02 13:59 37次 阅读
基于深度神经网络的图像语义分割方法

解析Transformer中的位置编码 -- ICLR 2021

引言 Transformer是近年来非常流行的处理序列到序列问题的架构,其self-attentio....
的头像 深度学习自然语言处理 发表于 04-01 16:07 240次 阅读
解析Transformer中的位置编码 -- ICLR 2021

基于双孪生网络的自适应选择跟踪系统ASTS

孪生网络在解决目标跟踪问题时具有较大的速度和精度优势,在跟踪领域得到广泛应用。双孪生网络由独立的语义....
发表于 04-01 15:14 15次 阅读
基于双孪生网络的自适应选择跟踪系统ASTS

基于深度学习的三维点云语义分割研究分析

近年来,深度传感器和三维激光扫描仪的普及推动了三维点云处理方法的快速发展。点云语义分割作为理解三维场....
发表于 04-01 14:48 23次 阅读
基于深度学习的三维点云语义分割研究分析

关于深度学习图像分类不得不说的技巧详解

计算机视觉主要问题有图像分类、目标检测和图像分割等。针对图像分类任务,提升准确率的方法路线有两条,一....
的头像 新机器视觉 发表于 04-01 14:29 235次 阅读
关于深度学习图像分类不得不说的技巧详解

2021年机器深度学习还有哪些坑比较好挖?

从做框架的角度看到几个方向,供参考: 1、AI与科学计算结合 AI技术,特别是深度学习/强化学习/图....
的头像 中科院长春光机所 发表于 03-30 17:54 850次 阅读
2021年机器深度学习还有哪些坑比较好挖?

赛灵思在充满未知的宇宙探索领域,贡献了不可忽视的力量

早在2004年,当“勇气号”和“机遇号”探索火星时,NASA 的喷气推进实验室团队便已经在两部火星车....
的头像 FPGA开发圈 发表于 03-30 15:09 223次 阅读
赛灵思在充满未知的宇宙探索领域,贡献了不可忽视的力量

一种基于改进FREAK的图像特征点匹配算法

为提升图像匹配算法的实时性和鲁棒性,提出一种基于改进 FREAK的特征点匹配算法。将经典 FREAK....
发表于 03-30 10:52 19次 阅读
一种基于改进FREAK的图像特征点匹配算法

一种全新的棋盘角点检测方法

角点检测是摄像机校准的重要环节,可通过对棋盘图像进行角点检测来确定摄像机的内外参数,然而传统方法在检....
发表于 03-30 09:44 13次 阅读
一种全新的棋盘角点检测方法

计算机视觉的三大主流方向:图像分割、目标跟踪与目标检测

虽然越来越多的伙伴想要从事计算机视觉领域的工作,但在入门学习时没有专业的指导,直接将深度学习作为学习....
的头像 新机器视觉 发表于 03-29 11:15 200次 阅读
计算机视觉的三大主流方向:图像分割、目标跟踪与目标检测

关于物体识别技术最详细讲解

物体识别是计算机视觉领域中的一项基础研究,它的任务是识别出图像中有什么物体,并报告出这个物体在图像表....
的头像 新机器视觉 发表于 03-27 09:22 594次 阅读
关于物体识别技术最详细讲解

关于自动驾驶的车道线检测与智能告警浅解

自动驾驶将在未来十年给旅行带来革命性的变化。目前,自动驾驶应用正在进行各种应用案例的测试,包括乘用车....
的头像 新机器视觉 发表于 03-27 09:06 449次 阅读
关于自动驾驶的车道线检测与智能告警浅解

Graphcore携手Supermicro扩充IPU-POD配置选项

IPU-POD系统中的IPU-M2000和主机服务器可以按不同的比率进行配置,根据特定机器智能工作负....
的头像 西西 发表于 03-25 17:07 482次 阅读
Graphcore携手Supermicro扩充IPU-POD配置选项

采用动态双窗口的视觉导航与路径特征识别方法

针对变电站巡检机器人导航精度低与巡检点识别魯棒性差的问题,提岀一种采用动态双窗口的视觉导航与路径特征....
发表于 03-23 16:01 26次 阅读
采用动态双窗口的视觉导航与路径特征识别方法

基于深度学习的二维人体姿态估计方法

基于深度学习的二维人体姿态估计方法通过构建特定的神经网络架构,将提取的特征信息根据相应的特征融合方法....
发表于 03-22 15:51 22次 阅读
基于深度学习的二维人体姿态估计方法

依图科技科技“中止”科创板上市计划

香颂资本执行董事分析,依图科技中止IPO应该是为了补充2020年财报,因为申报过程跨了一个财务年度,....
的头像 新机器视觉 发表于 03-20 10:24 1377次 阅读
依图科技科技“中止”科创板上市计划

基于深度学习的计算机视觉技术在医疗领域中的现状与应用

十年来,人工智能取得了前所未有的进展,包括医学在内的许多领域都有望从中受益。在该论文中,研究者调查了....
的头像 新机器视觉 发表于 03-20 10:02 489次 阅读
基于深度学习的计算机视觉技术在医疗领域中的现状与应用

详解旋转目标检测方法与结果

极市导读本文是今年刚被CVPR接收的文章,关于CSL的优化版本Densely Coded Label....
的头像 中科院长春光机所 发表于 03-19 11:14 342次 阅读
详解旋转目标检测方法与结果

全面解析SEI膜形机理及化成工艺

锂离子电池的生产工艺中,化成是极其重要的步骤,该步骤主要包括电芯完成注液后对电芯进行首次充电过程,该....
的头像 锂电联盟会长 发表于 03-18 16:02 488次 阅读
全面解析SEI膜形机理及化成工艺

一个国外博士便DIY了一种高端的杀蚊方式

200多块的树莓派3 Model B+:它采用的是1.4GHz四核处理器,具体型号为Broadcom....
的头像 机器人大讲堂 发表于 03-17 16:42 385次 阅读
一个国外博士便DIY了一种高端的杀蚊方式

一种基于最小点对成本改进轮廓精确匹配与分析方法

针对物体识别中轮廓精确匹配亐部位识别冋题,提岀一种基于最小点对成本的改进轮廓精确匹配与分析方法。采用....
发表于 03-16 13:58 55次 阅读
一种基于最小点对成本改进轮廓精确匹配与分析方法

光谱导航技术在果树果实定位中有什么样的应用

将光谱技术与导航技术有机结合是光谱分析技术的一个新颖且重要的应用方向。果实表面的反射光谱特征是果实物....
发表于 03-16 10:39 36次 阅读
光谱导航技术在果树果实定位中有什么样的应用

一种基于深度相机的排爆机器人自主抓取系统

在传统基于固定视觉的排爆机器人抓取系统中,相杋视觉易被遮挡且不能保证拍摄清晰度。基于随动视觉技术,提....
发表于 03-12 15:19 50次 阅读
一种基于深度相机的排爆机器人自主抓取系统

如何使用区域相似度实现局部拟合活动轮廓模型

针对局部二值化拟合(LBF)模型不能分割纹理图像和收敛速度慢等问题,提出一种结合局部拟合与区域间相似....
发表于 03-12 14:27 41次 阅读
如何使用区域相似度实现局部拟合活动轮廓模型

什么是边缘检测?边缘检测的算法由来

在这篇文章中,我们将学习如何在OpenCV中使用基于深度学习的边缘检测,它比目前流行的canny边缘....
的头像 新机器视觉 发表于 03-12 10:00 441次 阅读
什么是边缘检测?边缘检测的算法由来

基于MASK模型的视频问答机制设计方案

视频问答是深度学习领域的研究热点之一,广泛应用于安防和广告等系统中。在注意力机制框架下,建立先验MA....
发表于 03-11 11:43 23次 阅读
基于MASK模型的视频问答机制设计方案

计算机视觉技术的概念

正像其它学科一样,一个大量人员研究了多年的学科,却很难给出一个严格的定义,模式识别如此,目前火热的人....
的头像 传感器技术 发表于 03-10 14:19 341次 阅读
计算机视觉技术的概念

宇视科技与赢识科技联合开发AI案场解决方案

房价居高不下,是当今社会的一大痛点。在房地产开发中,除了土地、工程、设施、管理等硬成本,宣传广告和房....
的头像 电子魔法师 发表于 03-08 14:48 1063次 阅读
宇视科技与赢识科技联合开发AI案场解决方案

探讨人工智能的特点与如何让人工智能更好的服务我们生活

人工智能,或称人工智能,让我们在自拍时看起来更好,当我们向Alexa询问天气情况时,会顺从地告诉我们....
的头像 beanxyy 发表于 03-08 14:43 285次 阅读
探讨人工智能的特点与如何让人工智能更好的服务我们生活

即将迎来技术突破的十大人工智能技术及其应用领域

当“人工智能”一词在一次会议上首次被提出时,没有人想到有一天,它将取代所有重复性的工作,使人类不再从....
的头像 beanxyy 发表于 03-08 09:05 952次 阅读
即将迎来技术突破的十大人工智能技术及其应用领域

Motional为其无人驾驶汽车选择了安霸CVflow系列AI处理器

Motional在实现无人驾驶汽车方面处于行业领先地位;公司最近成为全球首家部署公路无人驾驶汽车的公....
的头像 MEMS 发表于 03-06 09:46 473次 阅读
Motional为其无人驾驶汽车选择了安霸CVflow系列AI处理器

计算机视觉之目标检测

目标检测是计算机视觉领域中一个新兴的应用方向。图像分类是对图像进行分类,比如判断图像中是否是车。定位....
发表于 03-06 06:02 59次 阅读
计算机视觉之目标检测

对于深度学习优缺点的分析与其应用的局限性

深度学习在语音识别、图像理解、自动驾驶汽车、自然语言处理、搜索引擎优化等方面提供了显著的功能和进步。
的头像 beanxyy 发表于 03-05 16:15 403次 阅读
对于深度学习优缺点的分析与其应用的局限性

具有计算机视觉的树莓派机器人手臂

当只给出目标位置时,我对伺服器的运动并不满意。停车和起动太苛刻,太突然了。到达目标位置后,机械臂在晃....
的头像 电路设计技能 发表于 03-05 14:57 375次 阅读
具有计算机视觉的树莓派机器人手臂

3D计算机视觉的图像表示方法

这个模型首先也是输出一个3通道的彩色图片,经过一个全卷积神经网络(FCN)然后对深度图进行估计,输出....
的头像 新机器视觉 发表于 03-04 09:54 294次 阅读
3D计算机视觉的图像表示方法

计算机视觉主要完成哪些任务?

图像分类是目标检测、语义分割的重要支撑,其目标是将不同的图像划分到不同的类别,并实现最小的分类误差。....
的头像 新机器视觉 发表于 03-04 09:30 335次 阅读
计算机视觉主要完成哪些任务?

用于计算机视觉训练的图像数据集介绍

用于计算机视觉训练的图像数据集
发表于 02-26 07:35 101次 阅读
用于计算机视觉训练的图像数据集介绍

计算机视觉领域的关键技术/典型算法模型/通信工程领域的应用方案

本文首先总结了计算机视觉领域的重要关键技术以及典型算法模型,随后介绍了这些技术在通信工程领域内设备安装、施工验收、三维测...
发表于 12-03 13:58 202次 阅读
计算机视觉领域的关键技术/典型算法模型/通信工程领域的应用方案

请问计算机视觉与深度学习要看什么书?

计算机视觉与深度学习,看这本书就够了
发表于 05-21 12:43 480次 阅读
请问计算机视觉与深度学习要看什么书?

图像处理与计算机视觉相关的书籍有哪些

图像处理与计算机视觉相关的书籍
发表于 05-20 13:58 880次 阅读
图像处理与计算机视觉相关的书籍有哪些

如何提取颜色特征?

计算机视觉的特征提取算法研究至关重要。在一些算法中,一个高复杂度特征的提取可能能够解决问题(进行目标检测等目的),但这将...
发表于 10-12 06:55 920次 阅读
如何提取颜色特征?

CEVA-CV在嵌入式视觉应用发挥着什么样的作用?

计算机视觉(Computer  Vision,CV)正在现实活动中经历着巨大的激增,应用范围从使用手势控制电视到可提醒驾驶员汽...
发表于 09-23 08:12 348次 阅读
CEVA-CV在嵌入式视觉应用发挥着什么样的作用?

计算机视觉/深度学习领域常用数据集汇总

深度学习领域的“Hello World!”,入门必备!MNIST是一个手写数字数据库,它有60000个训练样本集和10000个测试样本集,...
发表于 08-29 10:36 2597次 阅读
计算机视觉/深度学习领域常用数据集汇总

一种改进的矩不变自动阈值算法

摘要:提出了一种改进的矩不变自动阈值算法。该算法针对矩不变自动阈值法忽略图像细节的缺点,在矩不变自动阈值的基础上增加了基...
发表于 08-24 16:22 940次 阅读
一种改进的矩不变自动阈值算法

没想到,有一天AI也会被「调戏」!

从“跳一跳”之后,又有一款小程序游戏因其独特好玩的个性,在朋友圈C位出道了。 几天前,谷歌发布了一款名为“猜画小歌”...
发表于 07-23 09:11 1888次 阅读
没想到,有一天AI也会被「调戏」!

高级机器学习算法工程师--【北京】

职位描述: 1. 负责计算机视觉&机器学习(包括深度学习)算法的开发与性能提升,负责下述研究课题中的一项或多项,包括但不限于...
发表于 12-07 14:34 2800次 阅读
高级机器学习算法工程师--【北京】