侵权投诉

关于人类视觉理解机理

通信信号处理研究所 2020-07-04 09:32 次阅读

近期,上海交通大学卢策吾团队在《自然 - 机器智能》子刊上发表了关于高维度视觉序列理解的研究成果《Complex sequential understanding through the awareness of spatial and temporal concepts》。

与此同时,该团队将论文代码与近两年在视频理解领域的先进成果开源为视频理解工具箱 AlphaVideo。

AlphaVideo 在物体跟踪任务(MOT)和行为理解(AVA 单模型)上都达到最高准确率,相比 SlowFast (AVA 单模型)有 12.6% 的性能提升。

动作理解任务的时空信息特征图。左:输入序列;右:空间特征更关注物体形状,时间特征更关注物体运动趋势。

AlphaVideo 中的行为理解(Alphaction)

时空概念提取展示

人类视觉理解机理

在人类的视觉认知过程中,时间和空间概念是解耦的。神经科学领域的研究发现在人类的记忆形成过程中,时间信息与空间上下文信息通过两个相对独立的信息通路到达海马体,进而形成完整的记忆。

新技能:自主学习时空概念

通过模仿人类的认知机制,卢策吾团队提出了应用于高维度信息的半耦合结构模型(SCS)。

SCS 自主发掘(awareness)时间 - 空间概念,并让他们耦合协作以理解序列信息。这种能力代表着机器学习模型自主掌握了时空的概念,这是一种更高层的智能。更进一步,时空信息概念的分离也让「概念编辑」成为可能。

半耦合结构模型(SCS)

半耦合结构首先解耦时空信息(模仿人脑中的两条信息通路),并在分别处理时间和空间信息之后将二者耦合(模仿海马体):

关于人类视觉理解机理

该研究通过堆叠这种半耦合的元结构来构建深度模型,其中时空信息始终以先解耦再融合的模式向后流动。

为了让 h_s 和 h_t 各司其职,研究者将 h_s 和 h_t 设计为不对称的结构,同时,使用两个特殊的监督目标 r_s、r_t 来进一步约束二者关注各自的工作。

该研究进一步提出了一种训练注意力机制。这种注意力机制控制模型在优化过程中学习哪种信息。例如在视频信息中,模型可以优先将注意力集中在空间信息上,待空间信息有效且稳定时,再逐步将模型训练的注意力转换到时间信息上。

SCS 的表现如何?

该研究展示了 SCS 在多项任务中与传统 LSTM 的性能对比结果:

关于人类视觉理解机理

SCS 在视频动作分类、自动驾驶、天气预报等 4 个任务上的性能均超越传统的序列模型。

概念编辑

有了时空分离的能力,SCS 就可以初步做到「概念编辑」。比如,通过编辑空间概念且保留时间概念,我们可以让一个原本用于预测狗运动轨迹的模型来预测猫的轨迹。这样就能以较小的代价实现模型的泛化,同时也拓宽了模型的使用场景,降低了部署难度。

概念编辑 demo

研究者让计算机看 Flappy Bird 的视频,然后看一张静态的 Mario 图片(外观形象)。在这个过程中,模型并没有接触到任何 Mario 在管道中穿梭的运动信息。但通过「概念编辑」,在测试时 SCS 可以准确地预测 Mario 的运动轨迹。

视频理解工具箱 AlphaVideo

在视频理解工具箱 AlphaVideo 中,除了上述 SCS 时空概念分解,研究者还提供了单阶段端对端训练的多目标跟踪模型 TubeTK 和视频动作检测模型 AlphAction。使用一行代码,即可调用预训好的各类模型。

AlphAction

AlphAction 是面向行为理解的开源系统,基于 MVIG 提出的交互理解与异步训练策略  在 AVA 数据集上达到最优准确率,速度达到 10 帧每秒。其中包含的 15 个开源常见行为基本模型的 mAP 达到约 70%,接近可以商用的水平。

TubeTK

TubeTK 是上海交大 MVIG 组提出的基于 Bounding-Tube 的单阶段训练模型(CVPR2020-oral),是首个单阶段端对端训练的多目标跟踪模型。它在 MOT-16 数据集上达到了 66.9 MOTA 的精度,是目前 online 模型仅在 MOT 训练数据下达到的最高精度 。

TubeTK 可视化结果

关于人类视觉理解机理

Bounding-Tube 示意图。使用 bounding-tube 可以轻松跟踪到 bounding-box 无法检测到的被遮挡目标(图中黄色框)。
       责任编辑:pj

原文标题:一行代码调用预训练模型,上海交大开源视频理解工具箱AlphaVideo

文章出处:【微信号:tyutcsplab,微信公众号:通信信号处理研究所】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

随着智能和边缘处理添加到汽车组件中,模块故障传播的概率更低

法国小说家Jean-Baptiste Karr经常被引用的一句话,翻译下来大致意思是“越多事情改变,....
发表于 08-09 00:08 62次 阅读
随着智能和边缘处理添加到汽车组件中,模块故障传播的概率更低

车载ECU外围电源配置是罗姆针对功能安全在电源方面所作的提升

ISO 26262主要针对“功能安全”,那么何为“功能安全”?李春华先生解释道,“我们定义为安全是没....
的头像 我快闭嘴 发表于 08-07 16:32 217次 阅读
车载ECU外围电源配置是罗姆针对功能安全在电源方面所作的提升

文远知行宣布获得全国首个智能网联汽车远程测试许可

据介绍,测试车辆配备先进的5G远程操控功能,路测时,主驾驶位没有安全员,而是采取远程操控。基于5G网....
的头像 机器人技术与应用 发表于 08-07 15:38 266次 阅读
文远知行宣布获得全国首个智能网联汽车远程测试许可

华为技术有限公司新增一条自动驾驶方面的专利

专利摘要显示,本申请实施例公开了一种自动驾驶方法以及自动驾驶系统,用于根据用户的历史驾驶行为数据以及....
的头像 机器人技术与应用 发表于 08-07 15:33 358次 阅读
华为技术有限公司新增一条自动驾驶方面的专利

腾讯公司推出新一代自动驾驶虚拟仿真平台TADSim 2.0

TAD Sim 2.0不仅可以模拟汽车行驶过程中遇到的各种天气和道路突发情况外,还能模拟突然窜出的行....
的头像 机器人技术与应用 发表于 08-07 15:22 601次 阅读
腾讯公司推出新一代自动驾驶虚拟仿真平台TADSim 2.0

莱迪思的FPGA提供低功耗协处理,支持sub-LVDS和其他接口标准进行转换

低功耗可编程器件的领先供应商莱迪思半导体公司宣布,安霸公司(Ambarella)(NASDAQ:AM....
发表于 08-07 15:09 69次 阅读
莱迪思的FPGA提供低功耗协处理,支持sub-LVDS和其他接口标准进行转换

郑州将迎来一个更加智慧的交通出行时代

据悉,郑州智慧交通包括智能网联公交、自动物流配送、自动驾驶泊车、自动网约出租车等N个场景实现自动驾驶....
的头像 机器人技术与应用 发表于 08-07 15:00 246次 阅读
郑州将迎来一个更加智慧的交通出行时代

百度智行信息科技(重庆)有限公司在重庆举行揭牌仪式

当天,在揭牌活动的同时,百度Apollo与招商局重庆交通科研设计院、重庆车检院达成战略合作,三方将基....
的头像 机器人技术与应用 发表于 08-07 14:29 1023次 阅读
百度智行信息科技(重庆)有限公司在重庆举行揭牌仪式

奥托立夫:将安全电子及自动驾驶等技术作为其未来增长引擎

安波福公司由原来的电子与安全和电子/电气架构业务板块组成,聚焦于加速推动主动安全、自动驾驶、提升驾乘....
发表于 08-07 14:00 43次 阅读
奥托立夫:将安全电子及自动驾驶等技术作为其未来增长引擎

Yandex预计在未来几个月内将在Innopolis增加100辆索纳塔自动驾驶汽车

该家俄罗斯自动驾驶公司表示,密歇根州具有充满“进步性”和“支持性”的监管环境,有助于其“快速”发展和....
发表于 08-07 11:42 249次 阅读
Yandex预计在未来几个月内将在Innopolis增加100辆索纳塔自动驾驶汽车

我国首个出口伊斯坦布尔无人驾驶地铁下线

据悉,列车采用全自动驾驶设计,后期能够适应各种无人驾驶运行场景的需求;采用全自动车辆重联运营技术,使....
的头像 机器人技术与应用 发表于 08-07 11:14 247次 阅读
我国首个出口伊斯坦布尔无人驾驶地铁下线

AutoX获得全球第二张加州全无人驾驶牌照(可载人)

AutoX于2016年9月在硅谷创立,总部位于深圳,布局全球八大地区城市,在北京、上海、硅谷、圣地亚....
的头像 机器人技术与应用 发表于 08-07 10:47 327次 阅读
AutoX获得全球第二张加州全无人驾驶牌照(可载人)

国务院办公厅发布《关于进一步优化营商环境更好服务市场主体的实施意见》

道路测试是实现智能网联车产业化和商业化的基础,因此我国高度重视智能网联汽车公共道路测试情况,近年来加....
的头像 机器人技术与应用 发表于 08-07 10:22 303次 阅读
国务院办公厅发布《关于进一步优化营商环境更好服务市场主体的实施意见》

交通运输部举行线上例行新闻发布会

此前,7月8日,国家发改委、交通部等11部门联合发布《关于支持民营企业参与交通基础设施建设发展的实施....
的头像 机器人技术与应用 发表于 08-07 10:09 184次 阅读
交通运输部举行线上例行新闻发布会

未来菲亚特克莱斯勒将与Waymo独家合作开发完全自动驾驶车辆

两家公司表示,他们将共同开发用于运载货物的自动驾驶轻型商用车辆,首先将Waymo的自动驾驶技术集成到....
的头像 机器人技术与应用 发表于 08-07 09:52 520次 阅读
未来菲亚特克莱斯勒将与Waymo独家合作开发完全自动驾驶车辆

内蒙古自治区首辆5G无人驾驶接驳车完成调试,即将上路开跑

此次5G自动驾驶接驳车的测试道路,选定在康巴什区景观最为集中的康巴什中轴线,全程约7公里,覆盖当地7....
的头像 机器人技术与应用 发表于 08-07 09:35 196次 阅读
内蒙古自治区首辆5G无人驾驶接驳车完成调试,即将上路开跑

百度正式宣布量产自动驾驶计算平台Apollo Computing Unit正式下线

作为百度Apollo自动驾驶的专用计算平台,ACU具备全面的AI能力,涵盖高精建图和定位、环境感知、....
的头像 机器人技术与应用 发表于 08-07 09:13 249次 阅读
百度正式宣布量产自动驾驶计算平台Apollo Computing Unit正式下线

拿什么来拯救那些奇葩的停车姿势?

自动驾驶计算平台 ACU 上搭载了赛灵思车规级芯片平台Zynq® UltraScale+™ MPSo....
发表于 08-07 09:04 204次 阅读
拿什么来拯救那些奇葩的停车姿势?

快讯:中国自主研发水下智能清洗机器人在青岛港码头下水

日前,中国自主研发的首台商用水下智能清洗机器人在青岛港码头下水。据介绍,该水下智能清洗机器人是由飞马....
的头像 机器人大讲堂 发表于 08-06 15:58 291次 阅读
快讯:中国自主研发水下智能清洗机器人在青岛港码头下水

大规模仿真测试环境是ADAS和AV技术得以安全测试和验证的唯一环境?

与现代摩比斯建立合作也标志着Cognata在亚洲快速持续扩张的又一个重要里程碑。Cognata在整个....
发表于 08-06 15:09 195次 阅读
大规模仿真测试环境是ADAS和AV技术得以安全测试和验证的唯一环境?

日本新技术可帮助自动驾驶汽车在远距离探测交通信号灯,并做出响应

在车辆、行人和各种物体都密集的城市地区,自动驾驶车辆面临着特殊的挑战,通常需要利用传感器来估计位置,....
发表于 08-06 15:01 109次 阅读
日本新技术可帮助自动驾驶汽车在远距离探测交通信号灯,并做出响应

加州理工设计新算法控制多个无人机移动,并且不会“撞车”

为了测试他们的新系统,Chung和Yue的团队在多达16架四旋翼无人机上安装了GLAS和神经群,并在....
的头像 机器人大讲堂 发表于 08-06 14:56 171次 阅读
加州理工设计新算法控制多个无人机移动,并且不会“撞车”

未来电动汽车的竞争将会聚焦在自动驾驶技术以及电池技术?

此外,特斯拉在疫情期间的抗风险能力表现最强,生产几乎没有受到影响;而全球其他汽车巨头都蒙受了因工厂停....
发表于 08-06 13:35 365次 阅读
未来电动汽车的竞争将会聚焦在自动驾驶技术以及电池技术?

在UNECE的车辆法规协调论坛上决议了三项智能网联汽车领域的重要法规

新型技术在引发汽车行业变革、加速技术创新的同时,也对车辆安全性提出了前所未有的挑战。作为一家在汽车工....
发表于 08-06 10:28 162次 阅读
在UNECE的车辆法规协调论坛上决议了三项智能网联汽车领域的重要法规

Cohda公司的V2X解决方案能实现自动驾驶汽车与智慧城市基础设施的互联

在智慧城市自动驾驶汽车软件与验证应用互联、采矿与其它环境开发方面,Cohda Wireless始终处....
的头像 我快闭嘴 发表于 08-06 10:15 712次 阅读
Cohda公司的V2X解决方案能实现自动驾驶汽车与智慧城市基础设施的互联

中国首款车规级AI芯片:地平线征程2

中国是全球最大的物流市场之一,低速和限定场景下的无人配送被视为是自动驾驶技术率先落地应用的场景之一。....
发表于 08-06 09:27 368次 阅读
中国首款车规级AI芯片:地平线征程2

至2035年自动驾驶及电动汽车零部件将产生超200亿美元的利润增量空间

归根结底,自动驾驶技术的核心,还是在于实现真正的全无人化。“真正的全无人化”,是指从技术层面真正做到....
发表于 08-05 18:51 374次 阅读
至2035年自动驾驶及电动汽车零部件将产生超200亿美元的利润增量空间

Xilinx助力百度 Apollo 自动驾驶计算平台 ACU正式量产下线

百度 ACU 是 Apollo 面向量产的自动驾驶车载计算单元,根据不同需求场景的计算能力要求分为多....
发表于 08-05 15:33 473次 阅读
Xilinx助力百度 Apollo 自动驾驶计算平台 ACU正式量产下线

自动驾驶插秧机的结构设计研究论文详细说明

本文设计自动导航插秧机的电控转向机构、油门控制机构与刹车控制机构。电控转向机构由直流减速电机驱动,带....
发表于 08-05 14:29 260次 阅读
自动驾驶插秧机的结构设计研究论文详细说明

自动驾驶最新消息:谷歌前自动驾驶工程师获刑 日本德国美国百花齐放

自动驾驶领域的国际合作也在不断加深。中日两国汽车工业协会2018年签署合作备忘录,提出将在汽车自动驾....
发表于 08-05 11:27 147次 阅读
自动驾驶最新消息:谷歌前自动驾驶工程师获刑 日本德国美国百花齐放

无人机在多个领域的应用案例

当无人机首次进入未知的天空时,情况并没有这么乐观。历史记载指出,它们主要用于军事和战争原因。幸运的是....
的头像 我快闭嘴 发表于 08-05 11:16 335次 阅读
无人机在多个领域的应用案例

MEMS设备的产品特点与主要用途

为了提高汽车设计的安全性,村田(Murata)近期发布了其最新6轴一体封装、3D MEMS惯性力传感....
的头像 lhl545545 发表于 08-05 10:42 179次 阅读
MEMS设备的产品特点与主要用途

国务院:2020年底前优化新能源车审批发布程序

2020年底前优化新能源汽车免征车辆购置税的车型目录和享受车船税减免优惠的车型目录发布程序,实现与道....
的头像 汽车工程师 发表于 08-04 14:56 301次 阅读
国务院:2020年底前优化新能源车审批发布程序

特斯拉不断开放相关技术,其实是要打倒燃油车

然后,特斯拉首席执行官埃隆·马斯克(Elon Musk)回复了TESLARATI的这条推特,马斯克写....
的头像 汽车工程师 发表于 08-04 11:26 336次 阅读
特斯拉不断开放相关技术,其实是要打倒燃油车

ECCO推出的EVAS系统超越了标准系统,让汽车制造商打造一个声音品牌

美国国家公路交通安全管理局(NHTSA)在FMVSS 141规则中提出了电动汽车最低声音要求。具体而....
发表于 08-04 11:07 88次 阅读
ECCO推出的EVAS系统超越了标准系统,让汽车制造商打造一个声音品牌

特斯拉推出雷达和超声波传感器

现在,特斯拉被发现可以在配备自动驾驶仪传感器的支架上测试ModelS,其中甚至发现有固态激光雷达的身....
发表于 08-04 10:51 139次 阅读
特斯拉推出雷达和超声波传感器

德州仪器白皮书:GaN将能源效率推升至新高度

GaN也面临着挑战。过去,这些挑战与制造和提供高质量、可靠GaN的能力相关。然而,随着整个行业制造工....
发表于 08-04 09:42 303次 阅读
德州仪器白皮书:GaN将能源效率推升至新高度

受疫情影响欧洲电信公司指出5G推出速度将显著放缓

普华永道指出,延迟5G的部署会给运营商带来严重的风险和成本,因为许多运营商拥有有限的5G频谱牌照期限....
发表于 08-04 08:53 126次 阅读
受疫情影响欧洲电信公司指出5G推出速度将显著放缓

自动驾驶这些年经历了什么?

自动驾驶汽车通过摄像头、雷达和激光雷达等传感器来感知世界。类似雷达,激光雷达,使用不可见的光脉冲来绘制周围区域的高精度3D...
发表于 08-04 07:27 0次 阅读
自动驾驶这些年经历了什么?

完全自动化的L5级别自动驾驶即将到来

除了法律要求的所有其他机制之外,自动驾驶汽车还有一种单独的机制:汽车在自动驾驶模式下,与另一辆车、物....
的头像 美光科技 发表于 08-03 15:13 209次 阅读
完全自动化的L5级别自动驾驶即将到来

华为正式成立数通自动驾驶网络联合实验室:像改变汽车一样改变网络

从华为官方获悉,近日,华为在苏州成功举办华为自动驾驶网络技术峰会,与来自复旦大学、浙江大学、西安交通....
的头像 21克888 发表于 08-03 14:52 1565次 阅读
华为正式成立数通自动驾驶网络联合实验室:像改变汽车一样改变网络

CAN-bus应用解决方案,助力无人配送行业进程

无人配送是指物品流通环节中没有或是少量人工参与,简单来说,就是简单版的自动驾驶,以人工智能AI为核心....
的头像 ZLG致远电子 发表于 08-03 14:40 245次 阅读
CAN-bus应用解决方案,助力无人配送行业进程

全球两大LiDAR厂商握手言和,禾赛和Velodyne达成专利交叉许可协议

2019年8月15日,有文件显示美国激光雷达公司Velodyne,在美国当地正式起诉来自中国的激光雷....
的头像 MEMS 发表于 08-03 10:47 446次 阅读
全球两大LiDAR厂商握手言和,禾赛和Velodyne达成专利交叉许可协议

PulseMeter技术加速VCSEL测试

因此,Tektronix在其原有的2601 SMU基础上,配备了高速的电流源,并导入PulseMet....
的头像 MEMS 发表于 08-03 10:42 358次 阅读
PulseMeter技术加速VCSEL测试

红外拍摄+皮肤下特征识别,刷手就能坐公交

据悉,熊猫智能公交车由上海企业深兰科技研发制造,车身长12米,有23个座位,包含站立区最大允许乘坐7....
的头像 MEMS 发表于 08-03 10:33 280次 阅读
红外拍摄+皮肤下特征识别,刷手就能坐公交

自动驾驶未来发展分三步走战略

同时它也是一种协作技术,意味着不同的供应商和不同的部件,共享相同的消息类型和语言。
发表于 08-03 08:40 520次 阅读
自动驾驶未来发展分三步走战略

随着人工智能的发展,机器翻译将越来越智能化

又到了一年一度填报高考志愿的时节,在大学工作的笔者也为许多身边的家长和考生出谋划策。但惊讶地发现,现....
的头像 科技观察者 发表于 08-02 09:55 348次 阅读
随着人工智能的发展,机器翻译将越来越智能化

未来智能汽车 V2X产业化全面发展

V2X 的推行,就好像要给全国各地的路都“铺上牛皮”。而专注于发展智能汽车,才是“穿上皮鞋”。
发表于 08-02 09:25 467次 阅读
未来智能汽车 V2X产业化全面发展

大唐高鸿共同致力于推进车联网及自动驾驶产业的融合发展及落地应用

近日,大唐高鸿与四维图新联合宣布签订战略合作协议。协议指出,双方将围绕车路协同、智能网联、智慧交通等....
发表于 08-01 09:24 473次 阅读
大唐高鸿共同致力于推进车联网及自动驾驶产业的融合发展及落地应用

EyeQ5是作为未来全自动驾驶汽车的中央处理器而设计的?

据报道,近日Mobileye和意法半导体宣布将合作研发Mobileye第五代系统芯片——EyeQ5,....
发表于 07-31 15:18 586次 阅读
EyeQ5是作为未来全自动驾驶汽车的中央处理器而设计的?

自动驾驶产业推高MCU需求

相比传统家电、智能家居、游戏机等消费电子类MCU,车用MCU对于可靠性有着严格的要求,主要体现在工作....
发表于 07-31 13:24 420次 阅读
自动驾驶产业推高MCU需求

英特尔的自动驾驶“阿西莫夫三定律”解析

不知从何时,人们把拷问了无数人良心的“电车难题”交给了无人驾驶汽车。于是乎在各种行业论坛和发布会上,我们都能看到不少人面...
发表于 07-31 07:55 0次 阅读
英特尔的自动驾驶“阿西莫夫三定律”解析

自动驾驶为什么需要5G

什么叫自动驾驶?
发表于 07-31 06:53 101次 阅读
自动驾驶为什么需要5G

远红外热成像传感器对自动驾驶的重要性

美国东部时间3月19日晚间,一辆 Uber 的自动驾驶汽车在亚利桑那州坦佩市的公共道路上与一名行人相撞,该行人在送往医院后不治身...
发表于 07-30 07:49 0次 阅读
远红外热成像传感器对自动驾驶的重要性

传感器成自动驾驶“硬实力” 有哪些

随着自动驾驶等前沿科技领域发展加速,传感器的重要性和普及率也获得了持续提升。面对传感器在未来愈发广阔的蓝海“诱惑”,国内...
发表于 07-29 07:54 0次 阅读
传感器成自动驾驶“硬实力” 有哪些

3D传感器如何为车内安全保驾护航?

“我们相信,汽车行业的下一幕不但要将主动安全技术部署在车外空间,对车内的监控也是同等重要的。”3D图像传感器公司Vayyar联...
发表于 07-29 07:38 0次 阅读
3D传感器如何为车内安全保驾护航?

自动驾驶成功的关键是什么?

今天我将主要讨论传感器和传感器数据使用方面的问题,即传感器融合。虽然今天只谈这一个方面,但同时也要意识到三大系统必须协同...
发表于 07-29 06:35 0次 阅读
自动驾驶成功的关键是什么?

加速自动驾驶落地的智能一站式的解决方案解析

美国高速公路安全管理局(NHTSA)认定谷歌算法为“司机”,为汽车最终获准上路行驶扫除了一个重大障碍。在此之前,苹果、等...
发表于 07-29 06:17 203次 阅读
加速自动驾驶落地的智能一站式的解决方案解析

5G时代自动驾驶越来越近了?

近两年,智能手机价格在不断上涨,6GB+64GB成为中高端手机标配,8+128GB容量也是很主流配置了,这都对于内存、闪存芯片的要...
发表于 06-23 15:28 460次 阅读
5G时代自动驾驶越来越近了?

无人驾驶汽车-电力系统能胜任吗?

我们准备好自动驾驶汽车了吗?我最近一直在问自己一个问题,也许你也有这个问题!当然,就我而言,自从我十几岁的女儿刚刚开始学...
发表于 06-16 19:01 138次 阅读
无人驾驶汽车-电力系统能胜任吗?