标签　>　transformer

transformer

+关注0人关注

文章：145个浏览：6809次帖子：3个

全部技术资讯资料帖子视频产品方案企业

transformer技术

Transformers内部运作原理研究

为了理解每个组件的作用，让我们通过训练Transformer解决翻译问题的过程，逐步了解Transformer的工作原理。我们将使用训练数据的一个样本，...

2024-01-30 标签：解码器 Transformer 自然语言处理 4.1k 0

如何利用位置编码实现长度外推？

无论是缩放位置索引还是修改基地，所有token都变得彼此更接近，这将损害LLM区分相近token的位置顺序的能力。结合他们对RoPE的波长的观察，存在一...

2024-01-08 标签：语言模型 Transformer 位置编码器 910 0

自动驾驶感知算法提升处理策略

现代自动驾驶系统的特点是按顺序排列的模块化任务，传统的方法是基于标准的感知-规划-控制这种序列式架构的主流处理方式。即首先将感知信息处理成人类可以理解的...

2023-12-28 标签：人工智能感知算法自动驾驶 1.9k 0

探索高效的大型语言模型！大型语言模型的高效学习方法

在大型语言模型（LLMs）的应用中，提示工程（Prompt Engineering）是一种关键技术，用于引导模型生成特定输出或执行特定任务。通过精心设计...

2023-12-13 标签：cpu GPT Transformer 1.4k 0

Transformer迎来强劲竞争者新架构Mamba引爆AI圈！

作为通用序列模型的骨干，Mamba 在语言、音频和基因组学等多种模态中都达到了 SOTA 性能。在语言建模方面，无论是预训练还是下游评估，他们的 Mam...

2023-12-07 标签：神经网络 AI 机器学习 795 0

更深层的理解视觉Transformer，对视觉Transformer的剖析

最后是在ADE20K val上的LeaderBoard，通过榜单也可以看出，在榜单的前几名中，Transformer结构依旧占据是当前的主力军。

2023-12-07 标签：算法计算机视觉 Transformer 1.4k 0

基于transformer和自监督学习的路面异常检测方法分享

铺设异常检测可以帮助减少数据存储、传输、标记和处理的压力。本论文描述了一种基于Transformer和自监督学习的新方法，有助于定位异常区域。

2023-12-06 标签：解码器编码器人脸识别 2.8k 0

降低Transformer复杂度O(N^2)的方法汇总

首先来详细说明为什么Transformer的计算复杂度是。将Transformer中标准的Attention称为Softmax Attention。令...

2023-12-04 标签：矩阵线性 Transformer 2.5k 0

深入理解BigBird的块稀疏高效实现方案

RoBERTa 架构的 BigBird 模型现已集成入 transformers 中。本文的目的是让读者深入了解 BigBird 的实现，并让读者能...

2023-11-29 标签：gpu 算法 Transformer 1.2k 0

基于Transformer的可泛化人体表征设计方案

本文在ZJU-MoCap和H36M上进行了泛化性实验，结果如下图所示。主要分为四个setting: Pose的泛化，Identity的泛化，只给一张参考...

2023-11-23 标签：Transformer 1.1k 0

关于深度学习模型Transformer模型的具体实现方案

Transformer 本质上是一个 Encoder-Decoder 架构。因此中间部分的 Transformer 可以分为两个部分：编码组件和解码组件。

2023-11-17 标签：解码器编码器深度学习 977 0

一种利用几何信息的自监督单目深度估计框架

本文方法是一种自监督的单目深度估计框架，名为GasMono，专门设计用于室内场景。本方法通过应用多视图几何的方式解决了室内场景中帧间大旋转和低纹理导致自...

2023-11-06 标签：RGB 深度学习 cnn 929 0

Transformer的主要概念

在本文中，我们将试图把模型简化一点，并逐一介绍里面的核心概念，希望让普通读者也能轻易理解。 Attention is All You Need： htt...

2023-11-03 标签：编码模型机器翻译 1.2k 0

利用Transformer BEV解决自动驾驶Corner Case的技术原理

BEV是一种将三维环境信息投影到二维平面的方法，以俯视视角展示环境中的物体和地形。在自动驾驶领域，BEV 可以帮助系统更好地理解周围环境，提高感知和决策...

2023-10-11 标签：传感器编码器自动驾驶 1.7k 0

SK hynix的“内存中心计算”系统介绍

SK hynix面临的问题是这样的：生成式人工智能推理的成本非常高昂，不仅仅涉及到人工智能计算，还包括功耗、互联和内存，这些因素也在很大程度上推动了成本的增加。

2023-10-07 标签：内存人工智能 SK hynix 1.2k 0

为什么transformer性能这么好？Transformer的上下文学习能力是哪来的？

为什么 transformer 性能这么好？它给众多大语言模型带来的上下文学习 (In-Context Learning) 能力是从何而来？在人工智能领...

2023-09-25 标签：人工智能深度学习 DeepMind 2.1k 0

Faster Transformer v2.1版本源码解读

写在前面：本文将对 Faster Transformer v2.1 版本源码进行解读，重点介绍该版本基于 v1.0 和 v2.0 所做的优化内容，剖析...

2023-09-19 标签：模块源码函数 2.3k 0

基于Transformer和深度证据学习的立体匹配框架

作者在各种数据集上评估了所提出的ELFNet，包括Scene Flow ，KITTI 2012和KITTI 2015 和Middlebury 2014 ...

2023-09-18 标签：神经网络深度学习 Transformer 897 0

马毅团队新作：白盒ViT成功实现

最近，马毅教授团队探索了基于Transformer架构的模型中涌现分割能力是否仅仅是复杂的自监督学习机制的结果，或者是否可以通过模型架构的适当设计在更通...

2023-09-14 标签：模型深度学习 Transformer 1k 0

Faster Transformer v1.0源码详解

写在前面：本文将对 Nvidia BERT 推理解决方案 Faster Transformer 源码进行深度剖析，详细分析作者的优化意图，并对源码中的加...

2023-09-08 标签：NVIDIA gpu 源码 1.9k 0

相关话题

换一批

IOT

IOT

+关注

IoT是Internet of Things的缩写，字面翻译是“物体组成的因特网”，准确的翻译应该为“物联网”。物联网（Internet of Things）又称传感网，简要讲就是互联网从人向物的延伸。
海思

海思

+关注
STM32F103C8T6

STM32F103C8T6

+关注

STM32F103C8T6是一款集成电路，芯体尺寸为32位，程序存储器容量是64KB，需要电压2V~3.6V，工作温度为-40°C ~ 85°C。
数字隔离

数字隔离

+关注

数字隔离技术常用于工业网络环境的现场总线、军用电子系统和航空航天电子设备中，尤其是一些应用环境比较恶劣的场合。数字隔离电路主要用于数字信号和开关量信号的传输。另一个重要原因是保护器件（或人）免受高电压的危害。本文详细介绍了数字隔离器工作原理及特点，选型及应用，各类数字隔离器件性能比较等内容。
硬件工程师

硬件工程师

+关注

硬件工程师Hardware Engineer职位要求熟悉计算机市场行情；制定计算机组装计划；能够选购组装需要的硬件设备，并能合理配置、安装计算机和外围设备；安装和配置计算机软件系统；保养硬件和外围设备；清晰描述出现的计算机软硬件故障。
wifi模块

wifi模块

+关注

Wi-Fi模块又名串口Wi-Fi模块，属于物联网传输层，功能是将串口或TTL电平转为符合Wi-Fi无线网络通信标准的嵌入式模块，内置无线网络协议IEEE802.11b.g.n协议栈以及TCP/IP协议栈。传统的硬件设备嵌入Wi-Fi模块可以直接利用Wi-Fi联入互联网，是实现无线智能家居、M2M等物联网应用的重要组成部分。
MPU6050

MPU6050

+关注

MPU-6000（6050）为全球首例整合性6轴运动处理组件，相较于多组件方案，免除了组合陀螺仪与加速器时间轴之差的问题，减少了大量的封装空间。
Protues

Protues

+关注

Proteus软件是英国Lab Center Electronics公司出版的EDA工具软件（该软件中国总代理为广州风标电子技术有限公司）。它不仅具有其它EDA工具软件的仿真功能，还能仿真单片机及外围器件。
STC12C5A60S2

STC12C5A60S2

+关注

在众多的51系列单片机中，要算国内STC 公司的1T增强系列更具有竞争力，因他不但和8051指令、管脚完全兼容，而且其片内的具有大容量程序存储器且是FLASH工艺的，如STC12C5A60S2单片机内部就自带高达60K FLASHROM，这种工艺的存储器用户可以用电的方式瞬间擦除、改写。
UHD

UHD

+关注

UHD是”超高清“的意思UHD的应用在电视机技术上最为普遍，目前已有不少厂商推出了UHD超高清电视。
74ls74

74ls74

+关注

74LS74是双D触发器。功能多，可作双稳态、寄存器、移位寄存器、振荡器、单稳态、分频计数器等功能。本章详细介绍了74ls112的功能及原理，74ls74引脚图及功能表，74ls112的应用等内容。
循迹小车

循迹小车

+关注

做单片机的工程师相比都堆循迹小车有所认识，它是自动引导机器人系统的基本应用，那么今天小编就给大家介绍下自动自动循迹小车的原理，智能循迹小车的应用，智能循迹小车程序，循迹小车用途等知识吧！
光模块

光模块

+关注

光模块(optical module)由光电子器件、功能电路和光接口等组成，光电子器件包括发射和接收两部分。简单的说，光模块的作用就是光电转换，发送端把电信号转换成光信号，通过光纤传送后，接收端再把光信号转换成电信号。
LM2596

LM2596

+关注

LM2596是降压型电源管理单片集成电路的开关电压调节器，能够输出3A的驱动电流，同时具有很好的线性和负载调节特性。固定输出版本有3.3V、5V、12V，可调版本可以输出小于37V的各种电压。
光立方

光立方

+关注

光立方是由四千多棵光艺高科技“发光树”组成的，在2009年10月1日天安门广场举行的国庆联欢晚会上面世。这是新中国成立六十周年国庆晚会最具创意的三大法宝之首。
K60

K60

+关注
STM32单片机

STM32单片机

+关注

STM32系列基于专为要求高性能、低成本、低功耗的嵌入式应用专门设计的ARM Cortex-M3内核
Nexperia

Nexperia

+关注

Nexperia是大批量生产基本半导体的领先专家，这些半导体是世界上每个电子设计都需要的组件。该公司广泛的产品组合包括二极管、双极晶体管、ESD 保护器件、MOSFET、GaN FET 以及模拟和逻辑IC。
步进驱动器

步进驱动器

+关注

步进驱动器是一种将电脉冲转化为角位移的执行机构。当步进驱动器接收到一个脉冲信号，它就驱动步进电机按设定的方向转动一个固定的角度（称为“步距角”），它的旋转是以固定的角度一步一步运行的。可以通过控制脉冲个数来控制角位移量，从而达到准确定位的目的；同时可以通过控制脉冲频率来控制电机转动的速度和加速度，从而达到调速和定位的目的。
COMSOL

COMSOL

+关注

COMSOL集团是全球多物理场建模解决方案的提倡者与领导者。凭借创新的团队、协作的文化、前沿的技术、出色的产品，这家高科技工程软件公司正飞速发展，并有望成为行业领袖。其旗舰产品COMSOL Multiphysics 使工程师和科学家们可以通过模拟，赋予设计理念以生命。
CD4046

CD4046

+关注

cD4046是通用的CMOS锁相环集成电路，其特点是电源电压范围宽（为3V－18V），输入阻抗高（约100MΩ），动态功耗小，在中心频率f0为10kHz下功耗仅为600μW，属微功耗器件。本章主要介绍内容有，CD4046的功能 cd4046锁相环电路，CD4046无线发射，cd4046运用，cd4046锁相环电路图。
加速度传感器

加速度传感器

+关注

加速度传感器是一种能够测量加速度的传感器。通常由质量块、阻尼器、弹性元件、敏感元件和适调电路等部分组成。
联网技术

联网技术

+关注
服务机器人

服务机器人

+关注

服务机器人是机器人家族中的一个年轻成员，到目前为止尚没有一个严格的定义。不同国家对服务机器人的认识不同。
四轴飞行器

四轴飞行器

+关注

四轴飞行器，又称四旋翼飞行器、四旋翼直升机，简称四轴、四旋翼。这四轴飞行器（Quadrotor）是一种多旋翼飞行器。四轴飞行器的四个螺旋桨都是电机直连的简单机构，十字形的布局允许飞行器通过改变电机转速获得旋转机身的力，从而调整自身姿态。具体的技术细节在“基本运动原理”中讲述。
SDK

SDK

+关注

　　SDK一般指软件开发工具包，软件开发工具包一般都是一些软件工程师为特定的软件包、软件框架、硬件平台、操作系统等建立应用软件时的开发工具的集合。软件开发工具广义上指辅助开发某一类软件的相关文档、范例和工具的集合。
基站测试

基站测试

+关注

802.11ac与11基站测试（base station tests）在基站设备安装完毕后，对基站设备电气性能所进行的测量。n的区别，802.11n无线网卡驱动，802.11n怎么安装。
ESP8266

ESP8266

+关注

wifi模块ESP8266的默认波特率是115200，但是单片机不能达到那么快的传输速率，只能使用4800bps，那么设置的时候，必不可少的要先用转串口调试下载器。
TMS320F28335

TMS320F28335

+关注

TMS320F28335是一款TI高性能TMS320C28x系列32位浮点DSP处理器
静电防护

静电防护

+关注

为防止静电积累所引起的人身电击、火灾和爆炸、电子器件失效和损坏，以及对生产的不良影响而采取的防范措施。其防范原则主要是抑制静电的产生，加速静电泄漏，进行静电中和等。

换一批

电机控制	DSP	氮化镓	功率放大器	ChatGPT	自动驾驶	TI	瑞萨电子
BLDC	PLC	碳化硅	二极管	OpenAI	元宇宙	安森美	ADI
无刷电机	FOC	IGBT	逆变器	文心一言	5G	英飞凌	罗姆
直流电机	PID	MOSFET	传感器	人工智能	物联网	NXP	赛灵思
步进电机	SPWM	充电桩	IPM	机器视觉	无人机	三菱电机	ST
伺服电机	SVPWM	光伏发电	UPS	AR	智能电网	国民技术	Microchip

瑞萨	沁恒股份	全志	国民技术	瑞芯微	兆易创新	芯海科技	Altium
德州仪器	Vishay	Micron	Skyworks	AMS	TAIYOYUDEN	纳芯微	HARTING
adi	Cypress	Littelfuse	Avago	FTDI	Cirrus LogIC	Intersil	Qualcomm
st	Murata	Panasonic	Altera	Bourns	矽力杰	Samtec	扬兴科技
microchip	TDK	Rohm	Silicon Labs	圣邦微电子	安费诺工业	ixys	Isocom Compo
安森美	DIODES	Nidec	Intel	EPSON	乐鑫	Realtek	ERNI电子
TE Connectivity	Toshiba	OMRON	Sensirion	Broadcom	Semtech	旺宏	英飞凌
Nexperia	Lattice	KEMET	顺络电子	霍尼韦尔	pulse	ISSI	NXP
Xilinx	广濑电机	金升阳	君耀电子	聚洵	Liteon	新洁能	Maxim
MPS	亿光	Exar	菲尼克斯	CUI	WIZnet	Molex	Yageo
Samsung	风华高科	WINBOND	长晶科技	晶导微电子	上海贝岭	KOA	Echelon
Coilcraft	LRC	trinamic

放大器	运算放大器	差动放大器	电流感应放大器	比较器	仪表放大器	可变增益放大器	隔离放大器
时钟	时钟振荡器	时钟发生器	时钟缓冲器	定时器	寄存器	实时时钟	PWM 调制器
视频放大器	功率放大器	频率转换器	扬声器放大器	音频转换器	音频开关	音频接口	音频编解码器
模数转换器	数模转换器	数字电位器	触摸屏控制器	AFE	ADC	DAC	电源管理
线性稳压器	LDO	开关稳压器	DC/DC	降压转换器	电源模块	MOSFET	IGBT
振荡器	谐振器	滤波器	电容器	电感器	电阻器	二极管	晶体管
变送器	传感器	解析器	编码器	陀螺仪	加速计	温度传感器	压力传感器
电机驱动器	步进驱动器	TWS	BLDC	无刷直流驱动器	湿度传感器	光学传感器	图像传感器
数字隔离器	ESD 保护	收发器	桥接器	多路复用器	氮化镓	PFC	数字电源

开关电源	步进电机	无线充电	LabVIEW	EMC	PLC	OLED	单片机
5G	m2m	DSP	MCU	ASIC	CPU	ROM	DRAM
NB-IoT	LoRa	Zigbee	NFC	蓝牙	RFID	Wi-Fi	SIGFOX
Type-C	USB	以太网	仿真器	RISC	RAM	寄存器	GPU
语音识别	万用表	CPLD	耦合	电路仿真	电容滤波	保护电路	看门狗
CAN	CSI	DSI	DVI	Ethernet	HDMI	I2C	RS-485
SDI	nas	DMA	HomeKit	阈值电压	UART	机器学习	TensorFlow

Arduino	BeagleBone	树莓派	STM32	MSP430	EFM32	ARM mbed	EDA
示波器	LPC	imx8	PSoC	Altium Designer	Allegro	Mentor	Pads
OrCAD	Cadence	AutoCAD	华秋DFM	Keil	MATLAB	MPLAB	Quartus

搜索历史

transformer

transformer技术

相关标签

相关话题

关注此标签的用户(0人)

C++	Java	Python	JavaScript	node.js	RISC-V	verilog	Tensorflow
Android	iOS	linux	RTOS	FreeRTOS	LiteOS	RT-THread	uCOS
DuerOS	Brillo	Windows11	HarmonyOS

林超文PCB设计：PADS教程，PADS视频教程	郑振宇老师：Altium Designer教程，Altium Designer视频教程
张飞实战电子视频教程	朱有鹏老师：海思HI3518e教程，HI3518e视频教程
李增老师：信号完整性教程，高速电路仿真教程	华为鸿蒙系统教程，HarmonyOS视频教程
赛盛：EMC设计教程，EMC视频教程	杜洋老师：STM32教程，STM32视频教程
唐佐林：c语言基础教程，c语言基础视频教程	张飞：BUCK电源教程，BUCK电源视频教程
正点原子：FPGA教程，FPGA视频教程	韦东山老师：嵌入式教程，嵌入式视频教程
张先凤老师：C语言基础视频教程	许孝刚老师：Modbus通讯视频教程
王振涛老师：NB-IoT开发视频教程	Mill老师：FPGA教程，Zynq视频教程
C语言视频教程	RK3566芯片资料合集
朱有鹏老师：U-Boot源码分析视频教程	开源硬件专题