标签　>　transformer

transformer

+关注0人关注

文章：145个浏览：6809次帖子：3个

全部技术资讯资料帖子视频产品方案企业

transformer技术

大模型基础Transformer结构的原理解析

该研究的结果适用于一般数据集，可以扩展到交叉注意力层，并且研究结论的实际有效性已经通过彻底的数值实验得到了验证。该研究建立一种新的研究视角，将多层 tr...

2023-09-07 标签：AI 向量机 Transformer 1.7k 0

transformer原理解析

这些embedding可以使用谷歌Word2vec (单词的矢量表示) 找到。在我们的数值示例中，我们将假设每个单词的embedding向量填充有 (0...

2023-09-06 标签：函数 Transformer 2k 0

BEV感知中的Transformer算法介绍

将BEV下的每个grid作为query，在高度上采样N个点，投影到图像中sample到对应像素的特征，且利用了空间和时间的信息。并且最终得到的是BEV ...

2023-09-04 标签：算法感知 Transformer 2.5k 0

DETR架构的内部工作方式分析

这是一个Facebook的目标检测Transformer (DETR)的完整指南。介绍 DEtection TRansformer (DETR)是...

2023-08-30 标签：Facebook 代码检测模型 1.7k 0

基于Transformer的目标检测算法难点

理解Transformer背后的理论基础，比如自注意力机制（self-attention）, 位置编码（positional embedding），目标...

2023-08-24 标签：自动驾驶 Transformer 自然语言处理 606 0

风口浪尖行稳致远 - 英伟达等企业如何顺应高性能计算大模型浪潮

关键词:PLM;NLP;Transformer;ChatGPT;BERT;RNN;CNN;自注意力机制;多头注意力机制; Decoder Only ;E...

2023-08-23 标签：神经网络 AI 英伟达 3k 0

掌握基于Transformer的目标检测算法的3个难点

Transformer来源于自然语言处理领域，首先被应用于机器翻译。后来，大家发现它在计算机视觉领域效果也很不错，而且在各大排行榜上碾压CNN网络。

2023-08-22 标签：机器翻译 Transformer 自然语言处理 1.1k 0

基于Transformer多模态先导性工作

多模态（Multimodality）是指在信息处理、传递和表达中涉及多种不同的感知模态或信息来源。这些感知模态可以包括语言、视觉、听觉、触觉等，它们共同...

2023-08-21 标签：数据人工智能 Transformer 1.4k 0

汽车领域拥抱Transformer需要多少AI算力？

Transformer在汽车领域应用自然是针对视觉的，ChatGPT3这种至少需要八张英伟达A100显卡的大模型是绝对无法出现在汽车上的。

2023-08-17 标签：处理器 FSD Transformer 1.4k 0

基于Transformer的目标检测算法

掌握基于Transformer的目标检测算法的思路和创新点，一些Transformer论文涉及的新概念比较多，话术没有那么通俗易懂，读完论文仍然不理解算...

2023-08-16 标签：感知算法自动驾驶 cnn 966 0

如何学习基于Tansformer的目标检测算法呢？

说到纯视觉的自动驾驶方案，大家第一个想到的就是Tesla吧。的确，早在2021年，Tesla就已经实现了纯视觉的BEV检测方案，而且效果非常好。

2023-08-07 标签：计算机视觉自动驾驶 Transformer 1.2k 0

RetNet架构和Transformer架构对比分析

微软研究院最近提出了一个新的 LLM 自回归基础架构 Retentive Networks （RetNet）[1,4]，该架构相对于 Transform...

2023-07-26 标签：Transformer 位置编码器 RetNet 2.1k 0

语音应用中Transformer和循环神经网络的比较

在Transformer中，注意力图的某些头部并不总是像Tacotron 2中那样是对角线的。因此，我们需要选择在哪些位置应用引导性注意力损失[24]。...

2023-07-24 标签：变压器神经网络语音识别 1.5k 0

AI技术：一种联合迭代匹配和姿态估计框架

由于噪声和退化，并非所有正确匹配都能给出良好的姿态。之前的操作仅保证具有判别性高的描述子的特征点有更高的匹配分数，并且首先被识别以参与姿态估计，但忽略了...

2023-07-18 标签：AI Transformer 姿态估计 919 0

基于Transformer的目标检测算法的3个难点

理解Transformer背后的理论基础，比如自注意力机制（self-attention）, 位置编码（positional embedding），目标...

2023-07-18 标签：算法 Transformer 1k 0

基于鲁棒神经架构的设计

导读继卷积神经网络之后，Transformer又推进了图像识别的发展，成为视觉领域的又一主导。最近有人提出Transformer的这种优越性应归功于S...

2023-07-17 标签：神经网络模型 Transformer 965 0

超强Trick，一个比Transformer更强的CNN Backbone

深度学习在计算机视觉中的成功很大程度上是由卷积神经网络（CNNs）推动的。从AlexNet这一里程碑式的工作开始，CNNs不断地向计算机视觉的前沿迈进。...

2023-07-17 标签：神经网络计算机视觉 Transformer 1.5k 0

视觉Transformer对加速器架构的作用及挑战

在自然语言中，一个句子中一个词的意义并不仅仅由该句子中相邻的词来决定;距离较远的单词可能会对结果产生重要影响。应用多个连续的局部注意力最终可以获得远距离...

2023-07-17 标签：加速器神经网络人工智能 698 0

transformer模型详解：Transformer 模型的压缩方法

动机&背景 Transformer 模型在各种自然语言任务中取得了显著的成果，但内存和计算资源的瓶颈阻碍了其实用化部署。低秩近似和结构化剪枝是缓解这一...

2023-07-17 标签：模型神经元 Transformer 3.4k 0

如何计算transformer模型的参数量

1. 前言最近，OpenAI推出的ChatGPT展现出了卓越的性能，引发了大规模语言模型(Large Language Model,LLM)的研究热潮...

2023-07-10 标签：模型 Transformer ChatGPT 1.5万 0

相关话题

换一批

IOT

IOT

+关注

IoT是Internet of Things的缩写，字面翻译是“物体组成的因特网”，准确的翻译应该为“物联网”。物联网（Internet of Things）又称传感网，简要讲就是互联网从人向物的延伸。
海思

海思

+关注
STM32F103C8T6

STM32F103C8T6

+关注

STM32F103C8T6是一款集成电路，芯体尺寸为32位，程序存储器容量是64KB，需要电压2V~3.6V，工作温度为-40°C ~ 85°C。
数字隔离

数字隔离

+关注

数字隔离技术常用于工业网络环境的现场总线、军用电子系统和航空航天电子设备中，尤其是一些应用环境比较恶劣的场合。数字隔离电路主要用于数字信号和开关量信号的传输。另一个重要原因是保护器件（或人）免受高电压的危害。本文详细介绍了数字隔离器工作原理及特点，选型及应用，各类数字隔离器件性能比较等内容。
硬件工程师

硬件工程师

+关注

硬件工程师Hardware Engineer职位要求熟悉计算机市场行情；制定计算机组装计划；能够选购组装需要的硬件设备，并能合理配置、安装计算机和外围设备；安装和配置计算机软件系统；保养硬件和外围设备；清晰描述出现的计算机软硬件故障。
wifi模块

wifi模块

+关注

Wi-Fi模块又名串口Wi-Fi模块，属于物联网传输层，功能是将串口或TTL电平转为符合Wi-Fi无线网络通信标准的嵌入式模块，内置无线网络协议IEEE802.11b.g.n协议栈以及TCP/IP协议栈。传统的硬件设备嵌入Wi-Fi模块可以直接利用Wi-Fi联入互联网，是实现无线智能家居、M2M等物联网应用的重要组成部分。
MPU6050

MPU6050

+关注

MPU-6000（6050）为全球首例整合性6轴运动处理组件，相较于多组件方案，免除了组合陀螺仪与加速器时间轴之差的问题，减少了大量的封装空间。
Protues

Protues

+关注

Proteus软件是英国Lab Center Electronics公司出版的EDA工具软件（该软件中国总代理为广州风标电子技术有限公司）。它不仅具有其它EDA工具软件的仿真功能，还能仿真单片机及外围器件。
74ls74

74ls74

+关注

74LS74是双D触发器。功能多，可作双稳态、寄存器、移位寄存器、振荡器、单稳态、分频计数器等功能。本章详细介绍了74ls112的功能及原理，74ls74引脚图及功能表，74ls112的应用等内容。
STC12C5A60S2

STC12C5A60S2

+关注

在众多的51系列单片机中，要算国内STC 公司的1T增强系列更具有竞争力，因他不但和8051指令、管脚完全兼容，而且其片内的具有大容量程序存储器且是FLASH工艺的，如STC12C5A60S2单片机内部就自带高达60K FLASHROM，这种工艺的存储器用户可以用电的方式瞬间擦除、改写。
UHD

UHD

+关注

UHD是”超高清“的意思UHD的应用在电视机技术上最为普遍，目前已有不少厂商推出了UHD超高清电视。
循迹小车

循迹小车

+关注

做单片机的工程师相比都堆循迹小车有所认识，它是自动引导机器人系统的基本应用，那么今天小编就给大家介绍下自动自动循迹小车的原理，智能循迹小车的应用，智能循迹小车程序，循迹小车用途等知识吧！
光模块

光模块

+关注

光模块(optical module)由光电子器件、功能电路和光接口等组成，光电子器件包括发射和接收两部分。简单的说，光模块的作用就是光电转换，发送端把电信号转换成光信号，通过光纤传送后，接收端再把光信号转换成电信号。
LM2596

LM2596

+关注

LM2596是降压型电源管理单片集成电路的开关电压调节器，能够输出3A的驱动电流，同时具有很好的线性和负载调节特性。固定输出版本有3.3V、5V、12V，可调版本可以输出小于37V的各种电压。
光立方

光立方

+关注

光立方是由四千多棵光艺高科技“发光树”组成的，在2009年10月1日天安门广场举行的国庆联欢晚会上面世。这是新中国成立六十周年国庆晚会最具创意的三大法宝之首。
K60

K60

+关注
STM32单片机

STM32单片机

+关注

STM32系列基于专为要求高性能、低成本、低功耗的嵌入式应用专门设计的ARM Cortex-M3内核
Nexperia

Nexperia

+关注

Nexperia是大批量生产基本半导体的领先专家，这些半导体是世界上每个电子设计都需要的组件。该公司广泛的产品组合包括二极管、双极晶体管、ESD 保护器件、MOSFET、GaN FET 以及模拟和逻辑IC。
步进驱动器

步进驱动器

+关注

步进驱动器是一种将电脉冲转化为角位移的执行机构。当步进驱动器接收到一个脉冲信号，它就驱动步进电机按设定的方向转动一个固定的角度（称为“步距角”），它的旋转是以固定的角度一步一步运行的。可以通过控制脉冲个数来控制角位移量，从而达到准确定位的目的；同时可以通过控制脉冲频率来控制电机转动的速度和加速度，从而达到调速和定位的目的。
COMSOL

COMSOL

+关注

COMSOL集团是全球多物理场建模解决方案的提倡者与领导者。凭借创新的团队、协作的文化、前沿的技术、出色的产品，这家高科技工程软件公司正飞速发展，并有望成为行业领袖。其旗舰产品COMSOL Multiphysics 使工程师和科学家们可以通过模拟，赋予设计理念以生命。
CD4046

CD4046

+关注

cD4046是通用的CMOS锁相环集成电路，其特点是电源电压范围宽（为3V－18V），输入阻抗高（约100MΩ），动态功耗小，在中心频率f0为10kHz下功耗仅为600μW，属微功耗器件。本章主要介绍内容有，CD4046的功能 cd4046锁相环电路，CD4046无线发射，cd4046运用，cd4046锁相环电路图。
加速度传感器

加速度传感器

+关注

加速度传感器是一种能够测量加速度的传感器。通常由质量块、阻尼器、弹性元件、敏感元件和适调电路等部分组成。
联网技术

联网技术

+关注
服务机器人

服务机器人

+关注

服务机器人是机器人家族中的一个年轻成员，到目前为止尚没有一个严格的定义。不同国家对服务机器人的认识不同。
四轴飞行器

四轴飞行器

+关注

四轴飞行器，又称四旋翼飞行器、四旋翼直升机，简称四轴、四旋翼。这四轴飞行器（Quadrotor）是一种多旋翼飞行器。四轴飞行器的四个螺旋桨都是电机直连的简单机构，十字形的布局允许飞行器通过改变电机转速获得旋转机身的力，从而调整自身姿态。具体的技术细节在“基本运动原理”中讲述。
SDK

SDK

+关注

　　SDK一般指软件开发工具包，软件开发工具包一般都是一些软件工程师为特定的软件包、软件框架、硬件平台、操作系统等建立应用软件时的开发工具的集合。软件开发工具广义上指辅助开发某一类软件的相关文档、范例和工具的集合。
基站测试

基站测试

+关注

802.11ac与11基站测试（base station tests）在基站设备安装完毕后，对基站设备电气性能所进行的测量。n的区别，802.11n无线网卡驱动，802.11n怎么安装。
ESP8266

ESP8266

+关注

wifi模块ESP8266的默认波特率是115200，但是单片机不能达到那么快的传输速率，只能使用4800bps，那么设置的时候，必不可少的要先用转串口调试下载器。
TMS320F28335

TMS320F28335

+关注

TMS320F28335是一款TI高性能TMS320C28x系列32位浮点DSP处理器
静电防护

静电防护

+关注

为防止静电积累所引起的人身电击、火灾和爆炸、电子器件失效和损坏，以及对生产的不良影响而采取的防范措施。其防范原则主要是抑制静电的产生，加速静电泄漏，进行静电中和等。

换一批

电机控制	DSP	氮化镓	功率放大器	ChatGPT	自动驾驶	TI	瑞萨电子
BLDC	PLC	碳化硅	二极管	OpenAI	元宇宙	安森美	ADI
无刷电机	FOC	IGBT	逆变器	文心一言	5G	英飞凌	罗姆
直流电机	PID	MOSFET	传感器	人工智能	物联网	NXP	赛灵思
步进电机	SPWM	充电桩	IPM	机器视觉	无人机	三菱电机	ST
伺服电机	SVPWM	光伏发电	UPS	AR	智能电网	国民技术	Microchip

瑞萨	沁恒股份	全志	国民技术	瑞芯微	兆易创新	芯海科技	Altium
德州仪器	Vishay	Micron	Skyworks	AMS	TAIYOYUDEN	纳芯微	HARTING
adi	Cypress	Littelfuse	Avago	FTDI	Cirrus LogIC	Intersil	Qualcomm
st	Murata	Panasonic	Altera	Bourns	矽力杰	Samtec	扬兴科技
microchip	TDK	Rohm	Silicon Labs	圣邦微电子	安费诺工业	ixys	Isocom Compo
安森美	DIODES	Nidec	Intel	EPSON	乐鑫	Realtek	ERNI电子
TE Connectivity	Toshiba	OMRON	Sensirion	Broadcom	Semtech	旺宏	英飞凌
Nexperia	Lattice	KEMET	顺络电子	霍尼韦尔	pulse	ISSI	NXP
Xilinx	广濑电机	金升阳	君耀电子	聚洵	Liteon	新洁能	Maxim
MPS	亿光	Exar	菲尼克斯	CUI	WIZnet	Molex	Yageo
Samsung	风华高科	WINBOND	长晶科技	晶导微电子	上海贝岭	KOA	Echelon
Coilcraft	LRC	trinamic

放大器	运算放大器	差动放大器	电流感应放大器	比较器	仪表放大器	可变增益放大器	隔离放大器
时钟	时钟振荡器	时钟发生器	时钟缓冲器	定时器	寄存器	实时时钟	PWM 调制器
视频放大器	功率放大器	频率转换器	扬声器放大器	音频转换器	音频开关	音频接口	音频编解码器
模数转换器	数模转换器	数字电位器	触摸屏控制器	AFE	ADC	DAC	电源管理
线性稳压器	LDO	开关稳压器	DC/DC	降压转换器	电源模块	MOSFET	IGBT
振荡器	谐振器	滤波器	电容器	电感器	电阻器	二极管	晶体管
变送器	传感器	解析器	编码器	陀螺仪	加速计	温度传感器	压力传感器
电机驱动器	步进驱动器	TWS	BLDC	无刷直流驱动器	湿度传感器	光学传感器	图像传感器
数字隔离器	ESD 保护	收发器	桥接器	多路复用器	氮化镓	PFC	数字电源

开关电源	步进电机	无线充电	LabVIEW	EMC	PLC	OLED	单片机
5G	m2m	DSP	MCU	ASIC	CPU	ROM	DRAM
NB-IoT	LoRa	Zigbee	NFC	蓝牙	RFID	Wi-Fi	SIGFOX
Type-C	USB	以太网	仿真器	RISC	RAM	寄存器	GPU
语音识别	万用表	CPLD	耦合	电路仿真	电容滤波	保护电路	看门狗
CAN	CSI	DSI	DVI	Ethernet	HDMI	I2C	RS-485
SDI	nas	DMA	HomeKit	阈值电压	UART	机器学习	TensorFlow

Arduino	BeagleBone	树莓派	STM32	MSP430	EFM32	ARM mbed	EDA
示波器	LPC	imx8	PSoC	Altium Designer	Allegro	Mentor	Pads
OrCAD	Cadence	AutoCAD	华秋DFM	Keil	MATLAB	MPLAB	Quartus

搜索历史

transformer

transformer技术

相关标签

相关话题

关注此标签的用户(0人)

C++	Java	Python	JavaScript	node.js	RISC-V	verilog	Tensorflow
Android	iOS	linux	RTOS	FreeRTOS	LiteOS	RT-THread	uCOS
DuerOS	Brillo	Windows11	HarmonyOS

林超文PCB设计：PADS教程，PADS视频教程	郑振宇老师：Altium Designer教程，Altium Designer视频教程
张飞实战电子视频教程	朱有鹏老师：海思HI3518e教程，HI3518e视频教程
李增老师：信号完整性教程，高速电路仿真教程	华为鸿蒙系统教程，HarmonyOS视频教程
赛盛：EMC设计教程，EMC视频教程	杜洋老师：STM32教程，STM32视频教程
唐佐林：c语言基础教程，c语言基础视频教程	张飞：BUCK电源教程，BUCK电源视频教程
正点原子：FPGA教程，FPGA视频教程	韦东山老师：嵌入式教程，嵌入式视频教程
张先凤老师：C语言基础视频教程	许孝刚老师：Modbus通讯视频教程
王振涛老师：NB-IoT开发视频教程	Mill老师：FPGA教程，Zynq视频教程
C语言视频教程	RK3566芯片资料合集
朱有鹏老师：U-Boot源码分析视频教程	开源硬件专题