完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>
标签 > Transformer
文章:121个 浏览:5897次 帖子:3个
视觉Transformer的一般结构如图2所示,包括编码器和解码器两部分,其中编码器每一层包括一个多头自注意力模块(self-attention)和一个...
2024-04-03 标签:解码器神经网络Transformer 299 0
NLP上估计会帮助reduce overfitting, improve generalization,但是与其花时间改这个地方不如好好clean da...
2024-03-13 标签:gpuTransformernlp 293 0
门控网络或路由: 这个部分用于决定哪些令牌 (token) 被发送到哪个专家。例如,在下图中,“More”这个令牌可能被发送到第二个专家,而“Param...
2024-02-22 标签:神经网络AITransformer 1127 0
Transformer模型在强化学习领域的应用主要是应用于策略学习和值函数近似。强化学习是指让机器在与环境互动的过程中,通过试错来学习最优的行为策略。
2024-02-20 标签:神经网络AITransformer 1897 0
为了进一步评估研究方法在下游任务上(即分割、检测和实例分割)的效率,本文将骨干网与常用的特征金字塔网络(FPN)模块结合起来,并对其 FPS 和 GPU...
2024-01-31 标签:gpu感知算法Transformer 1532 0
为了理解每个组件的作用,让我们通过训练Transformer解决翻译问题的过程,逐步了解Transformer的工作原理。我们将使用训练数据的一个样本,...
2024-01-30 标签:解码器Transformer自然语言处理 841 0
无论是缩放位置索引还是修改基地,所有token都变得彼此更接近,这将损害LLM区分相近token的位置顺序的能力。结合他们对RoPE的波长的观察,存在一...
2024-01-08 标签:语言模型Transformer位置编码器 191 0
PyTorch教程11.9之使用Transformer进行大规模预训练立即下载
类别:电子资料 2023-06-05 标签:编码器GPTTransformer 273 0
类别:电子资料 2023-03-29 标签:TransformerOpenAIChatGPT 277 0
TurboTransformers Transformer加速工具立即下载
类别:电子资料 2022-06-21 标签:Turbo深度学习Transformer 271 0
类别:工控技术 2021-06-23 标签:变压器Transformer 1041 0
类别:航空航天安防 2021-03-10 标签:数据检测Transformer 488 0
Adobe提出DMV3D:3D生成只需30秒!让文本、图像都动起来的新方法!
因此,本文研究者的目标是实现快速、逼真和通用的 3D 生成。为此,他们提出了 DMV3D。DMV3D 是一种全新的单阶段的全类别扩散模型,能直接根据模型...
2024-01-30 标签:编码器3DTransformer 368 0
大语言模型背后的Transformer,与CNN和RNN有何不同
电子发烧友网报道(文/李弯弯)近年来,随着大语言模型的不断出圈,Transformer这一概念也走进了大众视野。Transformer是一种非常流行...
2023-12-25 标签:cnnTransformerrnn 1551 0
Quadric是一家机器学习推理IP公司,Untether AI则将其硬件宣传为是“通用推理加速器”,这两家公司都在兜售可处理transformer的技...
2023-08-30 标签:机器学习深度学习Transformer 641 0
英伟达h800和h100的区别 其实大白话就是,A100、H100是原版,特供中国市场的减配版是A800、H800。A100、H100是价格更便宜,性能...
2023-08-08 标签:英伟达TransformerAI芯片 3.9万 0
首个线性注意力Transformer大模型!1750亿参数,速度和精度更优
即便如此,传统的 Transformer 依然存在局限。首要的一点,它们有着对于序列长度的二次时间复杂度,这会限制它们的可扩展性并拖累训练和推理阶段的计...
2023-07-31 标签:线性语言模型Transformer 735 0
在X3派上玩转一亿参数量超大Transformer,DIY专属你的离线语音识别
Transformer模型在自然语言领域被提出后,目前已经扩展到了计算机视觉、语音等诸多领域。然而,虽然Transformer模型在语音识别领域有着更好...
视海芯图Transformer加速SoC助力AR/VR设备性能升级
5月12日,第十三届松山湖中国IC创新高峰论坛在广东东莞松山湖凯酒店举行,本届活动继续由中国半导体行业协会IC设计分会(ICCAD)、芯原微电子、松山湖...
2023-05-12 标签:ArTransformer视海芯图 2806 0
ConvNeXt 架构的出现使传统的 ConvNet 更加现代化,证明了纯卷积模型也可以适应模型和数据集的规模变化。然而,要想对神经网络架构的设计空间进...
2023-01-12 标签:解码器编码器Transformer 856 0
编辑推荐厂商产品技术软件/工具OS/语言教程专题
电机控制 | DSP | 氮化镓 | 功率放大器 | ChatGPT | 自动驾驶 | TI | 瑞萨电子 |
BLDC | PLC | 碳化硅 | 二极管 | OpenAI | 元宇宙 | 安森美 | ADI |
无刷电机 | FOC | IGBT | 逆变器 | 文心一言 | 5G | 英飞凌 | 罗姆 |
直流电机 | PID | MOSFET | 传感器 | 人工智能 | 物联网 | NXP | 赛灵思 |
步进电机 | SPWM | 充电桩 | IPM | 机器视觉 | 无人机 | 三菱电机 | ST |
伺服电机 | SVPWM | 光伏发电 | UPS | AR | 智能电网 | 国民技术 | Microchip |
开关电源 | 步进电机 | 无线充电 | LabVIEW | EMC | PLC | OLED | 单片机 |
5G | m2m | DSP | MCU | ASIC | CPU | ROM | DRAM |
NB-IoT | LoRa | Zigbee | NFC | 蓝牙 | RFID | Wi-Fi | SIGFOX |
Type-C | USB | 以太网 | 仿真器 | RISC | RAM | 寄存器 | GPU |
语音识别 | 万用表 | CPLD | 耦合 | 电路仿真 | 电容滤波 | 保护电路 | 看门狗 |
CAN | CSI | DSI | DVI | Ethernet | HDMI | I2C | RS-485 |
SDI | nas | DMA | HomeKit | 阈值电压 | UART | 机器学习 | TensorFlow |
Arduino | BeagleBone | 树莓派 | STM32 | MSP430 | EFM32 | ARM mbed | EDA |
示波器 | LPC | imx8 | PSoC | Altium Designer | Allegro | Mentor | Pads |
OrCAD | Cadence | AutoCAD | 华秋DFM | Keil | MATLAB | MPLAB | Quartus |
C++ | Java | Python | JavaScript | node.js | RISC-V | verilog | Tensorflow |
Android | iOS | linux | RTOS | FreeRTOS | LiteOS | RT-THread | uCOS |
DuerOS | Brillo | Windows11 | HarmonyOS |