完善资料让更多小伙伴认识你，还能领取20积分哦，立即完善>
标签 > gpu
图形处理器（英语：Graphics Processing Unit，缩写：GPU），又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和一些移动设备（如平板电脑、智能手机等）上图像运算工作的微处理器。
文章：4858个 浏览：134541次 帖子：301个
总结FasterTransformer Encoder优化技巧
FasterTransformer BERT 包含优化的 BERT 模型、高效的 FasterTransformer 和 INT8 量化推理。
GPU的硬件设计上引入了图形管线，使得各任务可以通过流水线进行并行处理。同时通过可编程的着色器，使得GPU硬件能够根据图形学算法更好的被使用。
参数服务器是推荐系统的重要组成部分，但是目前的训练端参数服务器由于高延迟和同步问题无法有效解决推理部署中模型过大的瓶颈。
GPU和显卡的关系，就像是CPU和主板的关系。前者是显卡的心脏，后者是主板的心脏。有些小伙伴会把GPU和显卡当成一个东西，其实还有些差别的，显卡不仅包括...
越来越多的技术团队开始使用 FP8 进行大模型训练，这主要因为 FP8 有很多技术优势。比如在新一代的 GPU 上，FP8 相对于 BF16 对矩阵乘算...
用于连接 GPU 服务器中的 8 个 GPU 的 NVLink 交换机也可以用于构建连接 GPU 服务器之间的交换网络。Nvidia 在 2022 年的...
AI 应用计算量呈几何级数增长，算法模型向巨量化发展，人工智能模型参数在过去十年增长了十万倍，当前AI超大模型的参数目前已经达到了千亿~万亿的级别。
大语言模型的构建通常需要一个大规模的系统来执行该模型，这个模型会持续变大，在其发展到一定程度后，仅靠在CPU上的运行就不再具有成本、功耗或延迟的优势了。
除了传统的处理器 (CPU、MPU/MCU、DSP 和 GPU)，面向当代各种应用的高级处理器（Advanced Processors）层出不穷，例如加...
人工智能集群的性能，尤其是机器学习训练集群，受到神经网络处理单元NPUs（即GPU或TPU）之间并行计算能力的显著影响。在我们称为纵向扩展scale-u...
传统的三层架构已不再适应日益增长的数据中心流量需求，叶脊架构的出现解决了这一问题。叶脊架构下，光模块数量可高达数十倍，以满足大规模AI集群对大带宽、低时...
随着车载信息系统的高度发展，HMI功能强且精度高的显示器的需求应运而生，汽车驾驶座正在向“综合驾驶舱”发展。瑞萨电子与车载信息系统的发展同步提供能实现更...
NVIDIA CUDA 深度神经网络库（cuDNN）是一个 GPU 加速的深度神经网络基元库，能够以高度优化的方式实现标准例程（如前向和反向卷积、池化层...
写在前面：本文将对 Nvidia BERT 推理解决方案 Faster Transformer 源码进行深度剖析，详细分析作者的优化意图，并对源码中的加...
这是讨论 NVIDIA FasterTransformer 库的两部分系列的第一部分，该库是用于对任意大小（多达数万亿个参数）的Transformer进...
GPU和CPU之间的功能差异之所以存在，是因为它们的设计目标不同。虽然CPU被设计为尽可能快地执行一系列操作（称为线程），并且可以并行执行几十个线程，但...
Merlin HugeCTR HPS用于加速 NVIDIA GPU 上大规模嵌入的推理
如今，推荐系统被广泛用于个性化用户体验，并在电子商务、社交媒体和新闻源等各种环境中提高客户参与度。因此，以低延迟和高精度服务用户请求对于维持用户参与至关重要。
但在实际应用中，流水线并行并不特别流行，主要原因是模型能否均匀切割，影响了整体计算效率，这就需要算法工程师做手调。因此，今天我们来介绍一种应用最广泛，最...
换一批
编辑推荐厂商产品技术软件/工具OS/语言教程专题
| 电机控制 | DSP | 氮化镓 | 功率放大器 | ChatGPT | 自动驾驶 | TI | 瑞萨电子 |
| BLDC | PLC | 碳化硅 | 二极管 | OpenAI | 元宇宙 | 安森美 | ADI |
| 无刷电机 | FOC | IGBT | 逆变器 | 文心一言 | 5G | 英飞凌 | 罗姆 |
| 直流电机 | PID | MOSFET | 传感器 | 人工智能 | 物联网 | NXP | 赛灵思 |
| 步进电机 | SPWM | 充电桩 | IPM | 机器视觉 | 无人机 | 三菱电机 | ST |
| 伺服电机 | SVPWM | 光伏发电 | UPS | AR | 智能电网 | 国民技术 | Microchip |
| 开关电源 | 步进电机 | 无线充电 | LabVIEW | EMC | PLC | OLED | 单片机 |
| 5G | m2m | DSP | MCU | ASIC | CPU | ROM | DRAM |
| NB-IoT | LoRa | Zigbee | NFC | 蓝牙 | RFID | Wi-Fi | SIGFOX |
| Type-C | USB | 以太网 | 仿真器 | RISC | RAM | 寄存器 | GPU |
| 语音识别 | 万用表 | CPLD | 耦合 | 电路仿真 | 电容滤波 | 保护电路 | 看门狗 |
| CAN | CSI | DSI | DVI | Ethernet | HDMI | I2C | RS-485 |
| SDI | nas | DMA | HomeKit | 阈值电压 | UART | 机器学习 | TensorFlow |
| Arduino | BeagleBone | 树莓派 | STM32 | MSP430 | EFM32 | ARM mbed | EDA |
| 示波器 | LPC | imx8 | PSoC | Altium Designer | Allegro | Mentor | Pads |
| OrCAD | Cadence | AutoCAD | 华秋DFM | Keil | MATLAB | MPLAB | Quartus |
| C++ | Java | Python | JavaScript | node.js | RISC-V | verilog | Tensorflow |
| Android | iOS | linux | RTOS | FreeRTOS | LiteOS | RT-THread | uCOS |
| DuerOS | Brillo | Windows11 | HarmonyOS |
关注我们的微信
下载发烧友APP
电子发烧友观察
版权所有 © 湖南华秋数字科技有限公司
长沙市望城经济技术开发区航空路6号手机智能终端产业园2号厂房3层（0731-88081133）
电子发烧友 （电路图） 湘公网安备43011202000918
工商网监
湘ICP备2023018690号-1
