gpu

GPU CUDA 编程的基本原理是什么

神经网络能加速的有很多，当然使用硬件加速是最可观的了，而目前除了专用的NPU（神经网络加速单元），就属于GPU对神经网络加速效果最好了

2024-03-05 标签：神经网络gpusram 1.6k 0

康谋自动驾驶车载高性能解决方案

在测试车辆中部署新功能需要强大的计算性能，康谋DATALynx ATX4搭载最新服务器CPU，采用高性能液冷架构，通过小型散热片实现最佳散热和最小化PC...

2024-01-16 标签：cpugpu制冷系统 1.6k 0

GDDR6超越图形：用于AI、VR和自动驾驶的内存

现代计算机应用程序严重依赖图形处理和渲染，这涉及大量同步数学计算。典型的 CPU 不适合需要同时处理的作业，这就是引入专用图形处理单元 （GPU） 概念...

2023-05-26 标签：cpuGPU计算机 1.6k 0

字节跳动攻克GPU万卡互联技术突破与解决方案

在分布式训练中大规模使用默认的DCQCN协议时，all-to-all通信可能会导致拥塞和PFC级别的提高。过度使用PFC可能会导致头部阻塞（HoL），从...

2024-04-01 标签：gpu人工智能网络拓扑 1.6k 0

芯片封装：向上堆叠，翻越内存墙

AMD 在代号 Milan-X 的 EPYC 7003X 系列处理器上应用了第一代 3D V-Cache 技术。这些处理器采用 Zen 3 架构核心，每...

2023-10-27 标签：处理器amdgpu 1.6k 0

AI服务器异构计算深度解读

AI服务器按芯片类型可分为CPU+GPU、CPU+FPGA、CPU+ASIC等组合形式，CPU+GPU是目前国内的主要选择（占比91.9%）。

2024-04-12 标签：gpu服务器异构计算 1.6k 0

RISC-V芯片新突破：CPU与GPU一体化核心设计

X-Silicon 的芯片与其他架构不同，其设计将 CPU 和 GPU 的功能结合到单核架构中。这与 Intel 和 AMD 的典型设计不同，后者有独立...

2024-04-07 标签：处理器cpugpu 1.6k 0

深入分析评估GPU算力需求

长期来看，国产CPU、GPU、AI芯片厂商受益于庞大的国内市场，叠加国内信创市场带来国产化需求增量，我们预期国内AI芯片的国产化比例将显著提升，借此机会...

2024-01-17 标签：cpuNVIDIAgpu 1.6k 0

聊聊个GPU高性能计算和性能优化那些事

为什么是三级分块，不是四级或者两级。因为NV的GPU内存结构是三级的，global mem->shared mem，shared mem->...

2023-06-27 标签：gpuAI线程 1.6k 0

什么是第三代通用计算？既通用又高性能的计算存在吗？

对大芯片来说，通用是成功的必由之路。CPU是通用芯片，成就了Intel的成功；GPU是通用芯片，成就了NVIDIA的成功。目前，还没有看到做专用芯片非常...

2023-12-12 标签：集成电路cpugpu 1.6k 0

如何在TorchServe上提供LLMs的分布式推理

你可以看到我们在这里使用了张量并行和并行预填充。它实际上帮助大大加快了推理速度。与等效的GPU相比，它使得Inferentia 2的成本大幅降低了。我们...

2024-01-31 标签：gpu内存并行处理 1.6k 0