完善资料让更多小伙伴认识你，还能领取20积分哦，立即完善>
标签 > LLM
在人工智能领域，LLM代表“大型语言模型”。在人工智能（AI）领域自然语言处理（NLP）是一个快速进展的领域。NLP中最重要是大语言模型（LLM）。大语言模型（英文：Large Language Model，缩写LLM），也称大型语言模型，是一种基于机器学习和自然语言处理技术的模型。
文章：338个 浏览：1256次 帖子：3个
TL;DR 过去一年间，生成式推荐取得了长足的实质性进展，特别是在凭借大型语言模型强大的序列建模与推理能力提升整体推荐性能方面。基于LLM（Large ...
之前文章已介绍引入大规模 EP 的初衷，本篇将继续深入介绍 TensorRT-LLM 的大规模专家并行架构设计与创新实现。
6TOPS算力驱动30亿参数LLM，米尔RK3576部署端侧多模态多轮对话
关键词：瑞芯微RK3576、NPU（神经网络处理器）、端侧小语言模型（SLM）、多模态LLM、边缘AI部署、开发板当GPT-4o用毫秒级响应处理图文混合...
我们正在参加全球电子成就奖的评选，欢迎大家帮我们投票～～～谢谢支持本文转自：腾讯技术工程作者：royceshao大语言模型LLM的精妙之处在于很好地利用...
DeepSeek R1 MTP在TensorRT-LLM中的实现与优化
TensorRT-LLM 在 NVIDIA Blackwell GPU 上创下了 DeepSeek-R1 推理性能的世界纪录，Multi-Token P...
在之前的技术博客中，我们介绍了低延迟[1] 和高吞吐[2] 场景的优化方法。对于生产部署，用户还关心在满足特定延迟约束的情况下，每个 GPU 的吞吐表现...
软件测试正经历一场深刻的技术革命。AI，尤其是以GPT、通义千问、文心一言、Claude等为代表的大语言模型（LLM），开始广泛介入测试流程：从需求分析...
随着语言模型规模日益庞大，设备端推理变得越来越缓慢且耗能巨大。一个直接且效果出人意料的解决方案是剪除那些对任务贡献甚微的完整通道（channel）。我们...
RK3568自制底板狂丢包？教你5分钟用Delayline一键复活网口
在使用飞凌嵌入式RK3568核心板搭配自制底板时，由于PCB走线与参考设计存在差异，常导致RGMII接口时序异常，进而出现网口不通或频繁丢包的情况。本文...
NVIDIA Blackwell GPU优化DeepSeek-R1性能 打破DeepSeek-R1在最小延迟场景中的性能纪录
本文将探讨 NVIDIA TensorRT-LLM 如何基于 8 个 NVIDIA Blackwell GPU 的配置，打破 DeepSeek-R1 在...
本文转自：DeepHubIMBA作者：DhanushKumar数据投毒，也叫模型投毒或训练数据后门攻击，本质上是在LLM的训练、微调或检索阶段偷偷塞入精...
NVIDIA TensorRT LLM 1.0推理框架正式上线
TensorRT LLM 作为 NVIDIA 为大规模 LLM 推理打造的推理框架，核心目标是突破 NVIDIA 平台上的推理性能瓶颈。为实现这一目标，...
基于树莓派5+LLM8850 Card的高性能AI加速解决方案
在推广的过程中，树莓派生态客户反馈希望能提供一种兼容原装Raspberry PI HAT的M.2 2242的AI Card版本。经过国内优秀的AIOT硬...
新品 | LLM-8850 Card, AX8850边缘设备AI加速卡
LLM‑8850 Card是一款面向边缘设备的M.2M-KEY2242 AI加速卡，把42 mm的袖珍体积与AxeraAX8850 SoC的24 TOP...
Votee AI借助NVIDIA技术加速方言小语种LLM开发
Votee AI 利用 NVIDIA 的 GPU 硬件、NeMo Curator 数据处理软件、NeMo Framework 模型训练框架及 Auto ...
摘要 技术背景：Text2SQL 是将自然语言查询转为 SQL 的任务，经历了基于规则、神经网络、预训练语言模型、大语言模型四个阶段。当前面临提示优化、...
近日，北京后摩智能科技有限公司与北京大学集成电路学院孙广宇长聘副教授团队、上海交通大学张宸助理教授团队、香港科技大学谢源讲席教授团队、东南大学司鑫副教授...
Qualys TotalAI 降低 Gen AI 和 LLM 工作负载的风险
“在AI时代，最大的风险不是不去创新，而是在没有稳固基础的情况下创新。” 生成式人工智能 （Gen AI） 和大语言模型 （LLM） 正在革新各行各业，...
全新NVIDIA AI Blueprint推动电信网络配置自动化
该蓝图为电信公司提供了构建自主网络的方案，借助基于代理式 AI 的框架大幅提高网络性能和效率。
在京东零售技术团队中，有很多年轻的算法工程师，他们大多是95后，在加入京东的短短几年内，用实力“啃”下了一个个硬骨头。 从大模型训练的效率优化、...
换一批
编辑推荐厂商产品技术软件/工具OS/语言教程专题
| 电机控制 | DSP | 氮化镓 | 功率放大器 | ChatGPT | 自动驾驶 | TI | 瑞萨电子 |
| BLDC | PLC | 碳化硅 | 二极管 | OpenAI | 元宇宙 | 安森美 | ADI |
| 无刷电机 | FOC | IGBT | 逆变器 | 文心一言 | 5G | 英飞凌 | 罗姆 |
| 直流电机 | PID | MOSFET | 传感器 | 人工智能 | 物联网 | NXP | 赛灵思 |
| 步进电机 | SPWM | 充电桩 | IPM | 机器视觉 | 无人机 | 三菱电机 | ST |
| 伺服电机 | SVPWM | 光伏发电 | UPS | AR | 智能电网 | 国民技术 | Microchip |
| 开关电源 | 步进电机 | 无线充电 | LabVIEW | EMC | PLC | OLED | 单片机 |
| 5G | m2m | DSP | MCU | ASIC | CPU | ROM | DRAM |
| NB-IoT | LoRa | Zigbee | NFC | 蓝牙 | RFID | Wi-Fi | SIGFOX |
| Type-C | USB | 以太网 | 仿真器 | RISC | RAM | 寄存器 | GPU |
| 语音识别 | 万用表 | CPLD | 耦合 | 电路仿真 | 电容滤波 | 保护电路 | 看门狗 |
| CAN | CSI | DSI | DVI | Ethernet | HDMI | I2C | RS-485 |
| SDI | nas | DMA | HomeKit | 阈值电压 | UART | 机器学习 | TensorFlow |
| Arduino | BeagleBone | 树莓派 | STM32 | MSP430 | EFM32 | ARM mbed | EDA |
| 示波器 | LPC | imx8 | PSoC | Altium Designer | Allegro | Mentor | Pads |
| OrCAD | Cadence | AutoCAD | 华秋DFM | Keil | MATLAB | MPLAB | Quartus |
| C++ | Java | Python | JavaScript | node.js | RISC-V | verilog | Tensorflow |
| Android | iOS | linux | RTOS | FreeRTOS | LiteOS | RT-THread | uCOS |
| DuerOS | Brillo | Windows11 | HarmonyOS |
关注我们的微信
下载发烧友APP
电子发烧友观察
版权所有 © 湖南华秋数字科技有限公司
长沙市望城经济技术开发区航空路6号手机智能终端产业园2号厂房3层（0731-88081133）
电子发烧友 （电路图） 湘公网安备43011202000918
工商网监
湘ICP备2023018690号-1
