0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

深度学习自然语言处理

文章:836 被阅读:172w 粉丝数:40 关注数:0 点赞数:5

广告

追赶GPT-4的多模态大模型对比分析

援引自 mPLUG-Owl,这三个工作的主要区别如图 1 所示,总体而言,模型结构和训练策略方面大同....
的头像 深度学习自然语言处理 发表于 05-17 14:31 665次阅读
追赶GPT-4的多模态大模型对比分析

使用Alpaca-Lora进行参数高效模型微调

在推理时,将左右两部分的结果加到一起即可,h=Wx+BAx=(W+BA)x,所以,只要将训练完成的矩....
的头像 深度学习自然语言处理 发表于 05-17 14:24 1836次阅读
使用Alpaca-Lora进行参数高效模型微调

VPG 在 LLM 之间的可迁移性问题

通过我们的VPGTrans框架可以根据需求为各种新的大语言模型灵活添加视觉模块。比如我们在LLaMA....
的头像 深度学习自然语言处理 发表于 05-17 11:46 534次阅读
VPG 在 LLM 之间的可迁移性问题

大语言模型的多语言机器翻译能力分析

以ChatGPT为代表的大语言模型(Large Language Models, LLM)在机器翻译....
的头像 深度学习自然语言处理 发表于 05-17 09:56 1040次阅读
大语言模型的多语言机器翻译能力分析

ChatGPT从入门到深入

CoLT5达到64K,GPT-4达到32K长度,而RMT在实验结果中长度加到4096个分段20480....
的头像 深度学习自然语言处理 发表于 05-16 10:42 573次阅读
ChatGPT从入门到深入

基于一步步蒸馏(Distilling step-by-step)机制

为优化LLM为“小模型/少数据/好效果”,提供了一种新思路:”一步步蒸馏”(Distilling s....
的头像 深度学习自然语言处理 发表于 05-16 10:24 731次阅读
基于一步步蒸馏(Distilling step-by-step)机制

上海AI lab提出VideoChat:可以与视频对话啦

区别于现有多模态大模型针对视频输入的处理方法,即首先文本化视频内容再接入大模型利用大模型自然语言理解....
的头像 深度学习自然语言处理 发表于 05-15 09:31 551次阅读
上海AI lab提出VideoChat:可以与视频对话啦

涌现能力的定义、常见的激发手段和具体的分类和任务

缩放定律的一个重要作用就是预测模型的性能,但是随着规模的扩大,模型的能力在不同的任务上并不总表现出相....
的头像 深度学习自然语言处理 发表于 05-15 09:25 2619次阅读
涌现能力的定义、常见的激发手段和具体的分类和任务

华为诺亚提出新型Prompting (PHP),GPT-4拿下最难数学推理数据集新SOTA

结果表明,GP-T-4+PHP 在多个数据集上取得了 SOTA 结果,包括 SVAMP (91.9%....
的头像 深度学习自然语言处理 发表于 05-15 09:23 689次阅读
华为诺亚提出新型Prompting (PHP),GPT-4拿下最难数学推理数据集新SOTA

什么样的模型更适合zero-shot?

如果经过多任务微调,编码器-解码器掩码模型最好【这参数量都翻倍了,很难说不是参数量加倍导致的】。换个....
的头像 深度学习自然语言处理 发表于 05-12 15:40 638次阅读
什么样的模型更适合zero-shot?

OpenAI最新突破性进展:语言模型可以解释语言模型中的神经元

这项工作是对齐研究方法的第三个支柱的一部分:希望使对齐研究工作本身自动化。这种方法的一个有前途的方面....
的头像 深度学习自然语言处理 发表于 05-12 11:35 597次阅读
OpenAI最新突破性进展:语言模型可以解释语言模型中的神经元

LlamaIndex:面向QA系统的全新文档摘要索引

添加关键字过滤器是增强检索结果的一种方法。但这也带来了一系列挑战。我们需要手动或通过 NLP 关键字....
的头像 深度学习自然语言处理 发表于 05-12 09:57 974次阅读
LlamaIndex:面向QA系统的全新文档摘要索引

多模态GPT:国内发布一款可以在线使用的多模态聊天机器人!

基于开源多模态模型 OpenFlamingo,作者使用公开数据集创建了各种视觉指令数据,包括视觉问答....
的头像 深度学习自然语言处理 发表于 05-12 09:55 893次阅读
多模态GPT:国内发布一款可以在线使用的多模态聊天机器人!

利用大语言模型做多模态任务

大型语言模型LLM(Large Language Model)具有很强的通用知识理解以及较强的逻辑推....
的头像 深度学习自然语言处理 发表于 05-10 16:53 750次阅读
利用大语言模型做多模态任务

ChatGPT大型语言模型在信息提取方面的能力

因此,对于ChatGPT的评测方面,不止需要关注给定下游任务的性能评测,同时还需要考虑到使用大模型过....
的头像 深度学习自然语言处理 发表于 05-10 14:32 1811次阅读
ChatGPT大型语言模型在信息提取方面的能力

如何通过一个简单的方法来解锁大型语言模型的推理能力?

近来NLP领域由于语言模型的发展取得了颠覆性的进展,扩大语言模型的规模带来了一系列的性能提升,然而单....
的头像 深度学习自然语言处理 发表于 05-10 11:13 1569次阅读
如何通过一个简单的方法来解锁大型语言模型的推理能力?

一种非自回归的预训练方法

虽然GPT模型在自然语言处理领域中表现出色,但是它们仍然存在一些问题。例如,GPT模型的自回归设计导....
的头像 深度学习自然语言处理 发表于 04-27 09:58 432次阅读
一种非自回归的预训练方法

DropMessage:统一的图神经网络随机Dropping方法

从信息论的角度来看,具有保持信息多样性能力的随机dropping方法比没有这种能力的能保存更多的信息....
的头像 深度学习自然语言处理 发表于 04-27 09:52 425次阅读
DropMessage:统一的图神经网络随机Dropping方法

为什么ChatGPT模型大了就有上下文联系能力?

神经网络在训练的时候,采用的随机梯度下降算法,一定程度上等效于物种的基因突变,本质是有一定方向的随机....
的头像 深度学习自然语言处理 发表于 04-27 09:50 577次阅读

ChatGPT的真相:强泛化的秘密以及众多关键问题

通用计算机的诞生对社会生产力的提升意义重大。学习写代码比学习开发逻辑电路要简单太多了。普通人经过一段....
的头像 深度学习自然语言处理 发表于 04-26 10:27 559次阅读
ChatGPT的真相:强泛化的秘密以及众多关键问题

NLP大模型必备-FudanNLP开源中文图书集合CBook-150K

复旦大学自然语言处理实验室,自2019年起,自研了PDF处理工具DocAI,针对非扫描件PDF,具有....
的头像 深度学习自然语言处理 发表于 04-25 11:41 2476次阅读
NLP大模型必备-FudanNLP开源中文图书集合CBook-150K

Instruct-UIE:信息抽取统一大模型

Instruct-UIE 统一了信息抽取任务训练方法,可以融合不同类型任务以及不同的标注规范,统一进....
的头像 深度学习自然语言处理 发表于 04-25 10:46 1074次阅读
Instruct-UIE:信息抽取统一大模型

知识桥接的因果交互网络(KBCIN)

另一方面,根据Moors等人[8],人类的感觉和行动倾向是情绪的两个重要组成部分,并在很大程度上为目....
的头像 深度学习自然语言处理 发表于 04-23 10:02 653次阅读
知识桥接的因果交互网络(KBCIN)

In-context learning介绍

随着大规模预训练语言模型(LLM)能力的不断提升,in-context learning(ICL)逐....
的头像 深度学习自然语言处理 发表于 04-21 10:02 1090次阅读

各种大语言模型是彻底被解封了

基础 LLM 基本信息表,GPT-style 表示 decoder-only 的自回归语言模型,T5....
的头像 深度学习自然语言处理 发表于 04-20 11:25 1149次阅读

多语言AI的现状

同样的,使用这些低资源语言的研究人员在ML和NLP社区中的代表性同样不足。例如,虽然我们可以观察到隶....
的头像 深度学习自然语言处理 发表于 04-20 11:23 474次阅读

后ChatGPT时代NLP的下一个方向:增强式大规模语言模型

Visual ChatGPT 是一种智能交互系统,它将不同的视觉基础模型与 ChatGPT 相结合,....
的头像 深度学习自然语言处理 发表于 04-20 11:19 533次阅读

使用LoRA和Hugging Face高效训练大语言模型

在本文中,我们将展示如何使用 大语言模型低秩适配 (Low-Rank Adaptation of L....
的头像 深度学习自然语言处理 发表于 04-14 17:37 1616次阅读

在视觉语言表示学习中建立编码器间的桥梁

提出了一个简单有效的视觉语言模型架构,BridgeTower,通过在顶层单模态层和每个跨模态层之间建....
的头像 深度学习自然语言处理 发表于 04-14 17:33 454次阅读

中文对话式大语言模型Firefly-2b6开源,使用210万训练数据

在本文中,我们将对该模型进行分享和介绍。与firefly-1b4相比,firefly-2b6的代码生....
的头像 深度学习自然语言处理 发表于 04-14 10:30 1221次阅读