格灵深瞳受邀参加RWKV社区开发者大会

近日，RWKV社区在上海漕河泾举办了主题为《RWKV-7与未来趋势》的开发者大会，来自全国各地的开发者、行业专家和技术创新者齐聚一堂，共同交流和探讨后Transformer时代的AI新架构和新的发展方向。格灵深瞳算法工程师杨铠成受邀参会并发表了《RWKV-CLIP:一个鲁棒的视觉-语言表征学习器》的主题演讲。

据悉，RWKV是国产开源的首个非Transformer架构的大语言模型，结合了RNN和Transformer的相关特性：出色的性能、快速的推理、快速的训练、节省VRAM、“无限” 的ctxlen和免费的句嵌入，而且100% 不含自注意力机制。

杨铠成谈到，在大模型时代背景下，RWKV架构得益于其在长上下文背景下的高效训练和推理能力，得到了广泛的关注。伴随着RWKV、Mamba等架构的爆火，格灵深瞳第一时间将这类架构应用到图文表征学习任务中，并构建了RWKV-CLIP模型，在相同的预训练数据以及预训练参数设置下，RWKV-CLIP相较于基于Transformer架构的CLIP模型，在线性探测、零样本分类、零样本检索等任务中展示出了显著的性能提升。相关论文目前已被EMNLP 2024主会录用，相关训练代码、数据均已开源。

作为行业领先的人工智能公司，格灵深瞳高度重视与社区和学术领域的交流合作。近日，格灵深瞳还发布了亿级规模的图文预训练RealSyn数据集，通过构建一种高效的数据清洗和转换范式，将图文交错文档转换为图文对比学习可高效使用的图文对数据。目前相关论文与数据集均已开源。