0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

腾讯云把向量数据库“卷”到哪一步了?

脑极体 来源:脑极体 作者:脑极体 2024-01-15 09:49 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

“不是我不明白,这世界变化快”,崔健在20世纪写下的这句歌词,放在刚刚过去的2023年,也同样适用。技术风向的变化之快,让不少人感到惊讶,向量数据库这一年的潮起潮落,就是一个典型的例子。

2023年初大模型、生成式 AI的起飞,也带来了向量数据库的火爆,投融资项目爆发式增长,传统数据库厂商和公有云厂商都推出了相关产品。然而一年狂飙之后,市场又开始退潮,前不久全球最著名的 AI 项目之一AutoGPT 宣布,不再使用向量数据库。

向量数据库真的是AI革命中的组成部分吗?这一市场有哪些参与者?腾讯云为代表的公有云厂商,又在这场技术创新中发挥了什么作用?

向量数据库,刚刚开始

新技术的火爆,必然会伴随炒作和泡沫,但向量作为大模型理解世界的数据形式,向量数据库作为AI革命重要基建的位置,长期来看,是不会动摇的。

为什么这么说?

向量数据库并不是一种特别新的数据库技术,在AI领域已经应用了七八年,谷歌在2015年就宣布使用RankBrain语义检索来处理搜索任务。如果说数据库是数据的“硬盘”,那么,向量数据库就是更适合AI体质的“硬盘”。

其“AI原生”的体质,具体表现在几个方面:

1.更高的效率。AI算法,要从图像、音频和文本等海量的非结构化数据中学习,提取出以向量为表示形式的“特征”,以便模型能够理解和处理。因此,向量数据库比传统基于索引的数据库有明显优势。

2.更低的成本。大模型要从一种新技术转化为产业价值,必须达到合理的投入产出比,而向量数据库可以有效减少存储和计算成本。一个公开数据是,通过腾讯云向量数据库,QQ音乐人均听歌时长提升3.2%、腾讯视频有效曝光人均时长提升1.74%、QQ浏览器成本降低37.9%,就在于检索效率、运行稳定性、运营效率、推荐算法等,有了较大的提升。

wKgaomWicmCAXATiAAD_3wEhQ1s318.jpg

(腾讯云数据库产品架构)

3.更强的数据安全。有个企业直言:我沉淀了几十年的内部数据,是我的的核心竞争力,让我无偿去公开给大模型做训练,我肯定不愿意。想做大模型,还要确保数据的隐私安全,就必须与数据库产品做好配合,这给向量数据库的本地部署带来了广阔的需求。

4.更大的扩展性。随着大模型走向行业应用,垂直领域的AI用例不断增多,汹涌的数据洪潮和存算任务,会带来大量向量搜索的需求。而向量数据库嵌入向量的长度不受限制,具有良好的扩展性,可以根据AI用例和模型而变化,更好地处理大规模数据集。

所以说,除非大模型技术,在短期内发生颠覆性改变,否则落地应用还是需要向量检索和向量数据库。而作为大模型技术标杆的OpenAI最近也透露:我们可能已经非常接近实现通用人工智能(AGI),应该以通用人工智能的实现为前提进行创业和技术开发。

由此可以肯定,向量数据库市场必然还会迎来一轮增长。年底趋于冷静,只是2023年热情过度高涨的适当回调。

两股新势力,云是方向

从引爆到饱和,向量数据库市场的发展速度迅猛,也吸引了“群雄逐鹿”。

传统数据库厂商不必多说,既有相应的能力建设,也有一定的客户基础,推出相关产品是必然。一些在AI领域积淀已久的科技大厂,如谷歌、微软、Meta、百度等大厂,都有向量数据库的技术积累,也都可以向外输出相关能力和产品。这些我们都比较熟悉了。

而上一年狂飙突进的两股新势力,成为市场上的黑马,分别是创业公司和公有云。

以上半年爆火的AI创业新秀Pinecone为代表。Pinecone是闭源的领跑者,凭借良好的开箱即用的产品体验,获得了非常大的增长,B轮估值达到7.5亿美元。其他竞争者大多建立在开源项目的基础上。

总体来说,这些创业“独角兽”的向量数据库公司,固然新锐,但长期盈利能力还有待验证。原因是,其客户大多是尝鲜、实验性质。

一般来说,企业需要先将非结构化的私密数据,进行一个小的模型,进行向量化,产生一个向量的矩阵,再存储到向量数据库里,来供大模型学习和检索。这个过程涉及大量的工程化,会耗费企业许多开发人员、时间成本,一开始可能会因为AI大模型很火而对向量数据库产生兴趣,但能否真正在业务中落地还是个未知数,因此,长期付费意愿还有较大的不确定性。

另一股“新势力”:公有云厂商,也是向量数据库的积极参与者。

不是所有企业都有能力自建大模型所需要的基础设施,通过MaaS(模型即服务)业务来训练应用大模型,是更灵活的选择。

此外,上云用数赋智是大势所趋,很多政企客户往往会选择公有云或行业云来满足其业务需求,将数据迁移到云上,对云数据库的关注度和接受度上升,而这些用户在探索大模型时,会倾向于以整体解决方案的形式来交付,这就给了云厂商参与游戏的机会,同时也要求云厂商提供向量数据库的全栈支持。

以腾讯云为代表,腾讯云的AI 原生(AI Native)向量数据库Tencent Cloud VectorDB是国内首个从接入层、计算层、到存储层提供全生命周期AI化的向量数据库。

wKgZomWicmGAH1wsAAFY0q-PJAY975.jpg

除了产品之外,腾讯云提供了全面AI化解决方案,覆盖接入层、计算层、存储层,使用户在使用向量数据库的全生命周期,都能应用到AI能力。有数据显示,企业原先接入一个大模型需要花1个月左右时间,使用腾讯云向量数据库后,3天时间即可完成,极大降低了企业的接入成本。

此外,腾讯庞大的业务集群及智能化应用,为腾讯云向量数据库提供了绝佳的练兵场。腾讯集团每日处理千亿次检索的向量引擎(OLAMA),让腾讯云向量数据库的基本功能和性能得到了更加充分地检验与优化,从而淬炼出了很多让人眼前一亮的新能力。

以腾讯视频的应用为例,视频库中的图片、音频、标题文本等内容使用腾讯云向量数据库,月均完成的检索和计算量高达200亿次,有效满足了版权保护、原创识别、相似性检索等场景需求。

风物长宜放眼量,AI技术还在快速变化之中,AI Native的腾讯云在这一市场领域的竞争力还会进一步扩大。

接下来,向量数据库卷什么?

不难看到,市面上并不缺少向量数据库产品,缺少的是商业模式。

据东北证券预测,到 2030 年,全球向量数据库市场规模有望达到 500 亿美元,国内向量数据库市场规模有望超过600亿人民币。想要吃到这块巨大的蛋糕,仅仅形成技术趋势是远远不够的,成熟的产品化才能说服用户、兑现商业价值。

目前来看,以腾讯云为代表的云厂商有几重特殊优势,或许会让向量数据库加速走向商业成功:

1.多元化部署。垂直行业大模型,数据都是私有机密的,客户一般不愿意放到公有云上,腾讯云提供私有部署、分布式、混合云等多种方案,打消疑虑。背后需要混合多云的云基础设施。

2.一体化AI方案。向量数据库的火爆,本质是AI需求,而AI Native时代的数据工程,还有许多复杂问题尚待解决,腾讯云提供一体化的AI解决方案,从底层算力集群、Maas模型平台到全栈工具链,通过软硬件协同优化AI开发成本,是企业和开发者所期待的。

3.产业服务能力。AI技术革命方兴未艾,行业热情高涨,但大多处于尝试探索期,需要结合自身业务、AI应用、IT设施等多种因素试错并迭代,这个过程中,随叫随到、帮助客户及时解决问题的ToB服务能力,也是非常看重的。深耕产业互联网的腾讯云,确实是企业在这场AI技术革命中可靠的伙伴。

开放、全面、贴心,才能支持企业用好向量数据库、大模型等基础设施,弄潮AI。

被大模型“带飞”的向量数据库,才刚刚开始,将在腾讯云上长出商业成功的羽翼,飞向更广阔的天地。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    89

    文章

    38170

    浏览量

    296866
  • 数据库
    +关注

    关注

    7

    文章

    3993

    浏览量

    67742
  • 腾讯云
    +关注

    关注

    0

    文章

    224

    浏览量

    17383
  • AI算法
    +关注

    关注

    0

    文章

    270

    浏览量

    13057
  • 算力
    +关注

    关注

    2

    文章

    1387

    浏览量

    16566
  • 大模型
    +关注

    关注

    2

    文章

    3448

    浏览量

    4974
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    华纳香港服务器数据库索引优化策略

    )实施有效的索引优化策略。无论您是IT管理员还是开发人员,了解这些技巧都能帮助您优化数据库效率,确保业务高效运转。下面,华纳(hncloud)将通过结构化分析,一步步解析香港服务器数据库
    的头像 发表于 10-16 17:06 368次阅读

    milvus向量数据库的主要特性和应用场景

    Milvus 是个开源的向量数据库,专门为处理和分析大规模向量数据而设计。它适用于需要高效存储、检索和管理
    的头像 发表于 07-04 11:36 742次阅读
    milvus<b class='flag-5'>向量</b><b class='flag-5'>数据库</b>的主要特性和应用场景

    数据库数据恢复—MongoDB数据库文件丢失的数据恢复案例

    MongoDB数据库数据恢复环境: 台操作系统为Windows Server的虚拟机上部署MongoDB数据库。 MongoDB数据库
    的头像 发表于 07-01 11:13 471次阅读
    <b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复—MongoDB<b class='flag-5'>数据库</b>文件丢失的<b class='flag-5'>数据</b>恢复案例

    智驾安全,发展哪一步

    智驾安全,发展哪一步
    的头像 发表于 06-10 11:28 540次阅读

    HarmonyOS5服务技术分享--数据库使用指南

    接触HarmonyOS开发,还是想优化现有的数据管理逻辑,这篇指南都会手把手带你玩转数据的增删改查,还有那些超实用的高级查询功能! ? ​​核心功能与使用场景​​ 华为数据库(Clo
    发表于 05-22 18:29

    数据库数据恢复——MongoDB数据库文件拷贝后服务无法启动的数据恢复

    MongoDB数据库数据恢复环境: 台Windows Server操作系统虚拟机上部署MongoDB数据库。 MongoDB数据库
    的头像 发表于 04-09 11:34 662次阅读
    <b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复——MongoDB<b class='flag-5'>数据库</b>文件拷贝后服务无法启动的<b class='flag-5'>数据</b>恢复

    如何保障服务器数据库的安全与稳定

    在数字化时代,服务器数据库承载着企业和个人的海量关键数据,其安全与稳定至关重要。旦出现安全漏洞或稳定性问题,可能导致数据丢失、业务中断等
    的头像 发表于 02-12 10:37 606次阅读

    数据库要购买服务器吗?答案在这里

    数据库通常无需用户购买服务器,由提供商负责底层硬件维护。用户可通过Web界面或API配置和管理数据库,根据需求选择合适的类型、规格和策略。在特殊情况下,如性能或安全需求无法满足,用户可能需自建
    的头像 发表于 01-17 09:55 534次阅读

    避坑指南:服务器数据库购买方法全攻略

    服务器数据库购买方法包含:先明确业务需求与数据库类型,再挑选信誉好、技术支持强的服务提供商,接着根据需求配置数据库实例及选择付费方式。购
    的头像 发表于 01-15 10:05 795次阅读

    分布式数据库有哪些类型

    分布式数据库有哪些类型?分布式数据库主要类型包括:关系型分布式数据库、非关系型分布式数据库
    的头像 发表于 01-15 09:43 880次阅读

    数据库是哪种数据库类型?

    数据库种部署在虚拟计算环境中的数据库,它融合计算的弹性和可扩展性,为用户提供高效、灵活
    的头像 发表于 01-07 10:22 807次阅读

    般企业购买服务器带数据库吗?

    购买服务器是否带数据库,这主要取决于所选择的服务提供商及其具体的套餐或服务内容。般来说,服务器本身是
    的头像 发表于 01-06 10:25 725次阅读

    华为荣登Gartner®数据库挑战者象限

    领域的强劲实力与广阔前景。 Gartner的数据库管理系统魔力象限报告,直是数据和分析领域决策者的重要参考。该报告通过对全球范围内广受认可的
    的头像 发表于 12-31 13:57 824次阅读

    数据库数据恢复—Mysql数据库表记录丢失的数据恢复流程

    Mysql数据库故障: Mysql数据库表记录丢失。 Mysql数据库故障表现: 1、Mysql数据库表中无任何数据或只有部分
    的头像 发表于 12-16 11:05 1003次阅读
    <b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复—Mysql<b class='flag-5'>数据库</b>表记录丢失的<b class='flag-5'>数据</b>恢复流程

    托管可以操作数据库吗?安全性如何

    托管可以操作数据库。在托管环境中,开发者可以通过使用服务提供商提供的API或SDK来连接并操作
    的头像 发表于 12-11 13:35 566次阅读