0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

贾扬清的500行代码,掀翻了Perplexity5.2亿的桌子?

合宙LuatOS 2024-04-17 08:05 次阅读

500行代码VS估值5亿

1月25日,自从宣布创业后就备受社区瞩目的贾扬清,在推特上展示了一个对话式搜索引擎的demo。

这个demo基于他创办的LeptonAI提供的框架,“只用500行python 代码”就开发完成。在邀请大家体验同时,贾扬清也表示后续计划把代码开源。在介绍Lepton Search的一系列推特里,他还艾特了Perplexity——估值已经达到5.2亿的当红对话式搜索公司,并表示受到他们优秀产品的启发。

而这也很快吸引来Perplexiyt的注意,但引来的并不是什么好话。

其创始人Aravind Srinivas在推特上很快转发贾扬清的推特并表示:“太棒了,看到 Perplexity 成为一些融资动作的参照物,包括前 Meta 和阿里巴巴高管都这样做。这说明 Perplexity 的影响力不局限于产品本身,而是辐射到了整个科技生态和行业发展,令人振奋!”

翻译过来就一句话:Lepton为了融资而抄了我Perplexity尊贵的前端代码。

而这条推特下面不乏煽风点火的评论,有人说Aravind你说的真委婉,这不就是抄袭了。但也有人指出,Aravind是反应过度,Lepton根本不是个做搜索的公司,人干嘛要盯着你借鉴。

贾扬清也迅速回应,感谢了对方“友好的评论”,然后立刻表示咱们开源见。

之后加速写代码,居然一个周末不到真就把代码开源了。

然后这500行代码在周日上线Github,一天后拿到Githhub热榜第一,第二天继续热榜。星星数不断增长,目前三天已经有了4500颗星星。

而从人们的讨论看,有人已经基于它拿到了一些黑客松冠军,它还被一款聚焦开发者版的Perplexity产品集成,其CEO夸赞这给自己带来速度大幅提升。许多体验和对比了Lepton和Perplexity的用户也夸赞了Lepton的体验。而且它还在不停迭代功能,两天不到,贾扬清和团队成员就给它增加了包括中文在内的多语言支持,把对话结果分享到推特和Facebook的功能,以及更多的API合作。

简单体验它后,我发现它确实用户界面更加简洁,速度也快很多。当然,它的功能整体也更简单,比如在每一次回答后,它就结束,再次输入开启的是新一轮回答,而非持续的对话。包括提问的长度识别,中文的识别等一些小bug也依然存在。

但他显然打破了我对Perplexity的一部分滤镜。

Perplexity的护城河被捅破了?

在开源代码后,贾扬清不忘再次艾特Aravind,表示期待合作,可以让对方体验一下真正“快速,云原生和用户体验友好的平台”。但这一次Aravind没再说什么奇怪的话。

事实上这500行代码以一种最粗暴的方式把所谓十几年来第一次能挑战谷歌的创新——对话式搜索的真实技术含量展示了出来。

从代码入手看一看,它一共就是几个步骤:1.获取查询,说白了就是得到用户输入的文字、2.抓取用户输入关键字相关的搜索页面、3.解析网页文本、4.基于文本构建提示词、5.把提示词递交给大语言模型、6.把大语言模型生成的结果返回给用户。

当然它还有些具体区别,比如搜索的来源——是使用Bing或Google的API,还是使用一个自己的数据库;背后大模型上的选择,是Mistral 还是Llama这些开源的,还是直接使用OpenAI的API,或像Perplexity还有自己的几款模型供选择;以及大模型在其中起作用的方式,是直接让它根据需求生成回答,还是经过一定的Prompt优化。

不过这样看起来你很快会明白,它本质上是关于更好使用别人API的技术。

也就是说,这一切还是建立在传统搜索引擎提供的检索能力之上——想要替代Google的Perplexity是建立在Google的API之上的。它们本质上属于RAG技术的应用,只不过,R更多来自对其他人API的系统性掌握,而G似乎可以更多归功于自己的能力。贾扬清则表示,他在开发过程里发现在RAG里,R(检索)比G(生成)的重要性更大。这样看来,目前Lepton Search的demo之所以一开始没有做多轮对话的能力,也似乎因为这个思路。展示R的能力更加重要。

Perplexity同样沿着相似的技术思路,而在一些技术人士看来,他们的根源可能来自一篇Google和OpenAI合作的论文——是的,今天看起来可能不再可能一起写论文的两家公司,最后一次合作是对话式搜索的技术原理。

在这篇《FreshLLMs: Refreshing Large Language Models with Search Engine Augmentation》的论文里,他们提出了一种FreshPrompt的技术思路,也就是为了解决预训练模型对正在发生的事情的无知,要把它与实时搜索能力结合,而结合的方法是通过提供一种Prompt,这种Prompt本身是在按照发布日期,关键信源等各种要素来为大模型提供上下文信息,并通过一组优化的Prompt来引导和改善大模型生成更实时更好的回答。

这种技术思路其实也在指向R的重要性可能大过G。

Perplexity的网页版事实上诞生于这个论文之前,但据一些研究它产品逻辑的人表示,这个论文提出的方法也被用到后来Perplexity迭代后的产品中。

而只要看看这张论文里给出的prompt示意图,这种技术方案之下,前端长成什么样最终似乎就是一个大概率的雷同。

37b31740-fc4e-11ee-9118-92fbcf53809c.jpg

说了这么多,其实你会发现,如果换成一个其他的基于“别人”的API和大模型能力,以及公开的论文给出的技术路线而开发的应用,可能这“抄袭”的指责只会让人一笑而过。Perplexity的指责似乎也是一样的事情,贾扬清的500行代码成了破解独角兽身份带来的技术幻觉最好的解药。

醉翁之意

但没人否认的是,Perplexity依然是一款好产品。

然而一款充满新设计的产品的好,在于功能体验的量级上的领先,它来自对一整个系统的好品味与一个个细节积攒起来的优化。对Perplexity来说,对大模型和召回技术的理解,以及它们与应用的结合才是它快速成功的关键。而不在于一个单点的而且事实上也并不新鲜的概念。

在把理念通过简洁的前端实现后,perplexity真正抓住用户的是对产品的打磨进而将对话能力与强大搜索引擎的准确性相结合。这背后是各种细节,品味,经验积累的最终结果。因此,它的护城河必然和时间成正比,从今天人们对它的好评也能看出——速度快,体验丝滑,都是最朴素的感知,也是最容易替代的感知,因此在面对一个速度甚至更快的Lepton开源产品demo时,弦自然绷紧了。

而这也带来整件事里真正有意思的地方:Perplexity暗示Lepton是抄袭其实在揣着明白装糊涂。这种做法的一个表面上的作用,自然是“掩盖”上面讲的技术门槛并不高这件事。而除此之外,装糊涂其实还有更重要的理由。

贾扬清在去年离开阿里后,创业初期其实十分低调。但这名开发了Caffe,核心参与了Tensorflow和Pytorch的框架大神,身经百战的原阿里副总裁,显然对自己和团队的技术能力并不低调。在9月时我在硅谷听他创业后的第一次公开分享,他已经在展示自己的Lepton服务是大模型基础框架服务里速度第一的存在。只不过,现在看起来当时Lepton仍处早期,对更多模型的适配,对算力的建设等都在解决当中。

而进入2024年,贾扬清和Lepton开始逐渐高调。这一次Lepton Search的发布像是一个转折点。这家创业公司正式开始进入战场。

在这条Lepton Search的发布推特引发讨论的同一天,AI创业公司Martian的一份开源大模型API推理榜单发布,对多款推理产品在主要的开源模型上的推理成本、速率和吞吐量等指标做了测试,而Lepton拿下多项关键指标第一。在另一个由ArtificialAnalysis.ai发布的API推理榜单中,Lepton也拿下了Mixtral 8x7B这个模型的每秒处理Token数的第一,并且是唯一一个支持Mixtral 32k上下文窗口的服务。“它的价格也极具竞争力”,这个榜单这样说。

而在贾扬清转发的榜单图中,Lepton高高的圆圈旁边,被它超过的一个小圆圈正是Perplexity。

37cba2b0-fc4e-11ee-9118-92fbcf53809c.jpg

是的,Perplexity才不只是一个应用公司。

在Perplexity的对话搜索产品之外,Perplexity Lab其实和Lepton一样,也是一个API推理服务商,比如最近刚发布的CodeLlama-70B-Instruct,就可以购买Perplexity Lab的API来直接使用,这也是最近Perplexity真正在发力的重点,它的社交媒体等账号在大力推广的是这个服务。

相比Perplexity这个搜索应用,Lepton无疑直接冲击的是后面这部分的付费用户。

这对Perplexity有多重要呢?

事实上今天的Perplexity有点挂羊头卖狗肉的意味:

用一个极具话题度(VC可以参与共谋)的toC产品吸引融资弹药,然后补贴到API 烧钱竞赛中去。因为前者面对的是今天商业世界里最成熟的全家桶+广告的搜索商业模式,而后者则是在新周期里重演一遍被验证多次的规模效益的机会——先烧钱拿到市场份额,再提高收费。

也就是说都是关乎API,一个是成本,一个是收益。一个是被数据方控制生死的应用,一个是掘金潮里卖铲子的生意。你说拿个真正更重要呢?

而且,如果去看一看Perplexity创业初期的故事,它最早做了一款口碑不错的推特内容的搜索,后来正因为马斯克收购推特后大幅提高API价格而被迫放弃。这些经验Perplexity显然是吸取了,不想再犯一次。

所以装糊涂的第二层目的就是借着先占据的领先和C端产品的存在感发起一下进攻,骚扰一下在基础设施端未来肉眼可见必有一战的强敌。

看来所有人都意识到,在AI基础设施层面,在所谓的API框架层面,一场更持久的战争要来了。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    87

    文章

    26478

    浏览量

    264108
  • 代码
    +关注

    关注

    30

    文章

    4557

    浏览量

    66826
收藏 人收藏

    评论

    相关推荐

    FOC SDK5.2调试一直报over voltage错误怎么解决?

    FOC SDK5.2调试一直报over voltage错误怎么办?之前用4.2的调试没有这个问题。
    发表于 04-25 08:21

    在使用STM32电机库5.2的时候,生成的工程在Application/User中没有代码是为什么?

    在使用STM32电机库5.2的时候,生成的工程在Application/User中除了主函数外其他的文件里边只有注释,没有代码。我当时生成工程的时候,更换了一次库函数的路径,然后重新改回去就出现这个问题了。
    发表于 04-24 07:28

    在uCGUI的回调函数里加了代码,stm32无法启动怎么解决?

    我是一个初学者。最近在写一个uCGUI上的小应用的时候遇到了这样的问题,我在MULTIEDIT控件的回调函数里加了一代码,运行我自己写的一个用于计算的函数,在没有加这一代码的时候运
    发表于 04-24 07:06

    STM32F103C8使用CUBEMX5.2,生成的USB HID工程编译出错怎么解决?

    STM32F103C8使用CUBEMX5.2,选择Custom Human Interface Device Class(HID),生成工程后直接编译尽然有错误在usbd_conf.c里有这么一个
    发表于 04-22 06:45

    Perplexity将Yelp数据引入其聊天机器人

    Perplexity首席执行官Aravind Srinivas告诉The Verge,许多人正在使用像常规搜索引擎一样的聊天机器人 —— 直接从源头提供他们想要的东西的信息是有意义的,比如选择餐馆。
    的头像 发表于 03-19 17:36 405次阅读
    <b class='flag-5'>Perplexity</b>将Yelp数据引入其聊天机器人

    黄仁勋使用Perplexity AI聊天机器人,日常用于研究

    值得关注的是,作为 “全球首个对话式答案引擎”,Perplexity 的便捷查询能力和话题深度挖掘能力或许深受黄仁勋青睐。同时,它还附带实用的历史查询线程库和新闻时事浏览功能。
    的头像 发表于 02-25 11:36 214次阅读

    4亿元产业规模:超高清技术是如何实现的? #电子 #晶振 #差分晶振 #兴科技

    晶振兴科技
    扬兴科技
    发布于 :2023年12月28日 18:16:58

    BLE5.2为蓝牙带来了哪些变化?

    经过多年的发展,蓝牙已经从最初的1.0版本演变到了最新的5.3版本,目前最常用的是BLE5.2版本。在历代的版本更迭中,蓝牙技术有了非常大的进步。本期文章将带大家一起了解BLE5.2的主要特点
    的头像 发表于 10-26 08:25 554次阅读
    BLE<b class='flag-5'>5.2</b>为蓝牙带来了哪些变化?

    亿光,高速光耦的分类

    亿光高速光耦的介绍 举例
    发表于 10-12 09:50

    寄存器是写10还是写00?

    寄存器是写10还是写00
    发表于 09-26 06:45

    FIFO读后一定要吗?

    FIFO读后一定要
    发表于 09-22 06:31

    R2A25110KSP 数据表 Rev.5.2

    R2A25110KSP 数据表 Rev.5.2
    发表于 07-05 18:38 0次下载
    R2A25110KSP 数据表 Rev.<b class='flag-5'>5.2</b>

    ESP32-H2 x Bluetooth 5.2=智能家居新拼图?

    ESP32-H2芯片是乐鑫第一次在2.4GHz频段集成IEEE802.15.4和蓝牙5.2技术,这意味着着乐鑫除了Wi-Fi、Bluetooth,又多了一项IEEE802.15.4标准的技术支持
    的头像 发表于 06-21 17:42 428次阅读
    ESP32-H2 x Bluetooth <b class='flag-5'>5.2</b>=智能家居新拼图?

    PyTorch教程5.2之多层感知器的实现

    电子发烧友网站提供《PyTorch教程5.2之多层感知器的实现.pdf》资料免费下载
    发表于 06-05 15:32 0次下载
    PyTorch教程<b class='flag-5'>5.2</b>之多层感知器的实现

    STC12C5A60S2串口1测试(BRT-500Kbps)源代码

    STC12C5A60S2-串口1测试(BRT-500Kbps)源代码
    发表于 05-17 15:18 1次下载