0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

疯狂马斯克“下云”:X 成本降低60%,部分功能代码从70万行减少至7万!

Linux爱好者 来源:CSDN 2023-11-06 15:57 次阅读

距离 2022 年 10 月 27 日马斯克以 440 亿美元完成 Twitter(现更名为 X 平台)私有化交易已然过去整整一年的时间。这一年里,马斯克大刀阔斧地改革,譬如‍大裁员、重构 Twitter 2.0、下场亲测各种功能、要求员工到办公室上班....‍..种种操作之下,不断地刷新了外界对于这位 CEO 以及最新 X 平台的认知。

更让人称奇的是,Twitter 在曾经有大约 8000 名员工,现如今只有 2000 名不到的情况下,平台依然运行良好,还上线了不少新的功能,这究竟是怎么做到的?

2023 年 10 月 27 日,X 平台的工程团队最新发布了一篇长帖透露了该平台运行的现状,以及其逆风而行之下采取的“下云”实践。短时间之内,这篇帖子已经吸引了 3618 万的关注度,更引发了数千条的评论。

马斯克以 440 亿收购 X 平台这一年

在这篇帖子中,X 平台工程团队表示,“这一年 X 平台实现了工程卓越性进步,有时可能会被忽视”,进而其回顾了过去一年这个知名社交媒体平台在架构上所做出的改变。

详细来看,X 平台内部进行的一些最重要的改进如下:

围绕一个统一的产品框架,整合了"For You"、"Following"、"Search"、"Profiles"、"Lists"、"Communities"和"Explore"的技术堆栈。

从头开始完全重建了"For You"的服务和排名系统,导致代码行数减少了90%,从 70 万行减少到 7 万行,计算占用减少了 50%,每次请求中评分的帖子吞吐量增加了 80%。

统一了"For You"和视频个性化以及排名模型,显著提高了视频推荐质量。

重构了技术堆栈的 API 中间件层,简化了架构,去掉了超过 10 万行代码和数千个未使用的内部端点,并消除了未被采纳的客户服务。

将帖子元数据获取延迟降低了 50%,全球 API 超时错误降低了 90%。

阻止了机器人和内容抓取,速度比 2022 年增加了 37%。平均每天我们阻止了 100 多万次机器人注册攻击,减少了 95% 的直接消息垃圾邮件。

关闭了萨克拉门托数据中心,重新配置了 5200 个机架和 14.8 万台服务器,带来了每年超过 1 亿美元的节省。总共,X 平台释放了 48 兆瓦的容量,重新配置了 60,000 磅的网络梯架,然后将其提供给其他数据中心。

优化了 X 平台对云服务提供商的使用,并开始更多地在本地进行。这一转变使 X 平台的月度云成本降低了 60%。X 平台的工程团队所做的变化之一是将所有媒体/数据块工件从云中移出,这将其云数据存储大小降低了 60%,另外,该团队成功地将云数据处理成本降低了 75%。

建立了本地 GPU 超级计算集群,设计、开发并交付了 43.2Tbps 的新网络结构,以支持这些集群。

扩展了网络主干容量和冗余性,每年节省了 1390 万美元。

开始自动化的高峰流量故障转移测试,以持续验证整个平台的可扩展性和可用性。

99d1868a-7c58-11ee-939d-92fbcf53809c.png

在上述所做的 11 项调整列表中,最吸引人注目的无疑是 X 平台开始尝试“下云”带来的成本变化。

回顾技术圈的发展历程,随着互联网的普及、虚拟化技术的发展、大数据和分布式计算需求的涌现,越来越多的传统企业开始转型,采用按需的方式付费,避免了昂贵的硬件和基础设施投资,这使小型和中型企业能够以更低的成本获得弹性计算资源,上云由此也成为技术演进的一种必然趋势。

然而,就在上云如火如荼地进行了十多年之后,综合成本控制、数据隐私、安全性或者业务需求的改变等因素,一股“下云”的风潮悄然刮起,如今 X 平台便是最新实践者之一。

节省资金,X 平台选择“下云”

事实上,“上云”亦或是“下云”,究竟是节约成本,还是增加成本,主要是因企业规模的不同而具有差异化,对于 X 平台而言,在今年早些时候,外媒 CloudZero 曾做过剖析。

其中,Twitter(现为 X 平台)在 2020 年 12 月宣布将使用 AWS 为其主时间线提供支持。当时,只知道两家公司签订了一份“多年期”协议,即 Twitter 和AWS 将合作扩展社交媒体平台的基础设施、更快地发布功能并扩大其服务组合等,但其并没有对外透露过具体合作协议的数额。

直至今年 3 月,The Information 在一篇报道中披露,Twitter 和 AWS双方签订了一份为期五年半、价值 5.1 亿美元的合同。除了与 AWS 签订协议之外,更早之前,Twitter 还和 Google Cloud 签订了一份价值 10 亿美元的合同。

同时,按照原来的协议,无论 Twitter 是否使用 AWS 的容量,其都同意向亚马逊支付费用。

然而,一切在马斯克接管 Twitter 之后,发生了巨大的变化。马斯克后来在梳理 Twitter 整体业务时,惊讶地发现 Twitter 现金流为负、仍未实现盈利,这也才有了文章伊始所提及他对 Twitter 做的一系列调整,并尽可能地去节约成本,自然云基础设施的成本也在考虑范畴。

后来,Twitter 关闭了在收到过多流量时使用的一些额外服务器容量,也尝试与 AWS、Google Cloud 和 Oracle 重新谈判有关云服务的合同,但有消息称,供应商不愿意重新谈判。对此,外媒 The Information 也爆料称,那时的 Twitter 共拖欠亚马逊 AWS 近 7000 万美元服务费。

当然,对于这笔资金,Twitter 是否有偿还尚未可知。但是通过其工程团队的最新推文,显然 Twitter 已经通过了「下云」节省了一笔不菲的资金支出。

“下云”真的能省钱吗?

面对 X 平台公开“下云”带来的最新成本变化,被视为软件天才的Ruby on Rails创始人DAVID HEINEMEIER HANSSON(简称 DHH)在第一时间发表了一篇《X celebrates 60% savings from cloud exit》(X 庆祝退出云后节省了 60%)的文章,他评价道:

「X 平台已经将 #CloudExit 作为其节约成本计划的关键组成部分。X 平台通过将工作从云端转移到他们自己的服务器上,每月的云成本降低了 60%。根据早期的报告,X 每年向 AWS 支付 1 亿美元,所以如果我们以这个数字为基础,他们目前正在云退出成就上节省 6000 万美元/年。太不可思议了!

......

CFO 和投资者不会对此视而不见。如果像马斯克正在证明的那样,可以用四分之一的员工运营像 X 这样的操作,并且仍然能够从"下云"中获得巨大利润,那么你就知道在许多情况下,大多数大型公司离开云计算都有巨大的节约等待着被释放。」

作为“下云”深度支持者,DHH 在今年 2 月便声称,自家应用程序在“下云”之后,预估将正在未来五年内节省约 700 万美元的服务器费用,而不用改变现有的运维团队规模。

为了详细说明,他还算了一笔账:

在 2022 年,其在云上花费了 320 万美元。其中将近 100 万美元用于在 S3 中存储 8PB 的文件,完全在多个区域进行了复制。剩下的约 230 万美元用于其他一切:应用服务器、缓存服务器、数据库服务器、搜索服务器等等。

这是其打算在 2023 年将云成本降至零的部分,并考虑在 2024 年退出 S3 中的 8PB 数据。

在经过深思熟虑、许多基准测试以及对 AMD 的新 Zen4 芯片与 Gen 4 NVMe 驱动速度考量之后,其打算向戴尔下订单,大约 60 万美元左右。

云计算时代,花 60 万美元购买一堆硬件可能听起来很多。但如果在保守的五年内摊销,每年只需 12 万美元!

当然,这只是硬件的费用。它们还必须连接到电源和带宽。其目前通过 Deft 在两个数据中心之间每月花费大约 6 万美元来租用八个专用机架。然后,故意过度配置了空间,因此实际上只需要将所有这些新服务器放在现有机架中,而不需要更多的空间或电源。因此,支出仍然约为 72 万美元/年。

这总共是每年 84 万美元的费用。与云计算的 230 万美元相比,其将拥有更快速的硬件、更多的核心、极为便宜的 NVMe 存储,以及以非常低的成本扩展的空间(只要我们仍然可以放入每个数据中心的四个机架中)。

粗略地说,这可以让其每年节省 150 万美元。在此期间留出 50 万美元用于不可预见的费用,五年内仍然节省了 700 万美元!

与此同时,DHH 表示,#CloudExit 很可能正处于走向主流的关键时刻。

“下云”是控制成本最有效的方式?

不过,对于现在不少还处于云业务转型过程中、以及从“云”种受益的很多公司而言,其无法认同“下云”的这一步操作。来自 HN 上的用户更是直言:

譬如 X 平台,他们在云计算上的花费减少了 60%,在本地完成了同样的工作,而成本却没有说明。而他们(和 DHH)显然认为,在描述他们的成就时,成本核算(即使是模糊和初步的方式)并不重要。

也有用户 @HillRat 认为:

Twitter 确实与 GCP(Google云端平台 ,Google Cloud Platform)签订了一份非常糟糕的固定成本合同,导致他们有大量未使用的云容量,而这些云容量的价格却过高。关闭数据中心可能会给他们留下大量的资本化设备,他们可以将 GCP 托管的数据处理转移到这些设备上。

换句话说,这些节省可能并非来自实际的技术效率,而只是摆脱了糟糕的合同状况,并利用了大量已经获得的硬件。(此外,X/Twitter 可能也无法使用 Twitter 所要求的报告和分析基础设施,因此关闭这些设施在业务流程上也不会有太大损失)。

对此,你怎么看待“上云”vs“下云”的趋势?

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 代码
    +关注

    关注

    30

    文章

    4556

    浏览量

    66813
  • 云数据
    +关注

    关注

    0

    文章

    114

    浏览量

    16532
  • 马斯克
    +关注

    关注

    1

    文章

    714

    浏览量

    20878

原文标题:疯狂马斯克“下云”:X 成本降低 60%,部分功能代码从 70 万行减少至 7 万!

文章出处:【微信号:LinuxHub,微信公众号:Linux爱好者】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    马斯克状告OpenAI,OpenAI回应马斯克诉讼

    马斯克在长达46页、1.4万字的诉讼文件中,控诉OpenAI背离了其初衷——即致力于开发开源人工通用智能(AGI)并服务全人类。
    的头像 发表于 03-04 15:33 511次阅读

    马斯克:AI发展速度前所未见 但马斯克起诉OpenAI及其创始人

    马斯克:AI发展速度前所未见  现在市场上对于任何OpenAI的消息都非常敏感,我们分享一下马斯克对OpenAI起诉的一些事项。 马斯克在日前的一次活动表示AI的发展速度前所未见,他从未见过哪种技术
    的头像 发表于 03-02 15:29 1027次阅读

    马斯克550亿美元薪酬方案被推翻 马斯克4000亿薪酬被判无效

    马斯克550亿美元薪酬方案被推翻 马斯克4000亿薪酬被判无效 就在市场强烈关注马斯克的首例人类脑机接口手术之际,马斯克又爆出他那超级高的薪酬方案被推翻。 就在小编还以为
    的头像 发表于 01-31 11:18 1541次阅读

    马斯克再创辉煌,隧道公司估值达70亿美元改变城市生活

    马斯克行业芯事
    北京中科同志科技股份有限公司
    发布于 :2023年10月24日 09:56:15

    马斯克有多厉害 马斯克脑机接口公司将进行人体试验

    马斯克有多厉害 马斯克脑机接口公司将进行人体试验 马斯克有多厉害不仅仅是特斯拉全球大卖;现在钢铁侠再次上榜热搜,马斯克这次可是真正得干大事,马斯克
    的头像 发表于 09-21 12:14 2343次阅读

    马斯克最新消息 马斯克重申特斯拉将取消实体后视镜 马斯克回应被指叛国

    马斯克最新消息 马斯克重申特斯拉将取消实体后视镜 马斯克回应被指叛国 关于马斯克最新消息总是被关注,当然特别是特斯拉与SpaceX的一些最新消息,下面我们看看
    的头像 发表于 09-12 15:09 605次阅读

    马斯克巨款收购的推特广告收入下滑六成

    马斯克巨款收购的推特广告收入下滑六成 马斯克花巨款买下的推特业绩下滑居然下滑下惊人的地步?马斯克透露,X的广告销售额下降了60%,这主要是由于ADL(反诽谤联盟)对广告商施加的压力造成
    的头像 发表于 09-05 15:43 310次阅读

    马斯克直播自动驾驶去扎克伯格家

    马斯克直播自动驾驶去扎克伯格家 马斯克与扎克伯格莫非是天生冤家?特斯拉CEO马斯克在其个人账号上直播测试特斯拉最新版本的FSD自动驾驶系统。而且戏言要自动驾驶去到扎克伯格家中进行肉搏,完成之前
    的头像 发表于 08-29 17:24 707次阅读

    马斯克宣布:跟“小蓝鸟”说再见 TWTR的LOGO将换成“X”标志

    马斯克宣布:跟“小蓝鸟”说再见 TWTR的LOGO将换成“X”标志 马斯克想要彻底改变推特的野心人尽皆知,所以TWTR的LOGO肯定是要被替换的,马斯克宣布:跟“小蓝鸟”说再见;而且表示如果“网友
    的头像 发表于 07-24 15:03 447次阅读

    马斯克发战书 扎克伯格接受了

    巨富大佬的一举一动都被广泛关注,马斯克和扎克伯格的隔空喊话要干架;扎克伯格接受了马斯克的邀约,将在UFC比赛场地进行笼斗;而且马斯克和扎克伯格都表示会认真对待这场比赛。 两人干架地址是“拉斯维加斯
    的头像 发表于 06-23 12:45 939次阅读

    特斯拉CEO马斯克访华都做了什么

    马斯克的访华行程早在今年3月就已经被提上日程。当时,有匿名消息人士的话称,马斯克计划最早在4月访华
    的头像 发表于 06-02 17:22 1652次阅读

    马斯克再次成世界首富

    马斯克再次成世界首富 马斯克再次成世界首富?是的你没有看错,中国之旅果然是值钱的,马斯克访华也刺激特斯拉股价上涨,马斯克再度成为世界首富。 目前特斯拉CEO埃隆·
    的头像 发表于 06-01 14:51 785次阅读

    马斯克到访特斯拉上海超级工厂 马斯克中国行24小时见了3位部长

    马斯克到访特斯拉上海超级工厂 马斯克中国行24小时见了3位部长 马斯克访华肯定有一个地方不能够错过,特斯拉公司在上海的超级工厂当然不能错过。 随后在儿童节马斯克飞回了美国,莫非是要回家
    的头像 发表于 06-01 14:42 1271次阅读

    马斯克本周将访华 这是马斯克3年来首次访问中国

    特斯拉的首席执行官(ceo)埃隆马斯克本周将访问中国;而且这是3年来首次访问中国。此次旅行预计将是马斯克访问中国,这是他自2020年初登上特斯拉上海超级工厂举行的活动舞台,在网络上引起热烈反响
    的头像 发表于 05-30 11:35 987次阅读

    马斯克宣布将卸任推特CEO

    马斯克宣布将卸任推特CEO 就在特斯拉CEO马斯克以440亿美元将推特收购之后开始大手笔的裁员,现在居然把自己也裁掉了,马斯克宣布将卸任推特CEO。 根据美国消费者新闻与商业频道(CNBC)的报道
    的头像 发表于 05-12 18:03 705次阅读