下一個(gè)十五年，云與AI融合的未來(lái)

2024-9-25 18:04| 發(fā)布者: admin| 查看: 178| 評(píng)論: 0

摘要: 圖片來(lái)源：unsplash從2009年阿里云寫下飛天第一行代碼，迄今已過(guò)去十五年，經(jīng)歷了互聯(lián)網(wǎng)企業(yè)騰飛和傳統(tǒng)企業(yè)深入數(shù)字化轉(zhuǎn)型的兩次云計(jì)算浪潮之后，眼下我們已經(jīng)進(jìn)入第三次浪潮：云與AI融合的新階段。如同潮涌，AI的出 ...

圖片來(lái)源：unsplash

從2009年阿里云寫下飛天第一行代碼，迄今已過(guò)去十五年，經(jīng)歷了互聯(lián)網(wǎng)企業(yè)騰飛和傳統(tǒng)企業(yè)深入數(shù)字化轉(zhuǎn)型的兩次云計(jì)算浪潮之后，眼下我們已經(jīng)進(jìn)入第三次浪潮：云與AI融合的新階段。如同潮涌，AI的出現(xiàn)并不是顛覆前兩次的產(chǎn)業(yè)邏輯，而是前期在云上的技術(shù)積累會(huì)在AI基礎(chǔ)設(shè)施階段加速釋放平臺(tái)價(jià)值。

下一個(gè)十五年，不難預(yù)期：云將是AI的后盾與燃料庫(kù)。

這一點(diǎn)在網(wǎng)絡(luò)的發(fā)展歷程中也有跡可循。2000年前后，國(guó)內(nèi)互聯(lián)網(wǎng)剛興起不久，是由運(yùn)營(yíng)商提供網(wǎng)絡(luò)基礎(chǔ)設(shè)施，人們的需求只是發(fā)發(fā)郵件、買買東西；當(dāng)云計(jì)算與大數(shù)據(jù)到來(lái)，網(wǎng)絡(luò)進(jìn)入SDN時(shí)代，支撐網(wǎng)絡(luò)游戲、直播、算法推薦的興起；現(xiàn)在我們正經(jīng)歷AI智算時(shí)代，智能駕駛、LLM訓(xùn)練推理等，對(duì)網(wǎng)絡(luò)的要求與過(guò)去更是截然不同。

如何能夠匹配AI時(shí)代下超大規(guī)模算力需求，讓性能極致發(fā)揮？阿里云已經(jīng)有了答案。

為匹配AI時(shí)代的網(wǎng)絡(luò)要求，阿里云去年研發(fā)出大規(guī)模集群架構(gòu)HPN7.0，支持萬(wàn)卡集群式計(jì)算。據(jù)今年云棲大會(huì)最新公布，HPN7.0讓模型端到端訓(xùn)練性能提升10%以上，目前它實(shí)行前后端網(wǎng)絡(luò)分離技術(shù)，前端400G網(wǎng)絡(luò)帶寬提供高速存儲(chǔ)訪問(wèn)和節(jié)點(diǎn)通信；后端3.2T GPU互聯(lián)網(wǎng)絡(luò)，可滿足大規(guī)模AI計(jì)算需求。

實(shí)際上，阿里云早在2021年就在研究第一代萬(wàn)卡集群HPN6.0，當(dāng)時(shí)主要滿足自動(dòng)駕駛客戶對(duì)視覺(jué)模型訓(xùn)練的需求，彼時(shí)大模型還沒(méi)有如此普及。此外，阿里云2022年10月在業(yè)內(nèi)最早提出MaaS模型即服務(wù)理念，并引領(lǐng)了理念潮流。這些均表明，阿里云在AI底層和中間層AI infrastructure（簡(jiǎn)稱“AI Infra”）方面一直保持著前瞻性思考與布局。

在云與AI密不可分的時(shí)代，超前布局讓阿里云快速贏得了大量新的企業(yè)客戶，像智能駕駛、具身智能機(jī)器人等與云廠商有共創(chuàng)能力的創(chuàng)新者。AI Infra競(jìng)爭(zhēng)也將掀起新一輪行業(yè)變革。

加法與減法的對(duì)碰

智能的遷躍在新能源汽車上表現(xiàn)尤為明顯，其對(duì)智能基礎(chǔ)設(shè)施的需求也更強(qiáng)烈。

在9月19日杭州云棲大會(huì)上，駕駛號(hào)稱“全球首款A(yù)I汽車”P7+參會(huì)的小鵬汽車董事長(zhǎng)何小鵬預(yù)測(cè)，端到端大模型對(duì)自動(dòng)駕駛領(lǐng)域的價(jià)值在于，未來(lái)可以讓每一個(gè)人在每一個(gè)城市都像老司機(jī)那樣開(kāi)車。

下一個(gè)十五年，云與AI融合的未來(lái)

小鵬汽車董事長(zhǎng)何小鵬

在常規(guī)理念中，代碼富集意味著功能強(qiáng)大，但通過(guò)端到端（End-to-End）的神經(jīng)網(wǎng)絡(luò)代碼建立了感知—決策—執(zhí)行一體化，把這三步驟集合在同一個(gè)大模型中去做，徹底改變了過(guò)去的串聯(lián)式架構(gòu)。實(shí)際效果是：端到端“繞開(kāi)”了地圖數(shù)據(jù)，可根據(jù)攝像頭、傳感器實(shí)時(shí)采集的圖像數(shù)據(jù)，直接生成車輛的加速、轉(zhuǎn)向、剎車信號(hào)，讓汽車反應(yīng)更順滑。

在此背景下，代碼將進(jìn)一步縮減。以特斯拉FSD v12.5.1版本為例，原本30多萬(wàn)行的C++代碼砍到只剩下3000行。但與此同時(shí)，馬斯克從英偉達(dá)手里又團(tuán)購(gòu)了35萬(wàn)張顯卡，以支持更快的數(shù)據(jù)處理。算力做加法，這也是讓前端能逐漸變得更加簡(jiǎn)潔的基礎(chǔ)前提。

過(guò)去兩年，小鵬汽車也一直在加碼算力，其與阿里云共建的智算中心的算力儲(chǔ)備擴(kuò)張超4倍至2.51Eflops，以前需要一周完成的自動(dòng)駕駛大模型訓(xùn)練，如今通過(guò)智算中心可以縮短到用一小時(shí)完成。為加速端到端大模型、提升自動(dòng)駕駛的上限，何小鵬表示將繼續(xù)深化與阿里云的AI算力合作，預(yù)計(jì)每年投入35億元用于研發(fā)，其中7億元?jiǎng)潛芙o算力訓(xùn)練，并加速端到端大模型的落地。

小鵬汽車從2015年在阿里云開(kāi)戶，2019年車聯(lián)網(wǎng)研發(fā)上云，到2022年與阿里云在烏蘭察布建成自動(dòng)駕駛智算中心，再到自主研發(fā)的“全域大語(yǔ)言模型”X-GPT與阿里云通義千問(wèn)的融合，全面智能化升級(jí)車載助理；此外，小鵬汽車還積極擁抱阿里云通義萬(wàn)相，并在研發(fā)領(lǐng)域引入通義靈碼，實(shí)現(xiàn)代碼評(píng)審效率的大幅提升……這家車企現(xiàn)已All in AI，在制造、車聯(lián)網(wǎng)、自動(dòng)駕駛、智能座艙、官網(wǎng)數(shù)字營(yíng)銷多個(gè)領(lǐng)域與阿里云資源深度綁定。

另一家車企吉利也在智駕的路上飛奔，其與阿里云已合作9年之久，通過(guò)采用混合云架構(gòu)，線下專有云部署1000臺(tái)服務(wù)器+20P存儲(chǔ)、線上7萬(wàn)核公共云ECS+28P存儲(chǔ)。在智能駕駛場(chǎng)景，吉利使用了飛天專有云、標(biāo)桿算力平臺(tái)PAI靈駿+OSS+大數(shù)據(jù)+數(shù)據(jù)庫(kù)；智能座艙則通過(guò)阿里云的EGS+DeepGPU加速引擎，將吉利自研大模型推理上云，加速效果提升40%，并調(diào)用通義大模型API接口。同時(shí)它借助通義萬(wàn)相VL功能，支持智能座艙艙外識(shí)物，利用通義千問(wèn)Plus，支持客戶情感閑聊。

下一個(gè)十五年，云與AI融合的未來(lái)

圖片來(lái)源：unsplash

據(jù)行業(yè)內(nèi)測(cè)算，傳統(tǒng)燃油車有大約3萬(wàn)個(gè)零部件、整車芯片大約有500顆；而新能源AI汽車的零件只有不到2萬(wàn)個(gè)，芯片量卻達(dá)5500顆左右。一加一減之間，汽車的交互方式與生產(chǎn)邏輯已被改變，對(duì)專有芯片、大規(guī)模算力集群和云原生數(shù)據(jù)庫(kù)的依賴進(jìn)一步增強(qiáng)。

據(jù)最新消息，英偉達(dá)廣泛覆蓋汽車領(lǐng)域的NVIDIA DRIVE Orin系統(tǒng)級(jí)芯片，已實(shí)現(xiàn)與阿里云通義千問(wèn)多模態(tài)大模型Qwen2-VL的深度適配，并應(yīng)用于斑馬智行的智能座艙場(chǎng)景中。大模型接入汽車座艙，拓展人機(jī)交互邊界，已成趨勢(shì)。

“萬(wàn)卡時(shí)代”的全棧創(chuàng)新

大模型雖火，但并不算成熟。市面上的大模型幾乎每天都會(huì)因各種錯(cuò)誤造成訓(xùn)練中斷，而訓(xùn)練時(shí)效對(duì)業(yè)務(wù)創(chuàng)新具有決定性意義，訓(xùn)練太慢、總是中斷，創(chuàng)新效率就難以提升。人們往往添加更多的GPU來(lái)增強(qiáng)訓(xùn)練時(shí)效。像Meta訓(xùn)練Llama模型時(shí)用的是1.6萬(wàn)卡算力集群，大概每隔兩三個(gè)小時(shí)整個(gè)訓(xùn)練任務(wù)就要重新開(kāi)始，回到上一個(gè)Checkpoint。

從128張卡到1024張卡，從千卡到萬(wàn)卡，再到十萬(wàn)卡，“萬(wàn)卡堆疊”在理論上看似簡(jiǎn)單，單個(gè)GPU算力乘以GPU規(guī)模即構(gòu)成整體算力。然而在實(shí)際運(yùn)行中，當(dāng)卡的規(guī)模急劇擴(kuò)大時(shí)，很難再保證這種理論上的線性比，會(huì)產(chǎn)生算力“衰減”，這些都是運(yùn)營(yíng)難點(diǎn)。

這時(shí)候，網(wǎng)絡(luò)在這個(gè)集群中發(fā)揮著重要的作用，因?yàn)榫W(wǎng)絡(luò)在“梯度同步”過(guò)程中需要時(shí)間，且需大量數(shù)據(jù)交換，這個(gè)時(shí)間長(zhǎng)短直接決定了GPU在計(jì)算過(guò)程中的等待時(shí)間，導(dǎo)致傳統(tǒng)網(wǎng)絡(luò)集群不再適用于AI計(jì)算。

對(duì)此，上面提到的阿里云HPN7.0高性能網(wǎng)絡(luò)架構(gòu)提出了一個(gè)創(chuàng)新性設(shè)計(jì)，它采用單層千卡、兩層萬(wàn)卡、存算分離的架構(gòu)，專門為AI計(jì)算所設(shè)計(jì)，支持十萬(wàn)卡集群。兩層網(wǎng)絡(luò)不僅減少了時(shí)延，還簡(jiǎn)化了網(wǎng)絡(luò)連接的數(shù)量和拓?fù)?，從而找到了最?yōu)解。

阿里云過(guò)往長(zhǎng)期積累的規(guī)模優(yōu)勢(shì)也正支撐著新一輪技術(shù)優(yōu)勢(shì)——此次云棲大會(huì)上最新發(fā)布的 Qwen2.5–72B 性能超越 Llama 3.1 405B，同時(shí)模型算力成本再次下降，通義千問(wèn)三款主力模型最高降幅 85%。AI基礎(chǔ)設(shè)施必然會(huì)更強(qiáng)大，不僅要走得好，也要走得起，由此才能推動(dòng)更多創(chuàng)新，在這一方向上阿里云也在加速。

在阿里云CTO周靖人看來(lái)，AI技術(shù)變革觸達(dá)了計(jì)算機(jī)體系的方方面面，需要對(duì)全棧進(jìn)行全方位的創(chuàng)新。不僅是網(wǎng)絡(luò)，還包括服務(wù)器、存儲(chǔ)、數(shù)據(jù)處理、模型訓(xùn)練和推理平臺(tái)的技術(shù)架構(gòu)體系，都需要圍繞AI做全面升級(jí)，“阿里云正在圍繞AI時(shí)代，樹(shù)立一個(gè)AI基礎(chǔ)設(shè)施的新標(biāo)準(zhǔn)?！?br>

下一個(gè)十五年，云與AI融合的未來(lái)

阿里云CTO周靖人

阿里巴巴集團(tuán)CEO、阿里云智能集團(tuán)董事長(zhǎng)兼CEO吳泳銘在云棲大會(huì)上分享，過(guò)去一年阿里云投資新建了大量的AI算力，但還是遠(yuǎn)遠(yuǎn)不能滿足客戶的旺盛需求。這更堅(jiān)定了阿里云未來(lái)的投資力度。

具體看，在服務(wù)器端，阿里云最新上線的磐久AI服務(wù)器支持單機(jī)16卡GPU、共享顯存1.5TB，并提供基于AI算法的GPU故障預(yù)測(cè)，準(zhǔn)確率達(dá)92%。AI時(shí)代將從CPU核心過(guò)渡到以GPU為主的計(jì)算實(shí)例，需要支持全球各地的異構(gòu)芯片，面對(duì)比CPU時(shí)代更多的架構(gòu)創(chuàng)新，磐久服務(wù)器就是專為AI深度優(yōu)化，在芯片的快速適配、散熱上做了優(yōu)化處理。

在存儲(chǔ)上，阿里云CPFS文件存儲(chǔ)在經(jīng)歷過(guò)去一年發(fā)展已變成一項(xiàng)全托管服務(wù)，免去客戶運(yùn)維工作。它目前擴(kuò)容到了每秒高達(dá)20TB的帶寬，在設(shè)計(jì)上采用了存儲(chǔ)的梯度架構(gòu)，可把熱度最高的數(shù)據(jù)放在延遲最低的存儲(chǔ)上。其中CPFS與統(tǒng)一存儲(chǔ)數(shù)據(jù)湖OSS之間的數(shù)據(jù)傳輸速度達(dá)到每秒100GB。這些設(shè)計(jì)都是為AI智算設(shè)計(jì)。

以上包括磐久AI服務(wù)器、HPN網(wǎng)絡(luò)、CPFS存儲(chǔ)，再加上容器服務(wù)ACS，一起構(gòu)成了阿里云AI算力平臺(tái)靈駿，在AI Infra層面打造出一個(gè)更適合GPU計(jì)算和AI模型訓(xùn)練的基礎(chǔ)設(shè)施。阿里云與復(fù)旦大學(xué)共建的云上智算平臺(tái)CFFF、與小鵬汽車在烏蘭察布共建的自動(dòng)駕駛智算中心，都屬于靈駿的產(chǎn)業(yè)端應(yīng)用。

目前，以AI開(kāi)發(fā)和應(yīng)用落地的全棧能力可以通過(guò)PAI和阿里云百煉這兩個(gè)平臺(tái)對(duì)外落地。在云棲大會(huì)上，兩者均有新的服務(wù)升級(jí)發(fā)布：PAI模型訓(xùn)練全面提升了穩(wěn)定性，千卡規(guī)模集群故障分鐘級(jí)自動(dòng)發(fā)現(xiàn)，覆蓋故障達(dá)98.6%；百煉2.0專屬版本在云棲大會(huì)上發(fā)布，專門針對(duì)政企客戶做了使用優(yōu)化。

正是由于以上種種創(chuàng)新使得通用大模型及基礎(chǔ)算力迎來(lái)多輪降價(jià)，降低了企業(yè)AI開(kāi)發(fā)成本，對(duì)于各行業(yè)AI滲透率的提升至關(guān)重要。

回顧早期云計(jì)算，因托管層級(jí)的不同被分為IaaS、PaaS、SaaS層。現(xiàn)在這個(gè)架構(gòu)因AI向上延伸至MaaS開(kāi)源，向下延伸到芯片層、異構(gòu)算力。AI不僅拓展了云的邊界，也激勵(lì)云再做一次物理級(jí)別的全棧升級(jí)變革。如今，真正到了檢驗(yàn)云廠商創(chuàng)新能力的時(shí)候。

下一個(gè)十五年， “AI+云”的基礎(chǔ)設(shè)施之上，新的浪潮奔涌而來(lái)。

中國(guó)云計(jì)算風(fēng)雨十五載，我們以云計(jì)算三次浪潮為主線，以三篇稿件系統(tǒng)復(fù)盤并思考產(chǎn)業(yè)與云計(jì)算交融的過(guò)去、當(dāng)下與未來(lái)。

前文回顧：

系列之一《回看十五年，云計(jì)算的底色》

系列之二《回看十五年，傳統(tǒng)企業(yè)上云潮》

（本文首發(fā)于鈦媒體APP）