D-Think | 東遠(yuǎn)科技-廣州東遠(yuǎn)智能科技有限公司- › 首頁 ›資訊› 科技頭條 › 查看內(nèi)容

AI 倒貼錢也不好用，是因為沒有「操作系統(tǒng)」

2024-6-22 08:45| 發(fā)布者: admin| 查看: 202| 評論: 0

摘要: 這一個月，AI 繼續(xù)高速向前推進(jìn)：技術(shù)瘋狂向前，價格瘋狂下降。OpenAI、Google 先后發(fā)布 GPT-4o、Project Astra 、微軟剛發(fā)布 50 多項 AI 相關(guān)更新；字節(jié)的「豆包」大模型家族、騰訊的混元大模型集體亮相。數(shù)小時內(nèi) ...

這一個月，AI 繼續(xù)高速向前推進(jìn)：技術(shù)瘋狂向前，價格瘋狂下降。

OpenAI、Google 先后發(fā)布 GPT-4o、Project Astra 、微軟剛發(fā)布 50 多項 AI 相關(guān)更新；字節(jié)的「豆包」大模型家族、騰訊的混元大模型集體亮相。

數(shù)小時內(nèi)大模型算力進(jìn)入「厘時代」，阿里云、百度、字節(jié)統(tǒng)統(tǒng)降價甚至免費(fèi)，就差花錢補(bǔ)貼用戶了。

在這樣的氛圍下，5 月 22 日，極客公園今夜科技談邀請到矩陣起源創(chuàng)始人 & CEO 王龍做客，暢聊數(shù)據(jù)和算力這兩個大模型發(fā)展的基礎(chǔ)要素。

作為從數(shù)據(jù)庫業(yè)務(wù)升級大模型操作系統(tǒng)，矩陣起源剛剛拿到 Pre A 輪的數(shù)千萬美金融資。和硅谷明星數(shù)據(jù)公司 Databricks 一樣，矩陣起源也是一家從大數(shù)據(jù)時代就堅持長期主義，在設(shè)計之初就考慮了未來與 AI 技術(shù)的對接，一開始就堅持自己做「數(shù)字世界操作系統(tǒng)」的愿景，直到迎來 AI 時代，成為更適配新時代的數(shù)據(jù)公司。

別看現(xiàn)在技術(shù)和價格卷得如火如荼，目前能用好 AI 能力的公司十分有限。當(dāng)前階段稍顯「有價無市」的大模型落地，是一個顯而易見的痛點。

王龍認(rèn)為，首先要調(diào)整對大模型能力的認(rèn)識和期待，「就像自動駕駛，L2-L3 已經(jīng)可以帶來很多價值了?！乖谄髽I(yè)應(yīng)用大模型能力中，當(dāng)前需要做很多繁瑣的自適配。

矩陣起源依然在做難而正確的事，發(fā)布操作系統(tǒng) Matrix OS，和世紀(jì)互聯(lián)聯(lián)合發(fā)布「Neolink.AI」，做未來的「大模型工作臺」，像連接鼠標(biāo)鍵盤一樣連接數(shù)據(jù)和算力，幫助更多公司一鍵進(jìn)入大模型時代。

正如王龍清晰地說到，「我們的操作系統(tǒng)連接數(shù)據(jù)存儲和算力資源，服務(wù)對象包括大模型開發(fā)者和傳統(tǒng)企業(yè)應(yīng)用開發(fā)者，我希望以最簡單、最合理的方式為他們提供所需的算力和數(shù)據(jù)資源?！?br>

AI 降價了，但痛點不是價格

張鵬：最近大模型領(lǐng)域價格戰(zhàn)很受關(guān)注，其實這場價格戰(zhàn)背后，一方面是技術(shù)進(jìn)步和規(guī)模效應(yīng)帶來的成本優(yōu)勢，另一方面也體現(xiàn)出行業(yè)想要讓更多行業(yè)能真正應(yīng)用大模型的意愿。

今天我們介紹的創(chuàng)業(yè)公司矩陣起源，正是從大模型發(fā)展中兩個非常重要的因素——數(shù)據(jù)和算力領(lǐng)域內(nèi)開展業(yè)務(wù)，他們剛剛拿了 Pre A 輪的數(shù)千萬美金融資。他們要解決的是什么樣的問題，讓資本這么看好，這么大規(guī)模的投入？

我們邀請到了矩陣起源的創(chuàng)始人兼執(zhí)行董事長王龍，您可以先做一下自我介紹。

王龍：我是行業(yè)老兵，在三個國家、十幾個公司工作過。在中國過去幾年主要是在騰訊做物聯(lián)網(wǎng)、大數(shù)據(jù)和人工智能的負(fù)責(zé)人。2021 年再次創(chuàng)業(yè)，決定圍繞數(shù)據(jù)做一些事。

我們最核心產(chǎn)品 MatrixOne 數(shù)據(jù)庫和 MatrixOne Cloud 全托管云原生數(shù)據(jù)平臺，是把結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù)放在一起，把智能物聯(lián)網(wǎng)和 AIGC 的數(shù)據(jù)，傳統(tǒng)企業(yè)的數(shù)據(jù)放在一起，用同一套存儲、同一個計算框架去處理。最近融資后，我們又加了一些算力的重點。

張鵬：最近 OpenAI 發(fā)布 GPT-4o，谷歌也推出 Project Astra，都提到了多模態(tài)技術(shù)，這個變化體現(xiàn)了什么?

王龍：說一個我的經(jīng)歷。之前我們公司為所有開發(fā)人員配備了 GitHub 的 Copilot 工具。在我親自體驗了最新的 GPT-4o 之后，我決定為所有員工購買 GPT 服務(wù)套餐。由于我最近有許多與 Office 相關(guān)的工作，如制作圖表和撰寫文檔，我發(fā)現(xiàn) GPT-4o 在處理多模態(tài)任務(wù)方面表現(xiàn)出色。

我想分享下我對大型模型的看法是如何發(fā)展的。大約在前年年底，GPT 首次發(fā)布時確實令人震撼。我當(dāng)時就意識到，這是人機(jī)自然語言交互領(lǐng)域的一次革命。一開始，我并沒有深入考慮太多，我覺得只與機(jī)器人聊天并不會帶來太多實際收益。

在上一次深度學(xué)習(xí)浪潮中，大家利用它在人臉識別、安全監(jiān)控、OCR 等領(lǐng)域賺錢。這些領(lǐng)域在半年到一年后才真正實現(xiàn)了商業(yè)化落地和盈利，而且賺錢過程也相當(dāng)艱難。

但我發(fā)現(xiàn)這次 AI 浪潮與上一次深度學(xué)習(xí)技術(shù)有很大不同，這次 AI 的影響力和發(fā)展速度明顯要快得多。2023 年 1 月到 2 月，已經(jīng)有人開始利用這些技術(shù)賺取了數(shù)百萬甚至上千萬的收入，比如使用 AI 生成文案，進(jìn)行廣告營銷等。這一次 AI 浪潮的發(fā)展速度和影響力至少是上次的十倍。

現(xiàn)在情況又有所不同，多模態(tài)技術(shù)讓我們認(rèn)識到，盡管純文本有很大的想象空間，但與結(jié)合了圖片、視頻和音頻的多媒體能力相比，文本的價值還是有所不足。其潛在的想象空間可能至少是 2016 年 AI 浪潮時的一百倍。雖然我還不敢斷言它能否達(dá)到工業(yè)革命時蒸汽機(jī)的程度，但市場潛力已經(jīng)非常巨大。

張鵬：現(xiàn)在看到多模態(tài)的能力未來能創(chuàng)造更大價值，那么多模態(tài)技術(shù)與大模型的核心能力之間的關(guān)系如何? 企業(yè)如何在大模型時代更好地認(rèn)識和利用自身的數(shù)據(jù)資產(chǎn)，未來會發(fā)生哪些變化？

王龍：我創(chuàng)業(yè)的時候在考慮，是繼續(xù)做數(shù)據(jù)相關(guān)還是 AI 相關(guān)。AI 更偏向于應(yīng)用，更容易通過人和項目來賺錢，但數(shù)據(jù)則更加偏底層，需要靠產(chǎn)品來支撐。

因為不管未來 AI 如何發(fā)展，數(shù)據(jù)都是數(shù)字世界最為核心的要素。所以從一開始創(chuàng)立公司時，我們的目標(biāo)就是要成為「數(shù)字世界的操作系統(tǒng)」，做一個奠基者，而不是僅僅做一個數(shù)據(jù)庫。

張鵬：數(shù)據(jù)庫是第一塊磚，是吧？

王龍：對，無論未來 AI 發(fā)展如何，數(shù)據(jù)無疑都是最基礎(chǔ)的「第一塊磚」。無論是為 AI 服務(wù)還是其他系統(tǒng)服務(wù)，數(shù)據(jù)都起著關(guān)鍵作用。所以我們選擇了專注于數(shù)據(jù)領(lǐng)域。

接下來我們思考，到底應(yīng)該圍繞哪些數(shù)據(jù)展開? 傳統(tǒng)企業(yè)數(shù)據(jù)不太可靠，而互聯(lián)網(wǎng)數(shù)據(jù)領(lǐng)域已有許多先驅(qū)。于是我們把目光轉(zhuǎn)向新興的智能物聯(lián)網(wǎng)數(shù)據(jù)，包括攝像頭、麥克風(fēng)、工業(yè)傳感器等產(chǎn)生的數(shù)據(jù)，希望能夠建立一個數(shù)據(jù)操作系統(tǒng)，將這些異構(gòu)數(shù)據(jù)整合在一起。

為了融合各種不同時代和系統(tǒng)的異構(gòu)數(shù)據(jù)，我們的系統(tǒng)架構(gòu)需要保持高度的創(chuàng)新性。而這種架構(gòu)的優(yōu)勢，AI 興起之后會變得更加明顯。

現(xiàn)在我們的數(shù)據(jù)庫系統(tǒng)，在推理模型、代理系統(tǒng)、向量處理等方面都已經(jīng)具備了相應(yīng)的能力。我們正在進(jìn)一步規(guī)劃如何將訓(xùn)練數(shù)據(jù)也有機(jī)地融合進(jìn)來，以進(jìn)一步增強(qiáng)系統(tǒng)的功能。

一開始我們就定下做「數(shù)字世界操作系統(tǒng)」的愿景，所以我們提前做了一些前瞻性的布局?，F(xiàn)在看來，這不僅是我們得以成功融資的關(guān)鍵因素，也使我們的數(shù)據(jù)庫系統(tǒng)脫穎而出，不再是一個普通的數(shù)據(jù)庫，而是一個面向未來的創(chuàng)新型數(shù)據(jù)管理平臺。

AI 倒貼錢也不好用，是因為沒有「操作系統(tǒng)」

矩陣起源 Matrix OS | 圖片來源：矩陣起源

張鵬：你認(rèn)為數(shù)據(jù)庫是一個有意義的面向未來的問題，所以你才會有新的架構(gòu)、新的目標(biāo)去做，當(dāng)時你是怎么判斷未來的？

王龍：我將數(shù)據(jù)大致劃分為幾類。

第一類是企業(yè)數(shù)據(jù)，主要涉及內(nèi)部流程管理，如 ERP、進(jìn)銷存、OA 等系統(tǒng)產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)。這類數(shù)據(jù)注重存儲空間利用、數(shù)據(jù)完整性等特點，總體比較「乖巧」。

第二類是互聯(lián)網(wǎng)數(shù)據(jù)，主要體現(xiàn)在個人消費(fèi)、UGC 內(nèi)容等領(lǐng)域。這類數(shù)據(jù)不像企業(yè)數(shù)據(jù)那么「嚴(yán)肅」，存在很多不確定性。像谷歌的 Hadoop（一個分布式系統(tǒng)基礎(chǔ)架構(gòu)）生態(tài)，就是針對這種數(shù)據(jù)量大、質(zhì)量參差不齊的特點而設(shè)計的，它們的思路是忠實記錄原始數(shù)據(jù)，然后交由檢索系統(tǒng)去處理分析。

隨著移動互聯(lián)網(wǎng)的興起，數(shù)據(jù)規(guī)模和復(fù)雜度進(jìn)一步提升。這些演變過程反映了數(shù)據(jù)本質(zhì)的變化——從早期結(jié)構(gòu)化、確定性強(qiáng)的企業(yè)數(shù)據(jù)，到海量、多樣、不確定的互聯(lián)網(wǎng)數(shù)據(jù)。這就給數(shù)據(jù)管理和處理帶來了全新挑戰(zhàn)。

此外，智能物聯(lián)網(wǎng)數(shù)據(jù)發(fā)生變化，之前的互聯(lián)網(wǎng)數(shù)據(jù)大多源自人工產(chǎn)生，但物聯(lián)網(wǎng)時代，很多數(shù)據(jù)來自于各類機(jī)器設(shè)備，如攝像頭、手機(jī)等。

這種機(jī)器生成的數(shù)據(jù)，與人工數(shù)據(jù)不一樣，如果這些數(shù)據(jù)出現(xiàn)錯誤，很難確定責(zé)任歸屬。相比之前，這類數(shù)據(jù)，不僅要關(guān)注數(shù)據(jù)的完整性和可靠性，還要處理數(shù)據(jù)出錯時的責(zé)任認(rèn)定問題。

隨著 AI 時代的到來，數(shù)據(jù)的性質(zhì)又發(fā)生了變化。之前 AI 主要基于公眾互聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行訓(xùn)練，但真正落地應(yīng)用時，它又需要結(jié)合企業(yè)內(nèi)部數(shù)據(jù)，以及物聯(lián)網(wǎng)數(shù)據(jù)，比如說去做設(shè)計、去做勘探、去做工業(yè)控制。

張鵬：下一步的決策是怎么做的？

王龍：無論是做 AI 還是其他，未來人類都會傾向于將各類數(shù)據(jù)集中到同一個地方進(jìn)行處理。因為只有數(shù)據(jù)聚合在一起，其價值才能最大化。

比如，生產(chǎn)數(shù)據(jù)可能存在企業(yè)內(nèi)部，而營銷數(shù)據(jù)則在互聯(lián)網(wǎng)上，如果能將它們整合起來，就能實現(xiàn)更優(yōu)化的應(yīng)用。即便是互聯(lián)網(wǎng)企業(yè)，內(nèi)部也會有一些財務(wù)、管理等系統(tǒng)產(chǎn)生的數(shù)據(jù)。所以將這些異構(gòu)數(shù)據(jù)統(tǒng)一管理，才是最優(yōu)的。

為了滿足不同時代數(shù)據(jù)的特殊需求，我們在設(shè)計系統(tǒng)架構(gòu)時考慮了這些。首先，我們選用了云原生的存儲技術(shù)，能夠?qū)⒏黝惍悩?gòu)數(shù)據(jù)統(tǒng)一存放在同一個存儲系統(tǒng)中。無論是企業(yè)內(nèi)部數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)，還是物聯(lián)網(wǎng)數(shù)據(jù)，云原生存儲都能夠靈活容納。同時，我們對存儲系統(tǒng)進(jìn)行了精細(xì)化的設(shè)計，以支持高效的數(shù)據(jù)處理。

第二我們意識到不同類型的數(shù)據(jù)，對處理的需求也存在差異。有的需要記錄錯誤信息，有的則要注重數(shù)據(jù)誕生的痕跡；有的對吞吐量有很高要求。為了滿足這些差異化需求，我們采用云原生的計算資源細(xì)粒度調(diào)度技術(shù)，以靈活適配不同數(shù)據(jù)的特點。

張鵬：這不光是湖倉（開放式架構(gòu)）的問題，還是存儲的問題，這成了一個新的目標(biāo)嗎？

王龍：是的，然后我們采用了一種全新的架構(gòu)來構(gòu)建我們的計算框架，這當(dāng)然有代價，就是團(tuán)隊無數(shù)次的代碼重構(gòu)。我們經(jīng)歷了一次又一次的試驗，得到了一些非常重視我們理念的客戶的支持，他們一直在提供真實數(shù)據(jù)來改進(jìn)我們的產(chǎn)品。讓我們不斷發(fā)現(xiàn)需要改進(jìn)的地方，并且及時做出調(diào)整。

到了去年 10 月，當(dāng)我們正式發(fā)布產(chǎn)品時，已經(jīng)有三四十位客戶，感謝他們幫助我們打造了一個獨特的管理、存儲和計算資源的框架。

這套框架的優(yōu)勢在于，無論我們接入什么類型的數(shù)據(jù)，都變得非常容易。比如人工智能數(shù)據(jù)，或者接入任何類型的計算資源（如我們所說的制算資源或 GPU 資源）。這是因為我們的系統(tǒng)本質(zhì)上是一個易于插拔的系統(tǒng)，類似于操作系統(tǒng)的概念，可以輕松地接入不同廠商的鼠標(biāo)或顯示屏。

許多創(chuàng)業(yè)公司可能在一兩年內(nèi)就獲得了大量客戶，而我們用了三年時間才獲得了三四十個客戶。然而，我認(rèn)為這種努力是值得的，因為它幫助我們建立了一個強(qiáng)大的產(chǎn)品基礎(chǔ)。

張鵬：在大模型技術(shù)爆發(fā)和國內(nèi)對大模型的熱潮中，你認(rèn)為創(chuàng)業(yè)者應(yīng)如何識別和把握未來的機(jī)遇，進(jìn)行戰(zhàn)略調(diào)整？你作為一個成熟創(chuàng)業(yè)者，當(dāng)時是怎么經(jīng)歷的決策過程？

王龍：我和我們投資人世紀(jì)互聯(lián)創(chuàng)始人兼執(zhí)行董事長陳升有一次聊到說，有客戶面臨 IT 投入增長速度遠(yuǎn)超業(yè)務(wù)增長的問題，問我有什么方法可以控制這種不可控的增長。

我分析后發(fā)現(xiàn)，客戶的軟件成本增長還算合理。國內(nèi)大多數(shù)廠商要么使用開源產(chǎn)品，要么使用國內(nèi)軟件公司的產(chǎn)品，他們不會因為使用了 500 臺服務(wù)器就支付 500 臺的費(fèi)用。

那他們的成本主要增長在哪里？我原本以為，客戶的硬件從 500 臺增長到 1000 臺，矩陣起源軟件能幫助節(jié)省大約 200 臺或 300 臺。但客戶要求減少一半成本，而軟件的成本只占總成本的 20%，我就算不收錢，成本也只能減少 20%。

陳升說，客戶現(xiàn)在的需求已經(jīng)不在于使用普通的服務(wù)器機(jī)柜了，客戶現(xiàn)在最關(guān)心的是智能算力。因為過去，作為一個企業(yè)信息化負(fù)責(zé)人，你搭建一套 IT 系統(tǒng)，投入可能分布如下：硬件占 50%，其他如電費(fèi)、軟件費(fèi)用、服務(wù)費(fèi)用等各占 10% 左右。

但現(xiàn)在情況不同了，企業(yè)首先需要投入大量資金用于智能算力，如英偉達(dá)的 GPU 等，這可能占到 70% 到 80%，電費(fèi)占 20%，其他軟件費(fèi)、人工費(fèi)、服務(wù)費(fèi)等加起來只占 10%。陳升說，優(yōu)化那 10% 沒有太大意義，你應(yīng)該想辦法在占大頭的 70% 中找到優(yōu)化空間。

張鵬：也就是你不能在一粒米上搞微雕。

王龍：這番話其實挺啟發(fā)我的，我想如果我們開發(fā)一個數(shù)據(jù)產(chǎn)品，比如操作系統(tǒng)，我們希望客戶能快速應(yīng)用落地，那我們就需要關(guān)注客戶的錢主要花在了哪里，然后如何幫助他們更有效地使用這部分資金。

這就引出了一個問題：用戶都在做什么？用戶正在開發(fā)大模型，或者圍繞大模型進(jìn)行應(yīng)用落地，他們的整個邏輯已經(jīng)發(fā)生了顛覆性的變化。所以我們不能僅僅圍繞傳統(tǒng)的數(shù)據(jù)集中式管理，我們需要思考，除了數(shù)據(jù)管理之外，還能做些什么。

我們發(fā)現(xiàn)關(guān)鍵是如何將算力與數(shù)據(jù)更好地結(jié)合起來?，F(xiàn)在我們公司從三四年前以數(shù)據(jù)為核心的單一模式，已經(jīng)轉(zhuǎn)變?yōu)橐詳?shù)據(jù)和算力為核心的雙核心模式。

所以，回到你前面的問題，作為創(chuàng)業(yè)者，如何調(diào)整自己的策略？就是看到大模型浪潮給我們帶來的沖擊和挑戰(zhàn)，并找到應(yīng)對的方法。

張鵬：創(chuàng)業(yè)者有時會犯一個錯，就是過于專注于自己擅長和堅信的事物，而忽視了市場的實際需求。會投入大量精力去完善自己的產(chǎn)品，但如果大家缺的不是這粒米，可能就錯過了在一個山上去雕個大佛的機(jī)會。你瞬間就把目標(biāo)轉(zhuǎn)成智能算力，這是很重要的一點。

王龍：對，而且這個改變本質(zhì)上并不是整個調(diào)頭，只是方向上的轉(zhuǎn)變，變成數(shù)據(jù)和智能算力的結(jié)合。

「一鍵 AI」難在少了「工作臺」

張鵬：正好講講數(shù)據(jù)和算力這兩者的關(guān)系。

王龍：我們過去在數(shù)據(jù)庫領(lǐng)域經(jīng)常提到存算分離和存算解耦的概念。因為存儲和計算資源都非常寶貴，如果能將它們解耦，就可以根據(jù)實際需求靈活調(diào)度和匹配算力與數(shù)據(jù)。

過去人們經(jīng)常探討是將數(shù)據(jù)移動到計算資源附近，還是將計算資源移動到數(shù)據(jù)附近。圍繞這個問題，有各種各樣的技術(shù)架構(gòu)。這其中的優(yōu)缺點非常復(fù)雜，研究的人也很多。但歸根結(jié)底，數(shù)據(jù)和算力是 IT 系統(tǒng)中最關(guān)鍵的兩個因素。

數(shù)據(jù)和算力之間的匹配本身就是一項核心能力。過去更多使用 CPU 通用算力，基本上是按照 CPU 的賬來算。但現(xiàn)在，智能算力的情況有所不同。它是按照 GPU 來計算的，GPU 的成本遠(yuǎn)遠(yuǎn)高于 CPU。還要考慮 GPU 帶來的網(wǎng)絡(luò)成本、電力成本，以及整個系統(tǒng)的制冷等復(fù)雜因素。

其中一個必須考慮的是算力集群的電力成本和電網(wǎng)的承載能力?？梢詮氖兰o(jì)互聯(lián)的經(jīng)歷看這個變化，他們原本是做 IDC 機(jī)柜的，核心競爭力在于遍布全國的機(jī)柜資源和強(qiáng)大的網(wǎng)絡(luò)連接能力。

但隨著智能算力的興起，世紀(jì)互聯(lián)發(fā)現(xiàn)需要改變。以前一個機(jī)柜的電力消耗大約只有幾十千瓦，但現(xiàn)在，英偉達(dá)最新一款服務(wù)器的起步電力消耗就是 120 千瓦，例如 NVL72，要配備 72 張 GB200 卡。如果再加上制冷系統(tǒng)等其他因素，電力消耗很容易達(dá)到 200 千瓦。

對于 IDC 來說，原本可能認(rèn)為自己的電力供應(yīng)是充足的。但現(xiàn)在，即使是稍微大一點的集群，比如英偉達(dá)最新的示范性集群，擁有 36000 張卡，每張卡的功耗都在 1 千瓦以上，要找到一個能夠承載這樣高功耗的數(shù)據(jù)中心，實際上相當(dāng)具有挑戰(zhàn)性。

AI 倒貼錢也不好用，是因為沒有「操作系統(tǒng)」

MatrixOne：超融合數(shù)據(jù)管理平臺 | 圖片來源：矩陣起源

張鵬：得給他配個核電站了。確實消耗的電力太大，哪個城市都扛不住。

王龍：美國現(xiàn)在就發(fā)愁，數(shù)據(jù)中心到底建在哪個州？電力和算力雖然看起來是比較傳統(tǒng)的兩個詞，但它背后代表的公式和含義其實跟以前不完全一樣，總之?dāng)?shù)據(jù)和電力怎么更好的配合這件事情，會成為未來不管是做 AI 相關(guān)應(yīng)用還是其它事情的一個關(guān)鍵點。

張鵬：其實數(shù)據(jù)和計算一直是密不可分的。雖然現(xiàn)在要考慮高能耗，但我認(rèn)為能源問題是人類總會設(shè)法解決的，最關(guān)鍵的是，能不能讓數(shù)據(jù)和 GPU 配合好。

王龍：最近我在美國，有幸與英偉達(dá)的創(chuàng)始人黃仁勛以及他團(tuán)隊開了個會。我與他們的首席解決方案架構(gòu)師深入交流，就討論了高能耗的問題。

首先，他認(rèn)為能耗一定會降低，因為目前我們主要在做模型訓(xùn)練，而推理任務(wù)相對較少，推理的能耗相比訓(xùn)練要小得多。當(dāng)然，如果大家都開始使用推理，能耗可能會上升，但總的來說，我們可以看到行業(yè)內(nèi)有大量創(chuàng)業(yè)公司正在研究如何降低推理和訓(xùn)練的能耗。

其次，他提出了一個非常有啟發(fā)性的觀點，他建議我們不要僅僅將大模型視為一種軟件，而應(yīng)該將其看作是一種儲能裝置。

大模型將電能轉(zhuǎn)化為未來可以使用的能量，儲存在大模型中。他認(rèn)為大模型的本質(zhì)是將人類智慧——包括數(shù)據(jù)、算法和互聯(lián)網(wǎng)上的大量信息——以及正在產(chǎn)生的能源，整合到一個數(shù)字化模型中。

張鵬：說到成本，最近大模型領(lǐng)域的價格戰(zhàn)很熱，會不會那些花費(fèi)巨資訓(xùn)練的大模型似乎突然變得不那么有價值了？這種價格競爭是否真的預(yù)示著未來企業(yè)將 AI 作為生產(chǎn)力的成本將出現(xiàn)指數(shù)級的下降？會成為更廣泛應(yīng)用的起點嗎？

王龍：確實，目前大模型領(lǐng)域的競爭非常有趣。雖然過去我們常說流量至關(guān)重要，但大模型時代不一樣了。大多數(shù)模型的接口都非常相似，對于開發(fā)者來說，切換使用不同的大模型可能只是代碼中的一個小改動。流量需要有粘性才能體現(xiàn)價值，大模型并不是以流量為核心的。

我們的 CTO 和科學(xué)家在硅谷就這個問題進(jìn)行過深入探討。當(dāng)他們剛開始部署 Copilot，用于輔助編寫代碼時，CTO 感到有些不安，他開玩笑說未來可能不再需要 CTO 了。

但實際使用發(fā)現(xiàn)大模型與人類專家之間還是存在差距，不過未來編寫程序的方式可能會發(fā)生改變。大模型可能會在某些方面提供輔助，核心的創(chuàng)新和決策需要人類專家的參與。

所以成本下降并不一定是大模型應(yīng)用的關(guān)鍵。

傳統(tǒng)上，成為程序員意味著要學(xué)習(xí)各種編程語言，比如 Java、C++、Python 或 PHP。掌握這些語言后，程序員就能編寫代碼，與計算機(jī)進(jìn)行交流。編寫代碼本質(zhì)上是操縱計算機(jī)的一種方式。

但是現(xiàn)在要去與大模型溝通，讓大模型來完成工作。這使得編程變得更容易，因為任何人都可以通過自然語言與大模型交互，不斷地調(diào)試和優(yōu)化。

在企業(yè)中應(yīng)用大模型時，最基本的一點是，即使你沒有任何技術(shù)背景，只要你能說話，就能讓大模型為你工作。當(dāng)你覺得機(jī)器語言的表現(xiàn)不好時，想讓它變得更聰明，就會出現(xiàn)各種基于強(qiáng)化學(xué)習(xí)的代理（agent），它們可以幫助提升大模型的性能。

張鵬：你都不需要掌握機(jī)器的語言了。其實本質(zhì)上這也是編程，相對于過去那種就是大模型之前時代的編程來講，其實在提示工程之后的進(jìn)階編程，是 RAG（Retrieval-augmented Generation 檢索增強(qiáng)生成）。

王龍：有道理，就是基于數(shù)據(jù)來編程，我把數(shù)據(jù)喂給大模型，讓它能夠得出我想要的答案。如果我對這個大模型還不滿意，我可以直接調(diào)優(yōu)，改變它的參數(shù)。最后我對這個大模型徹底不滿意，我就搞一個全新的大模型，連預(yù)訓(xùn)練都自己做。

張鵬：我們實際上都在參與塑造大模型的發(fā)展。如果還需要支付昂貴的費(fèi)用，那就顯得不太合理了。

國外企業(yè)在這方面的做法值得我們學(xué)習(xí)，將用戶視為開發(fā)者，定期舉辦開發(fā)者大會，提供激勵措施。我們應(yīng)該轉(zhuǎn)變思維模式，應(yīng)該把大模型看作是一種可以共同創(chuàng)造和分享價值的平臺。

王龍：是的，當(dāng)你使用像 OpenAI 或者 Google 的 Gemini 的 AI 時，它們會問你是否允許它們使用你的數(shù)據(jù)進(jìn)行訓(xùn)練。實際上，這就像是在幫助它們改進(jìn)算法，或者說是在為它們的模型打補(bǔ)丁。

這只是我的推測，因為當(dāng)我同意它們使用我的數(shù)據(jù)處理訓(xùn)練時，它們的響應(yīng)速度似乎有顯著提升。這讓我懷疑是不是有一個后臺機(jī)制，能夠利用用戶提供的數(shù)據(jù)來即時優(yōu)化模型性能。

張鵬：所以在這個趨勢下你怎么構(gòu)想你的那個業(yè)務(wù)呢？最近你們從超融合數(shù)據(jù)庫推出了新的操作系統(tǒng)，叫 Matrix OS，但是操作系統(tǒng)這個詞很宏大，怎么理解？

王龍：操作系統(tǒng)雖然聽起來是一個宏大的概念，但其實它的基本原理相當(dāng)簡單。比如我們筆記本電腦的操作系統(tǒng)是干什么的？它的主要作用是讓鼠標(biāo)、鍵盤、顯示器等各種硬件設(shè)備協(xié)同工作。

作為用戶，你只需要關(guān)心你想如何操作電腦、獲取信息、顯示內(nèi)容，而無需在意鼠標(biāo)是宏基的還是戴爾的，顯示器和芯片來自哪里。操作系統(tǒng)在后臺為你處理了所有這些復(fù)雜性。如果你是一名新的鼠標(biāo)制造商，你也不需要向操作系統(tǒng)報備，只需按照既定的接口標(biāo)準(zhǔn)接入，即可被操作系統(tǒng)識別和使用。

本質(zhì)上，操作系統(tǒng)是一個連接者，它簡化了復(fù)雜系統(tǒng)，充當(dāng)了一個連接器的角色，為開發(fā)者提供了便利。

我們發(fā)布的操作系統(tǒng)連接了什么？連接了數(shù)據(jù)存儲和算力資源。服務(wù)對象是誰？模型開發(fā)者和普通應(yīng)用開發(fā)者。

無論是 AI 開發(fā)者還是傳統(tǒng)企業(yè)應(yīng)用開發(fā)者，我希望以最簡單、最合理的方式為他們提供所需的算力和數(shù)據(jù)資源。無論是進(jìn)行 AI 應(yīng)用開發(fā)、微調(diào)、提示工程還是其他任何開發(fā)工作，我們提供的工具和服務(wù)都能滿足他們的需求。

我們致力于讓操作系統(tǒng)成為一個易于使用、高效的平臺，讓開發(fā)者能夠?qū)Ｗ⒂趧?chuàng)新和解決問題，而無需被底層硬件和軟件的復(fù)雜性所困擾。

張鵬：如果我們類比，Matrix OS 有點像大模型時代的程序員工作臺，那么它為開發(fā)者提供了一個全面的工具集合。在這個平臺上，你可以從最基本的編程技能 prompt engineering 開始，然后逐步進(jìn)階到更高級的 rag 技術(shù)，再進(jìn)一步到復(fù)雜的模型訓(xùn)練。

無論你的編程水平如何，Matrix OS 都能為你提供最適合的工具和資源，幫助你高效地完成工作。它允許你根據(jù)自己的需求和能力，選擇不同層次的開發(fā)任務(wù)。無論是進(jìn)行基礎(chǔ)的編程、高級的算法開發(fā)，還是自定義模型的訓(xùn)練，Matrix OS 都能提供支持。這就是 Matrix OS 的核心。

王龍：大模型對我來說就是一個編程工廠，提供給大家去用。

張鵬：既可以是個工作臺，也可能是一個企業(yè)的大模型生產(chǎn)工廠。

這一年我們發(fā)現(xiàn)大模型在實際應(yīng)用落地和行業(yè)滲透方面，表現(xiàn)似乎略低于預(yù)期。任何技術(shù)的創(chuàng)新都是為了解決實際問題，你幫我們看看，卡點在哪？

王龍：我對技術(shù)總體是非常謹(jǐn)慎的，但是現(xiàn)在我比之前要樂觀。這種樂觀可能與我的期望有關(guān)。

人工智能本質(zhì)上是一個概率系統(tǒng)，特別是在大模型領(lǐng)域，它的核心是概率系統(tǒng)之上的 Transformer 架構(gòu)。這是一個從 50% 概率逐步提升到 99% 概率的過程。

我們可以將人工智能的發(fā)展與自動駕駛進(jìn)行比較。自動駕駛的目標(biāo)是用機(jī)器代替人類駕駛，如果機(jī)器能夠永遠(yuǎn)不出錯，那將是非常了不起的成就。

張鵬：那不就 L5 了嗎？

王龍：對，L5 也出錯，但是它可能比人強(qiáng)很多。自動駕駛分了 5 級，L1 到 L5，現(xiàn)在中國大部分廠商可能在 L2，特斯拉實際上到 L2.5 到 L3。

特斯拉的全自動駕駛系統(tǒng)（FSD）是一個端到端的解決方案，F(xiàn)SD 本質(zhì)上依賴攝像頭來處理所有的決策問題，這在某種程度上體現(xiàn)了多模態(tài)處理的能力。它的價值已經(jīng)非常明顯，即使是國內(nèi)的 L2 級別自動駕駛輔助系統(tǒng)，也已經(jīng)為用戶提供了巨大的幫助。

所以，當(dāng)你意識到達(dá)到 L5 級別全自動駕駛可能還需要很長時間，但 L3 級別已經(jīng)能夠提供實質(zhì)性幫助時，你對大模型的未來就持有相對樂觀的態(tài)度。

張鵬：從你身上我學(xué)到了一課，那就是樂觀與否主要取決于我們的期望設(shè)定。談?wù)摯竽Ｐ蜁r，我們至少能夠確定有 L2 級別的價值。接下來每提升一個級別，它能夠解鎖的場景和創(chuàng)造的總價值都可能是指數(shù)級的增長。

王龍：當(dāng)我們討論大模型技術(shù)在企業(yè)中的應(yīng)用，如果一開始就期望它能夠處理關(guān)鍵任務(wù)型系統(tǒng)（mission-critical）的實時決策，并且要求它絕對不出錯，那么很可能會讓你失望。這種期望類似于自動駕駛領(lǐng)域的 L5 級別，要求極高的精確度和零錯誤率。如果以這種標(biāo)準(zhǔn)來衡量，大模型目前可能還難以滿足。

然而，如果我們將大模型應(yīng)用于可以容忍一定錯誤的領(lǐng)域，例如文檔撰寫、知識檢索或設(shè)計工作，它就能提供很大的幫助。

因此，企業(yè)在應(yīng)用大模型時，應(yīng)該根據(jù)任務(wù)的性質(zhì)選擇合適的智能級別。不應(yīng)該錯誤地將一個 L3 級別的智能應(yīng)用于需要 L5 級別精確度的場景。理解每個場景的具體需求，并為這些需求匹配恰當(dāng)?shù)闹悄芙鉀Q方案，才是應(yīng)用大模型的關(guān)鍵。

張鵬：程序員們常說「show me the code」，而在商業(yè)創(chuàng)業(yè)領(lǐng)域，強(qiáng)調(diào)的是「show me the money」。只有當(dāng)你的產(chǎn)品能夠帶來利潤，才能證明它的價值和實用性。

雖然我們可能無法深入理解所有的專業(yè)細(xì)節(jié)，但你能不能為我們概述一下原來面臨的問題是什么？接著通過什么樣的方法來解決這些問題的？

王龍：首先，數(shù)據(jù)問題相對容易解決。目前，大多數(shù)數(shù)據(jù)訓(xùn)練和推理任務(wù)都采用共享存儲架構(gòu)，這是標(biāo)準(zhǔn)做法。核心問題在于如何根據(jù)需求匹配合適的算力。

以我們的產(chǎn)品為例，匹配 GPU 算力和 CPU 算力的邏輯是不同的。如果匹配 CPU 算力，我們可能更多地關(guān)注于容器化、服務(wù)化以及虛擬化技術(shù)。而匹配 GPU 算力時，則需要考慮更多任務(wù)相關(guān)因素，比如數(shù)據(jù)是用于訓(xùn)練還是推理，以及數(shù)據(jù)在整個開發(fā)流程中的不同用途，如 RAG 模型構(gòu)建或數(shù)據(jù)標(biāo)注等，這就涉及到不同的管理流程。

我們經(jīng)常提到的 DevOps 和 OPS（運(yùn)維）工具鏈，都需要與這些流程相匹配。這就像你擁有一個商店，里面什么都有，但商品的擺放是否科學(xué)、是否合理，需要根據(jù)實際運(yùn)營情況來不斷優(yōu)化。

這是一個不斷迭代和優(yōu)化的過程，需要根據(jù)用戶反饋和實際使用情況來調(diào)整。

我們對大模型的部署有一個預(yù)設(shè)的優(yōu)化策略。例如，針對不同規(guī)模的模型，我們會決定在哪里進(jìn)行推理，以及選擇哪種硬件加速卡來執(zhí)行這些任務(wù)。同時，我們會根據(jù)預(yù)期的并發(fā)請求數(shù)量來準(zhǔn)備相應(yīng)的資源，并預(yù)估資源準(zhǔn)備所需的時間。

在推理過程中，我們還需要考慮多種因素，比如是否要將服務(wù)部署在成本較低的地區(qū)，或者更靠近用戶以減少延遲。在工具和資源準(zhǔn)備就緒后，我們就需要不斷地在各種場景中進(jìn)行優(yōu)化。

這與我們之前開發(fā)的自優(yōu)化數(shù)據(jù)庫計算框架有相似之處。其核心理念是系統(tǒng)會隨著使用而自我改進(jìn)，越用越順暢，從而更有效地調(diào)配資源。理想情況下，無論是訓(xùn)練、推理還是整個流程中的任何環(huán)節(jié)，我們總能找到最合適的位置，將算力和數(shù)據(jù)匹配給任務(wù)，并根據(jù)數(shù)據(jù)量進(jìn)行優(yōu)化。

我們追求的最理想狀態(tài)是能夠動態(tài)地、智能地管理和調(diào)配資源，以達(dá)到最優(yōu)的性能和成本效益。當(dāng)然，這個過程需要逐步實施，隨著經(jīng)驗的積累和場景的擴(kuò)展，不斷調(diào)整和完善。

張鵬：所以基礎(chǔ)設(shè)施的能力對企業(yè)很關(guān)鍵，采用最佳實踐可以減少不必要的試錯成本，是這個意思嗎？

王龍：這個邏輯是對的。分享另外一個思考，我們正在討論開發(fā)和部署 modern application（現(xiàn)代應(yīng)用）時，遇到的成本和架構(gòu)變化?，F(xiàn)在，當(dāng)我們談?wù)摂?shù)據(jù)和算力的連接，這種連接與過去有所不同。例如，過去在連接算力時，我們不需要考慮太多硬件的具體位置或能耗問題，但現(xiàn)在這些因素已成為成本中非常重要的一環(huán)，不像以前可以忽略不計。

數(shù)據(jù)方面也有類似的考量。我們不僅要考慮數(shù)據(jù)共享、安全性和處理問題，還要考慮數(shù)據(jù)是如何被不同應(yīng)用使用的。這就需要我們在每個環(huán)節(jié)上都有更深入的考慮，鏈條會變得更長。

這也是我們開發(fā) Matrix OS 商業(yè)模式上的一種必然。我們不能完全將自己置于中間層，不能僅僅作為一個軟件平臺，而不關(guān)心底層基礎(chǔ)設(shè)施的細(xì)節(jié)。現(xiàn)在新的編程范式已經(jīng)出現(xiàn)，你需要了解更多。

這就是我所說的「軟硬一體」和「數(shù)據(jù)與應(yīng)用一體」，這兩件事也可能是未來的一個重要變化。

從數(shù)據(jù)智能到「算力智能」

張鵬：你構(gòu)想在幫助大家解決問題的進(jìn)程里，可能還有什么東西是你們要有對應(yīng)的產(chǎn)品去覆蓋的？

王龍：其實可以看美國公司 Databricks，他們的邏輯與我們有些相似，都是以數(shù)據(jù)為核心。但他們堅信機(jī)器學(xué)習(xí)應(yīng)該在數(shù)據(jù)庫中進(jìn)行。這個想法頗具挑戰(zhàn)性，因為在傳統(tǒng)的架構(gòu)中，數(shù)據(jù)庫并不是用來執(zhí)行深度學(xué)習(xí)任務(wù)的。

Databricks 一直在致力于推動這一理念，過去一年在美國備受矚目。他們堅信 AI 與數(shù)據(jù)應(yīng)該緊密結(jié)合。隨著 AIGC 的興起，他們的架構(gòu)使得集成各種 AI 工具集變得相對容易。不論是通過購買還是集成，例如對 Python 的支持，都使得擁抱 AI 技術(shù)變得更加簡單。

這個發(fā)展歷程值得我們關(guān)注學(xué)習(xí)。我們的架構(gòu)跟它是有點接近的，也在設(shè)計之初就考慮了未來與 AI 技術(shù)的對接，預(yù)留了很多接口。

盡管我們現(xiàn)在可能還不清楚未來的訓(xùn)練框架會是什么樣子，或者未來會出現(xiàn)哪些新的技術(shù)，但我們已經(jīng)有了一定的準(zhǔn)備。比如有人正在探討 Transformer 架構(gòu)是否有改進(jìn)空間，或者是否有其他方法可以顛覆現(xiàn)有的模型，這些都還是未知數(shù)。

張鵬：這就屬于有一條路趟出來，那個路太不確定了。

王龍：我就踏實做好數(shù)據(jù)平臺，和算力平臺連接。我們已經(jīng)明確了不同類型的數(shù)據(jù)該如何處理：企業(yè)數(shù)據(jù)、物聯(lián)網(wǎng)數(shù)據(jù)以及 AI 生成的數(shù)據(jù)等，這就是堅實的基礎(chǔ)。

訓(xùn)練部分可以采取開放合作的方式，其他方接入我們的接口，我們接入其他訓(xùn)練平臺，就能形成一個互利共贏的合作關(guān)系。這正是生態(tài)系統(tǒng)的意義所在。我們的平臺是開源的，我們的核心理念是確保數(shù)據(jù)和算力的確定性應(yīng)用得到有效管理。

張鵬：談到 Databricks 這家公司，它的市值現(xiàn)在已經(jīng)達(dá)到 400 多億美元。它確實在這一波中超越了 Snowflake，非常熱門。去年我參加了他們兩家公司的會議，它們恰好在同一時間舉行。Snowflake 歷史悠久，名氣大，甚至請到了黃仁勛來站臺，但氣氛上還是沒有 Databricks 火爆。去年我就觀察到了這種趨勢。

王龍：Databricks 和 Snowflake 的故事非常有趣。Snowflake 自 2012 年成立以來，一直致力于企業(yè)數(shù)據(jù)的管理和優(yōu)化。他們專注于如何在企業(yè)數(shù)據(jù)領(lǐng)域取得突破。然而，當(dāng) AI 技術(shù)興起后，Snowflake 發(fā)現(xiàn)情況并非如此簡單。AI 的訓(xùn)練往往依賴于互聯(lián)網(wǎng)上的公開數(shù)據(jù)，或者是非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)的清洗和加工。

Snowflake 手里擁有的主要是企業(yè)應(yīng)用數(shù)據(jù)，這些數(shù)據(jù)在 AI 時代并不那么容易應(yīng)對。但 Databricks 從一開始就專注于 AI 和開放式數(shù)據(jù)管理能力。他們基于 Apache Spark（一種通用計算引擎）這一開放式數(shù)據(jù)管理框架，一直在擴(kuò)展其能力。

Databricks 早期面臨的一個挑戰(zhàn)是，數(shù)據(jù)庫的利潤較高，因為結(jié)構(gòu)化數(shù)據(jù)容易標(biāo)準(zhǔn)化，毛利較高。而 AI 路徑，特別是深度學(xué)習(xí)領(lǐng)域，當(dāng)時并沒有帶來預(yù)期的收益。原因在于，當(dāng)時的數(shù)據(jù)處理需要大量的清洗、挖掘和治理工作，而沒有這些能力的數(shù)據(jù)價值并不高。

但隨著 AI 技術(shù)的發(fā)展，人們意識到 AI 的核心其實是互聯(lián)網(wǎng)數(shù)據(jù)。這一轉(zhuǎn)變讓 Databricks 的開放式數(shù)據(jù)管理策略和對 AI 的早期投入開始顯現(xiàn)出優(yōu)勢，而 Snowflake 需要調(diào)整策略來適應(yīng)這一新的市場趨勢。

張鵬：三十年河?xùn)|三十年河西，這都不到三十年。

王龍：我們公司一開始自稱為數(shù)據(jù)庫，可能讓人聯(lián)想到 Snowflake，但我們從一開始就全面采用開放數(shù)據(jù)格式。我們深思熟慮過一個問題：未來的數(shù)據(jù)應(yīng)該是什么樣子才能更好地適應(yīng)時代？因此，我們在存儲架構(gòu)上的設(shè)計，使其能夠輕松接入多模態(tài)數(shù)據(jù)。我們希望我們的這種堅持和前瞻性能夠得到好運(yùn)。

張鵬：聽起來是一次架構(gòu)信仰的勝利。如果我們與 Databricks 相比較，似乎還處于起步階段。能有 Databricks 這樣的行業(yè)領(lǐng)頭羊作為我們的參照，前景確實非常令人期待。這比我們最初僅僅作為一個數(shù)據(jù)庫公司的意義要深遠(yuǎn)得多。

我們之前也討論過，世紀(jì)互聯(lián)與你們建立了非常緊密的合作關(guān)系。在所謂的「數(shù)據(jù)加算力」領(lǐng)域，特別是在算力層面，看起來你們的戰(zhàn)略合作伙伴關(guān)系正從傳統(tǒng)的IDC向當(dāng)前流行的 AIDC（人工智能數(shù)據(jù)中心）轉(zhuǎn)變，它背后所代表的變化是什么？包括你們與世紀(jì)互聯(lián)之間的協(xié)同作用，如何理解這種共振？

王龍：首先，我在與世紀(jì)互聯(lián)管理層的溝通中非常明確地意識到，我們在某些分析方法上達(dá)成了共識。在 AI 原生的世界里，算力是關(guān)鍵，IDC 必須升級到 AIDC，才能擁抱未來的 AI，才有機(jī)會在市場上獲得成功。如果我們遠(yuǎn)離價值中心，就會遇到問題。所以我們有了這樣合作的機(jī)會。

此外，最近幾個月，我們一直在進(jìn)行緊密的合作和研發(fā)。我們發(fā)現(xiàn)，我們必須延伸價值鏈去思考如何與上一級產(chǎn)品結(jié)合的問題。例如，世紀(jì)互聯(lián)在網(wǎng)絡(luò)技術(shù)上的積累和近兩年在 AIDC 上的投入，讓我們了解到建設(shè) GPU 集群的困難和挑戰(zhàn)，包括電力、冷卻系統(tǒng)、網(wǎng)絡(luò)服務(wù)質(zhì)量等一系列問題，這些都是與大模型緊密相關(guān)的。

在 AIDC 領(lǐng)域，我們發(fā)現(xiàn)情況與以往不同。以前的 IDC 是傳統(tǒng)的企業(yè)，相對穩(wěn)定和容易預(yù)測。但在 AIDC 領(lǐng)域，這些都變成了不確定因素。作為軟件平臺，我們必須找到解決方案，不能總是假設(shè)底層設(shè)施都是好的，或者隨時都能準(zhǔn)備好。

張鵬：你們與世紀(jì)互聯(lián)合作推出的「Neolink.AI」的平臺，和 Hugging Face 有點像嗎？

王龍：我們的 Neolink.AI 平臺，可以說是 CoreWeave 和 Hugging Face 的結(jié)合體。CoreWeave 作為一個算力平臺，提供了強(qiáng)大的計算資源。在傳統(tǒng)的 CPU 算力平臺上，使用起來非常直接，就像公有云服務(wù)一樣。你只需創(chuàng)建一個 CPU 實例，無論是虛擬機(jī)還是容器，只需提出需求，云平臺就會迅速響應(yīng)并創(chuàng)建相應(yīng)的資源。

然而，GPU 算力云平臺的運(yùn)作方式則不同。雖然你可以請求 GPU 資源，并且大多數(shù)時候平臺會提供，但你會發(fā)現(xiàn)經(jīng)常需要進(jìn)行預(yù)約。例如，當(dāng)你請求某種 GPU 算力時，平臺可能會提示你需要排隊等待幾小時。這不僅僅是因為算力資源緊張，還因為 GPU 和 AI 任務(wù)的特殊性。

在過去，大多數(shù)任務(wù)可以在通用的 GPU 或 CPU 上完成，你可以根據(jù)需要增加資源數(shù)量，然后簡單擴(kuò)展。但 GPU 和 AI 的邏輯并非如此，AI 任務(wù)通常需要進(jìn)行微調(diào)，這就需要構(gòu)建一個集群。

例如，你需要進(jìn)行一次大規(guī)模的微調(diào)，可能需要 100 臺機(jī)器來構(gòu)建集群。這是一個必須滿足的資源數(shù)量，而不是說「我只用 20 臺，慢一點做」。使用不足的資源可能導(dǎo)致任務(wù)執(zhí)行困難，甚至系統(tǒng)崩潰，無法完成任務(wù)。

GPU 和 AI 任務(wù)具有獨特的邏輯和需求，這對算力平臺提出了更高的要求，需要它們提供更靈活和強(qiáng)大的支持。這就是為什么在開發(fā)軟件時，我們必須深入理解兩個方面：一是應(yīng)用本身的特性以及數(shù)據(jù)處理方式；二是硬件資源的具體情況，比如 GPU 和 CPU 的位置，如何組建集群，以及是否存在可用的集群資源。如果沒有現(xiàn)成的集群，我們可能需要在用戶界面上設(shè)置一個預(yù)約按鈕，讓用戶進(jìn)行排隊等待資源分配。

張鵬：這不是簡單的說把需求接過來，然后進(jìn)行分發(fā)，實際上，中間的邏輯正在發(fā)生變化。在某種程度上，這反映了世紀(jì)互聯(lián)與你們之間的合作關(guān)系，這種關(guān)系非常符合未來數(shù)據(jù)和算力必須綜合考慮的趨勢，以真正解決實際問題，你們都要天然的做共振。

王龍：像我之前提到的，成本結(jié)構(gòu)是一個重要問題。我聽說過一些傳言，雖然我不知道具體的內(nèi)部數(shù)據(jù)，比如 OpenAI 的 GPT-4 模型，據(jù)說它在訓(xùn)練時使用了 3 萬張 GPU，而 GPT-5 計劃增加到 10 萬張。想象一下，3 萬張 GPU 每天的成本高達(dá)數(shù)千萬人民幣，這是一個巨大的數(shù)字。而且，據(jù)說整個集群的利用率在 70% 到 90% 之間，這是一個相當(dāng)高的數(shù)字。

在中國，大多數(shù)集群還沒有達(dá)到如此大的規(guī)模，或者說還沒有達(dá)到 3 萬張 GPU 的規(guī)模。有的達(dá)到了 1 萬張 GPU，這是存在的。但我在某個廠商的論文中看到的利用率是 57%。如果一個集群每天的成本是一億美元，而利用率從 80% 降到 60%，那么差距就是數(shù)百萬人民幣。

如果軟件能夠在這種場景下發(fā)揮價值，或者你的解決方案或思路能夠在這種場景下提升效率，那么帶來的差異將是巨大的。

張鵬：在大模型等新技術(shù)的推動下，產(chǎn)業(yè)結(jié)構(gòu)和價值鏈很可能會發(fā)生系統(tǒng)性的變化。你已經(jīng)找到了自己的定位，但還有很多創(chuàng)業(yè)者在尋找他們的機(jī)會，你還觀察到了哪些新興的機(jī)會，值得我們關(guān)注和探索？

王龍：多模態(tài)大模型的應(yīng)用肯定有創(chuàng)業(yè)機(jī)會。多模態(tài)技術(shù)不僅僅是基于 NLP（自然語言處理）的應(yīng)用，它將改變?nèi)藱C(jī)交互，甚至機(jī)器與機(jī)器之間的交互邏輯?，F(xiàn)在已經(jīng)有一些應(yīng)用用到多模態(tài)，如電子寵物、個人助理。

另外，在基礎(chǔ)設(shè)施方面，無論是從提升訓(xùn)練能力還是從提高資源利用率的角度來看，都有很大的空間。比如由于美國對中國的限制，我們的單卡性能可能不如別人，這就需要我們通過提高資源利用率和橫向擴(kuò)展的能力來彌補(bǔ)。在這方面，中國人的強(qiáng)項——即通過數(shù)量來彌補(bǔ)質(zhì)量的不足——將發(fā)揮重要作用。

張鵬：多元異構(gòu)的算力最終被有效整合，不夠我們就把它匯起來。

王龍：對，在美國，AI 訓(xùn)練領(lǐng)域傾向于使用同質(zhì)算力，這是一個重要原則。所謂同質(zhì)算力，指的是在構(gòu)建訓(xùn)練集群時，所有使用的硬件應(yīng)該是相同型號和規(guī)格的。如果一個訓(xùn)練集群使用的是 H100 GPU，那么最好是集群中的所有 GPU 都是 H100，并且每個 GPU 的配置都保持一致。這樣做的原因是，任何硬件的不一致都可能影響整體的訓(xùn)練效率。

張鵬：那中國沒得挑。

王龍：是的，而且這個技術(shù)其實非常之難。但一般難度大的地方也意味著它具有相應(yīng)的價值。由于它與應(yīng)用的結(jié)合非常緊密，每個廠商的大模型在負(fù)載程度上都有所不同。我們也在研究，我認(rèn)為未來可能會有一些機(jī)會，特別是考慮到中國有其獨特的場景需求。例如，如果美國需要集成 3 萬張卡，我們可能需要集成 10 萬張卡。在這種情況下，整個底層邏輯將會發(fā)生變化。

張鵬：如何讓大家真正把大模型訓(xùn)好用好，還是需要好的基礎(chǔ)設(shè)施，幫大家把事做好。