感謝王俠會(huì)長和重慶市，給我這樣一個(gè)向大家學(xué)習(xí)和交流的機(jī)會(huì)。我今天分享我們在過去半年多的時(shí)間做的一個(gè)重要技術(shù)的突破，是關(guān)于自動(dòng)駕駛的技術(shù)的突破。

我這里強(qiáng)調(diào)一下，我講的是 4 個(gè)字“自動(dòng)駕駛”，不是“智能駕駛”，也不是“輔助駕駛”，這是最關(guān)鍵的。公司內(nèi)部從去年 9 月份開始來思考一個(gè)問題，并專門建立了一個(gè)用于自動(dòng)駕駛研究的團(tuán)隊(duì)，一個(gè)最簡單的問題，人類開車為什么不涉及學(xué)習(xí) corner case (邊界情況或極端情況)。如果不解決這個(gè)問題，所有自動(dòng)駕駛團(tuán)隊(duì)每天干的活都是靠人工去調(diào)試各種各樣的 corner case，而且人越多，corner case 越多，離真正的自動(dòng)駕駛就越遙遠(yuǎn)。

最核心的一個(gè)原因，當(dāng)人工智能技術(shù)不斷發(fā)展的時(shí)候，其實(shí)人類開車的方式不是過去這么多年用的自動(dòng)駕駛研發(fā)的一個(gè)方式，這是一個(gè)根本的不同。因?yàn)槿碎_車沒那么辛苦，沒那么累，不需要養(yǎng)幾千人的團(tuán)隊(duì)去搞 corner case。而且團(tuán)隊(duì)越多，corner case 就越多。所以我們從理論和技術(shù)的兩個(gè)角度研究，人類到底怎么開車，新的技術(shù)如何解決自動(dòng)駕駛開車的問題。

首先從理論的角度，我們先是從一本書里得到了啟示，叫作《思考快與慢》。

這本書講述了日常的時(shí)候，大腦在工作的時(shí)候，分為系統(tǒng) 1 和系統(tǒng) 2。系統(tǒng) 1 來處理一些直覺、快速響應(yīng)的事情，其實(shí)就像我們在開車，很多時(shí)候我們在開車，腦子在想別的事情，但我們?nèi)匀辉谔幚砺飞系母鞣N事情，這就意味著我們用系統(tǒng) 1 在工作，并不是大腦不在工作，是大腦以一種獨(dú)有的低能耗的方式工作。當(dāng)去到一個(gè)復(fù)雜的路段，比如十字路口或者遇到一個(gè)水坑，這時(shí)候調(diào)用大腦系統(tǒng) 2 工作，處理復(fù)雜邏輯推演的能力，但是對大腦的消耗比較大，所以大家不會(huì)一直用系統(tǒng) 2 的方式來開車。解決各種復(fù)雜路況，解決泛化的問題、未知的問題，大腦會(huì)啟用系統(tǒng) 2 工作。正常我們開車 95% 的時(shí)間使用系統(tǒng) 1，5% 的時(shí)間使用系統(tǒng) 2，所以人腦每天不需要每天的功耗，人不需要學(xué)習(xí)這些就學(xué)會(huì)開車。

如果這樣的人類工作方式，自動(dòng)駕駛應(yīng)該怎么工作，什么是自動(dòng)駕駛的系統(tǒng) 1，什么是自動(dòng)駕駛的系統(tǒng) 2？隨著對各種技術(shù)的研究，自動(dòng)駕駛系統(tǒng) 1，今天很多自動(dòng)駕駛團(tuán)隊(duì)都在做的端到端這樣一個(gè)技術(shù)。端到端，就意味著我們把完整的訓(xùn)練頻段放進(jìn)來，最后結(jié)果是輸入直接產(chǎn)出輸出，不像過往一個(gè)感知的模塊，一個(gè)規(guī)劃的模塊，一個(gè)決策的模塊，一個(gè)執(zhí)行的模塊。這樣效率更高。但是它的挑戰(zhàn)也來了，各種人類規(guī)則在里面也不發(fā)揮作用了。

挑戰(zhàn)有三個(gè)方面：一是要有真正做端到端包括這方面數(shù)據(jù)訓(xùn)練的人才，二是需要真正高質(zhì)量的數(shù)據(jù)，三是需要足夠多的算力。因?yàn)槎说蕉藢τ谒懔Φ男枨?，和以往變得不一樣了。在端到端方面，我們大概放入?100 萬 clips，用于端到端的訓(xùn)練，大概一個(gè)月十輪左右的訓(xùn)練，基本就可以完成一個(gè)無圖 NOA 的上限水平。但是面對中國的復(fù)雜路況，只有端到端不夠，我們要思考什么是系統(tǒng) 2。系統(tǒng) 2 的啟發(fā)在于什么呢？在于解決各種各樣的 corner case 和各種泛化的問題，人類并不是通過學(xué)習(xí) corner case 來開車的。

最明顯的一個(gè)案例和啟發(fā)是什么呢？我的愛人剛學(xué)會(huì)開車，連續(xù)好多年都不停地刮蹭。你和她分析下一次怎么不刮蹭，還是沒有用，還是刮蹭。我就分析是不是買的車太大，換一輛小的車，她仍然刮蹭，怎么說都會(huì)刮蹭。這時(shí)我們會(huì)發(fā)現(xiàn)學(xué)習(xí) corner case 沒有用，我們能不能通過提升能力的方式？當(dāng)時(shí)我做了挺重要的一個(gè)判斷，給我愛人報(bào)寶馬駕駛培訓(xùn)的初級(jí)班。寶馬駕駛培訓(xùn)初級(jí)班一整天，通過各種各樣的方式，只教了兩個(gè)：一是無論在賽道上過彎還是繞樁還是處于環(huán)形路面的時(shí)候，你在打轉(zhuǎn)向之前眼睛看向哪里？不是看你通過的路口，而是看你接下來要去的地方。用各種各樣的方式，教我們開車要看路。另外寶馬駕駛培訓(xùn)班教了另外一個(gè)能力，各種復(fù)雜場景里如何把剎車踩到底，包括濕滑的路面、轉(zhuǎn)彎的路面，一半鋼板一半道路的路面。寶馬培訓(xùn)班就教了兩個(gè)事情：一是教你看路的能力，二是教你剎車的能力，只經(jīng)過這么一天的訓(xùn)練，我愛人就徹底和刮蹭告別了。所以在接下來的十幾年里，沒有出現(xiàn)過任何的刮蹭。所以這是人類學(xué)習(xí)的一個(gè)方式。

我們在考慮如何把這樣能力給到車上，很重要的一個(gè)技術(shù)是 VLM，即視覺語言模型，為什么不是大語言模型？因?yàn)闆]有辦法把一個(gè)大語言模型在云端使用，這個(gè)響應(yīng)速度就會(huì)車毀人亡了。所以我們還是思考如何把一個(gè)視覺大語言模型進(jìn)行足夠壓縮，最后放到車上去。它能夠在面對一個(gè)沒有紅綠燈的左轉(zhuǎn)路口提前作出預(yù)判，來知道我這個(gè)路口如何進(jìn)行特殊復(fù)雜的處理。

還有另外一個(gè)重要的功能，就是告別高清地圖。因?yàn)橐曈X的語言模型還有一個(gè)最重要的功能，是能夠像人類一樣去讀懂導(dǎo)航地圖。包含導(dǎo)航地圖的橫向、縱向、速度、時(shí)間，包括紅綠燈，哪怕車輛的遮擋紅綠燈也不再成為問題。我們會(huì)發(fā)現(xiàn)可以有效通過視覺語言模型解決系統(tǒng) 2 的問題，一方面為端到端進(jìn)行一個(gè)兜底，另一方面解決各種各樣泛化的問題。我們認(rèn)為最早在今年年底，最晚在明年上半年，真正有監(jiān)督的 L3 自動(dòng)駕駛就就可以批量向用戶交付了，而不是做實(shí)驗(yàn)了。

解決這兩個(gè)問題還有第三個(gè)問題。因?yàn)槎说蕉耸呛诤凶?，VLM 也是黑盒子，AI 最大的區(qū)別是能力，而過去的編程體系最重要是功能。功能要通過實(shí)驗(yàn)和測試來驗(yàn)證的，而能力怎么拿測試和實(shí)驗(yàn)驗(yàn)證，是不可能的。所以這時(shí)候一個(gè)新的挑戰(zhàn)，我們用什么樣的技術(shù)方式驗(yàn)證能力，這時(shí)候我們又找到一個(gè)新的方式，主要的原理來自 Sora，我們來構(gòu)建一個(gè)小型的視覺模型，拿這個(gè)視覺模型讓我們的車在里面考試。這樣我們模擬人的一套真正工作原理開始呈現(xiàn)了，端到端承載人的系統(tǒng) 1，VLM 來承載人的系統(tǒng) 2。系統(tǒng) 1 來解決所有正常自動(dòng)駕駛的能力，系統(tǒng) 2 來解決兜底和泛化的能力，并應(yīng)用生成式的小的視覺模型來進(jìn)行考試。這是我們在過去一段時(shí)間里做的最重要的一個(gè)技術(shù)性突破，而且我們的研究團(tuán)隊(duì)已經(jīng)完全通過了正常的研究驗(yàn)證。

接下來會(huì)怎么樣呢？我們在三季度正式推全國無圖 NOA 的時(shí)候，也會(huì)向測試用戶通過 300 萬 clips 訓(xùn)練出來的端到端 + VLM 的一套監(jiān)督型自動(dòng)駕駛體系。最早會(huì)在今年的年底，最晚明年年初，我們會(huì)推出超過 1000 萬 clips 訓(xùn)練的端到端 + VLM 的帶有監(jiān)督的自動(dòng)駕駛體系。我們認(rèn)為端到端 + VLM + 生成式的驗(yàn)證系統(tǒng)，也會(huì)是未來整個(gè)物理世界機(jī)器人最重要技術(shù)架構(gòu)和技術(shù)體系。

接下來一段時(shí)間，包含最近本月還有下月還有幾個(gè)關(guān)鍵 AI 方面的技術(shù)論壇里，我們技術(shù)研究的同事也會(huì)向整個(gè)行業(yè)來分享我們對這方面的研究、治理原理和實(shí)際結(jié)果，把我們進(jìn)行的一些探索，能夠和同行進(jìn)行有效地分享。另一方面，就像剛才講的，我們會(huì)在 7 月份，以及最早年底、最晚明年年初，把這樣的技術(shù)帶給用戶。通過這樣的技術(shù)，可以確定地堅(jiān)信一件事情，在現(xiàn)有的計(jì)算平臺(tái)上，帶有監(jiān)督 L3 級(jí)別的自動(dòng)駕駛可以百分之百實(shí)現(xiàn)。并且隨著這套技術(shù)的演進(jìn)、算力增強(qiáng)，我認(rèn)為 L4 級(jí)別無監(jiān)督的自動(dòng)駕駛在三年內(nèi)一定能夠?qū)崿F(xiàn)。謝謝大家！