2023年，由ChatGPT所掀起的大模型風(fēng)潮正在席卷科技圈，它充分展現了全新的技術(shù)范式所帶來(lái)的想象力、潛能以及背后的生產(chǎn)效率提升。

這股技術(shù)浪潮席卷至自動(dòng)駕駛，智能汽車(chē)作為一個(gè)能夠承載、實(shí)現前沿的理想超級智能終端，能夠最大限度地展現新技術(shù)范式所帶來(lái)的變革。

2023年8月，特斯拉以直播形式向外界展示FSD V12測試版，該版本基于完全的端到端輸出，真正實(shí)現了從「感知」到「決策」的全流程融入一個(gè)模型中，它成功走出依靠人工規則以外的技術(shù)通途，在全局視角下，展現出對感知、預測、規劃、控制和決策的高度統一，呈現出流暢的駕駛行為和卓越的體驗感。

當然，在這場(chǎng)新的技術(shù)范式變革里，參與者不止只有特斯拉；許多中國玩家們也朝著(zhù)同一個(gè)突破口努力，貢獻自己的解題思路，甚至率先走向端到端技術(shù)應用的前沿。

自動(dòng)駕駛的技術(shù)奇點(diǎn)時(shí)刻：「端到端智能駕駛大模型」

此前，證明自動(dòng)駕駛的可落地性是整個(gè)自動(dòng)駕駛行業(yè)需要回答的問(wèn)題。

一方面，業(yè)界不斷減少激光雷達的數量，以無(wú)圖或輕圖的方式擺脫對高精度地圖的深度依賴(lài)，減少或擺脫以「堆料」的方式實(shí)現對外部的感知；另一方面，「漸進(jìn)式」道路成為了業(yè)界的共識，以「高速」、「城區」等分區域落地的思路來(lái)證明自動(dòng)駕駛的可實(shí)現性。

可以說(shuō)，在端到端沒(méi)有到來(lái)之前的自動(dòng)駕駛世界，是一個(gè)依靠天才工程師對于無(wú)數駕駛場(chǎng)景的觀(guān)察、歸納、提煉、總結的世界，同時(shí)也是一個(gè)依靠規則搭建的世界。這當中存在著(zhù)一個(gè)殘酷的事實(shí)：場(chǎng)景是不能夠窮舉的。依靠人工規則對數據的總結提煉，不僅效率低而且泛化性差，這就導致了最后1%的長(cháng)尾場(chǎng)景問(wèn)題始終無(wú)法解決。

天才的工程師們始終在做打補丁的工作，縫縫補補一個(gè)由規則所搭建起來(lái)的世界，這樣的技術(shù)路線(xiàn)也導致自動(dòng)駕駛的落地未如預期。

端到端技術(shù)的到來(lái)則有機會(huì )徹底改變這一局面，它打破了過(guò)去業(yè)界在開(kāi)發(fā)自動(dòng)駕駛系統時(shí)，感知與規劃分離，推翻一個(gè)由人為規則所搭建起來(lái)的世界。

這一明確的技術(shù)趨勢使得幾乎所有人都在賽跑：在美國，FSD12已進(jìn)入用戶(hù)測試環(huán)節的特斯拉，是第一梯隊的排頭兵；而在中國，比亞迪投入4000人進(jìn)行智能駕駛研發(fā)；理想也宣稱(chēng)2024年端到端上車(chē)；而在剛剛結束的千掛科技2024年度產(chǎn)品發(fā)布會(huì )上，千掛科技公布了自己的端到端智能駕駛大模型在2023年底便已經(jīng)進(jìn)入公開(kāi)道路常態(tài)化的測試階段。從公開(kāi)信息上來(lái)看，這是中國首個(gè)完成端到端智能駕駛大模型公開(kāi)道路閉環(huán)測試的選手——而許多企業(yè)此時(shí)依然將端到端僅僅作為一個(gè)「未來(lái)的重要規劃」。

端到端的技術(shù)想象力究竟在哪里？在千掛科技聯(lián)合創(chuàng )始人葉璨博士看來(lái)，端到端智能駕駛大模型對于自動(dòng)駕駛至少有三點(diǎn)重要的意義：

•第一點(diǎn)：端到端可以大幅提升數據的利用規模和效率，打破傳統自動(dòng)駕駛研發(fā)當中，依靠人工規則對數據的總結提煉模式，解決效率低且泛化性差的痛點(diǎn)；

•第二點(diǎn)：端到端能夠對數據進(jìn)行自動(dòng)化學(xué)習，由模型取代規則，打破自動(dòng)駕駛泛化性的瓶頸，能夠覆蓋更多的駕駛場(chǎng)景；

•第三點(diǎn)：在傳統自動(dòng)駕駛當中，不同模塊都在關(guān)注和優(yōu)化自身的代理指標，而這些指標存在不一致，端到端能夠解決多模塊甚至全鏈路聯(lián)合優(yōu)化的問(wèn)題。

另一方面，在這種全面learning化的AI系統之上，我們有機會(huì )將世界模型（world model）進(jìn)一步引入自動(dòng)駕駛系統中，復刻類(lèi)似于GPT4.0 等大模型的模式，通過(guò)Transformer把海量的互聯(lián)網(wǎng)數據及對應的知識壓縮到模型參數當中，彌補現在自動(dòng)駕駛系統對通用知識（world knowledge）的缺失。當自動(dòng)駕駛系統擁有了先驗知識以后，就能迅速提高泛化和推理能力，包括對長(cháng)尾物體的識別、對場(chǎng)景的深度理解、對駕駛任務(wù)的拆解規劃等，這些能力的提升使得自動(dòng)駕駛有機會(huì )邁向一個(gè)更為廣闊的世界。

因此端到端所勾勒出的是一個(gè)全新的技術(shù)圖景，打開(kāi)了全新的技術(shù)范式，開(kāi)啟一個(gè)產(chǎn)業(yè)變革的契機。如果說(shuō)，端到端智能駕駛大模型對于乘用車(chē)而言，是一個(gè)體驗上的升級；那么，端到端智能駕駛大模型對于干線(xiàn)物流而言，更具經(jīng)濟意義和效益。

千掛科技背后所面向的是一個(gè)龐大的干線(xiàn)物流市場(chǎng)，這個(gè)市場(chǎng)涵蓋770萬(wàn)臺中重卡，市場(chǎng)規模超過(guò)4.6萬(wàn)億，司機成本達到20%+，預計2030年卡車(chē)司機缺口達到15%以上。端到端智能駕駛大模型的應用，可以提高自動(dòng)駕駛系統的泛化性，更好地處理長(cháng)尾場(chǎng)景，有機會(huì )在長(cháng)途干線(xiàn)雙駕變單駕的基礎上，進(jìn)入無(wú)人駕駛，進(jìn)一步提升利潤率，擁有無(wú)窮的想象力與現實(shí)意義。

「端到端智能駕駛大模型」的實(shí)踐賽事：深厚的技術(shù)根基

知道一個(gè)最優(yōu)解并不難，難的是踐行一個(gè)最優(yōu)解。

在V12亮相之前，特斯拉就做了非常多的「打地基」技術(shù)工作。其中就包括了2021年，特斯拉在A(yíng)I Day推出基于BEV+Transformer的自動(dòng)駕駛方案，這個(gè)方案相當于，打開(kāi)了一個(gè)理解自動(dòng)駕駛的全新范式。在過(guò)去的幾年里，「BEV + Transformer + 占用網(wǎng)絡(luò ) + 無(wú)圖化」幾乎統領(lǐng)了頭部車(chē)企的研發(fā)方向。

作為新一代自動(dòng)駕駛技術(shù)企業(yè)，千掛科技一開(kāi)始便出生于GPT時(shí)代；更幸運的一點(diǎn)是，作為一個(gè)年輕的技術(shù)公司，千掛沒(méi)有傳統大廠(chǎng)的技術(shù)包袱和組織束縛，在新的技術(shù)道路上能夠啟動(dòng)得更為從容。

在千掛1.0階段，千掛通過(guò)「One Model」和「Scene-centric」的方式，攻克自動(dòng)駕駛卡車(chē)中感知和預測兩道難題，有效解決高速干線(xiàn)場(chǎng)景下異形車(chē)、遺撒物識別等挑戰。

在感知方面，千掛采用「One Model」，即一個(gè)大模型完成感知任務(wù)，實(shí)現多模態(tài)數據的前融合和多任務(wù)學(xué)習的能力。具體來(lái)說(shuō)，多模態(tài)前融合即，將環(huán)視相機、激光雷達等多個(gè)傳感器采集的數據輸入到一個(gè)感知大模型中，通過(guò)模型實(shí)現空間融合和時(shí)序融合，獲得時(shí)空融合的特征?；跁r(shí)空融合的特征，完成多個(gè)感知任務(wù)，能夠實(shí)現對障礙物的檢測與分割、路網(wǎng)結構（如車(chē)道線(xiàn)、可行駛區域）的實(shí)時(shí)感知等，達到更完備、更準確、更魯棒的效果。

在預測方面，千掛科技采用了「Scene-centric」架構，對所有道路參與者Agents進(jìn)行聯(lián)合建模和推理，底層基于Transformer架構完成特征編碼與解碼。相對于A(yíng)gent-centric的傳統架構，這種對所有障礙物統一建模的新架構簡(jiǎn)化了整體流程，提升了訓練和推理效率，并且可以更好地理解道路參與者之間的交互關(guān)系，更好地處理蝴蝶效應。

憑借著(zhù)「One Model」和「Scene-centric」奠定的技術(shù)基礎，千掛的自動(dòng)駕駛卡車(chē)如今在京滬等物流大干線(xiàn)上順利實(shí)現了「周行萬(wàn)里無(wú)接管」的目標。另一方面，以「One Model」和「Scene-centric」為起點(diǎn)，千掛科技開(kāi)始了新一代自動(dòng)駕駛技術(shù)——端到端智能駕駛大模型的研發(fā)。在12月的GADS 2023全球自動(dòng)駕駛峰會(huì )上，葉璨博士提出了千掛自研端到端算法框架 - AutraFlow。

千掛科技AutraFlow是面向新一代的自動(dòng)駕駛技術(shù)，是從全面learning化和數據驅動(dòng)的角度，進(jìn)行設計研發(fā)的。據葉璨博士介紹，在研發(fā)過(guò)程中，團隊深入調研了大量端到端的前序工作，在此基礎上結合干線(xiàn)物流的業(yè)務(wù)場(chǎng)景特點(diǎn)，在算法、工程、數據等層面做了大量的優(yōu)化工作。目標是讓端到端算法實(shí)際上車(chē)跑起來(lái)，能應對高速干線(xiàn)上的各種路況和場(chǎng)景，并最終在產(chǎn)品和業(yè)務(wù)中用起來(lái)。

整體上，AutraFlow是一個(gè)完全learning化的自動(dòng)駕駛系統，系統的每個(gè)模塊都是基于Transformer的神經(jīng)網(wǎng)絡(luò )模型，模塊與模塊之間采用embedding連接，擺脫了傳統的人類(lèi)設計的抽象概念——比如障礙物的邊界框（bounding box）或預測軌跡，做到更高效、流暢、無(wú)損地傳輸數據。

葉璨博士進(jìn)一步解釋?zhuān)梢园颜麄€(gè)端到端模型看作是一個(gè)大的神經(jīng)網(wǎng)絡(luò )，在訓練時(shí)能夠實(shí)現各模塊的聯(lián)合優(yōu)化，與此同時(shí)可以在中間階段，通過(guò)對embedding解碼得到具有相對明確語(yǔ)義的中間結果，便于理解和檢查，打破端到端的黑盒狀態(tài)，從而提升端到端算法的可解釋性。

目前，千掛的端到端算法AutraFlow，已經(jīng)在城市快速路和城市間高速路等公開(kāi)道路進(jìn)行常態(tài)化的全功能閉環(huán)測試。近日，千掛科技也對外公布了一段2023年11月AutraFlow在北京市高級別自動(dòng)駕駛示范區進(jìn)行早期路測的視頻集錦。

在葉璨博士的技術(shù)規劃中，以端到端技術(shù)為基礎，未來(lái)將借助多模態(tài)大模型，把通用知識（world knowledge）引入到自動(dòng)駕駛系統，基于人類(lèi)的知識和經(jīng)驗做出更好的駕駛決策，進(jìn)一步提升自動(dòng)駕駛系統的泛化性、可用性。

在千掛新一代自動(dòng)駕駛技術(shù)的研發(fā)中， 大模型成為了最核心的技術(shù)變量。在葉璨博士的帶領(lǐng)下，千掛在自動(dòng)駕駛領(lǐng)域的多模態(tài)預訓練中持續探索，將自動(dòng)駕駛的多模態(tài)特征（圖像、點(diǎn)云等）統一在語(yǔ)言特征空間對齊，從而獲得泛化性更強的特征表達?；谡Z(yǔ)言對齊的多模態(tài)特征，為下游的多種感知任務(wù)提供基礎，使得系統更好地識別異型車(chē)、遺撒物等長(cháng)尾物體，提高對駕駛場(chǎng)景的理解和泛化能力。

對于千掛而言，大模型已經(jīng)成為自動(dòng)駕駛數據閉環(huán)的核心，比如數據挖掘、自動(dòng)化標注等應用。2023年3月起，千掛開(kāi)始在華中、華北、華東、華南等區域的主要一級干線(xiàn)，為順豐、福佑等合作伙伴，提供常態(tài)化的物流運輸服務(wù)，單均超過(guò)1000公里。業(yè)務(wù)規模的擴展也積累了海量的高速場(chǎng)景數據，而這也成為千掛的核心競爭力。通過(guò)大模型對海量路測數據進(jìn)行挖掘，可以釋放數據的黃金價(jià)值。目前，千掛超過(guò)95%的訓練數據都來(lái)自于大模型的自動(dòng)化標注，而大模型進(jìn)行模型壓縮后得到的車(chē)端模型，可以部署路測，獲得更多數據，進(jìn)一步幫助迭代優(yōu)化模型。

千掛正在跑通技術(shù)到產(chǎn)品的閉環(huán)

可以說(shuō)，BEV重新定義了空間和時(shí)序，讓空間和時(shí)序統一，直接在「上帝視角」下完成了感知、規劃、控制、決策的高度統一。未來(lái)端到端將成為行業(yè)標配。

在這場(chǎng)技術(shù)加速賽當中，得益于葉璨博士及其團隊極其前瞻的技術(shù)嗅覺(jué)，千掛在夯實(shí)的技術(shù)基礎上啟動(dòng)端到端的工作，在海量仿真測試的基礎上，在國內率先實(shí)現了公開(kāi)道路的常態(tài)化的端到端智能駕駛大模型閉環(huán)測試，真正邁出了技術(shù)體系2.0的第一步，完成了從0到1的突破。在這場(chǎng)高手如云的比賽當中，千掛進(jìn)入了第一梯隊，以國內領(lǐng)先的身位，跑出了自己的第一個(gè)里程碑。

在千掛這支技術(shù)尖兵團隊里，聚集了眾多在A(yíng)I領(lǐng)域深耕多年的頂尖人才。葉璨博士畢業(yè)于美國卡內基梅隆大學(xué)（CMU）的人工智能專(zhuān)業(yè)，曾履職快手資深技術(shù)總監，負責了快手主站推薦、快手 AI 技術(shù)，以及快手私域和社交業(yè)務(wù)，在他的帶領(lǐng)下，快手實(shí)現了強化學(xué)習在工業(yè)界的首次大規模落地應用。在葉璨博士背后，是一群有著(zhù)在百度、快手、騰訊、商湯等技術(shù)巨頭豐富經(jīng)歷的技術(shù)專(zhuān)家，和國內外頭部院校博士組成的技術(shù)團隊，在這場(chǎng)端到端的賽跑中，他們打通了感知、預測、規劃、控制、架構等技術(shù)的任督二脈，攻克了一個(gè)又一個(gè)的技術(shù)難題。

在技術(shù)的長(cháng)板足夠長(cháng)的同時(shí)，千掛在資本層面也取得長(cháng)足的進(jìn)展，近日，千掛科技順利完成 Pre-A 輪融資的新一輪交割；在商業(yè)化層面，千掛在中國東部的主要一級干線(xiàn)路段完成 300 余次的載貨運輸服務(wù)。

這家年輕的公司正在走出從資本、商業(yè)化、技術(shù)的全面正向閉環(huán)，以領(lǐng)先的技術(shù)優(yōu)勢打開(kāi)一個(gè)全新的物流實(shí)踐地圖，展現出技術(shù)如何驅動(dòng)商業(yè)升級發(fā)展。