賈浩楠 發(fā)自 副駕寺智能車參考 | 公眾號 AI4Auto

東海大橋，連接洋山港與上海市，被稱作上海“生命線”。

路況尤其復(fù)雜，再加上臨海，常常出現(xiàn)團霧使視野受限，嫻熟的卡車司機也不敢掉以輕心。

然而在川流的重卡之中，已經(jīng)有“無人”卡車成規(guī)模、不間斷的運行。

(資料圖片僅供參考)

多傳感器融合感知的系統(tǒng)其實并沒有受到相對惡劣天氣的影響，人類的雙眼難以分辨兩三百米以外的車輛，但是系統(tǒng)仍然可以在將近200米到300米的范圍之內(nèi)工作，甚至能準確識別120m開外的塑料瓶：

上海自動駕駛卡車的落地速度出乎意料，而更加意外的，是這些新進展背后的玩家：

圖森未來。

重啟之后，外界自然而然認為重點轉(zhuǎn)向L2。但實際上，L4圖森沒有停下，還分享了完整的進展和技術(shù)方案。

圖森如何做L4？

圖森L4方案的架構(gòu)，強調(diào)與輔助駕駛L2、L2+的區(qū)別，CTO王乃巖認為最核心的點應(yīng)是可靠性，包括最底層的車輛到上層的系統(tǒng)和傳感器，以及最上層的冗余設(shè)計和分析的算法模塊。

整體來看，圖森L4架構(gòu)分為3層。

首先是車輛。整車配備了冗余轉(zhuǎn)向系統(tǒng)和冗余制動系統(tǒng)，保證在單路失效的時車輛仍然可控制。

系統(tǒng)設(shè)計層面，有兩套完全獨立的系統(tǒng)。主系統(tǒng)是L4駕駛的主力，使用了高算力的平臺，搭配全套傳感器可以實現(xiàn)完整的L4駕駛的功能以及降級的功能。與此同時還有一套完全獨立的備系統(tǒng)，使用了一個算力沒有那么強，但是可靠性很高車規(guī)級的芯片，在有限的傳感器條件下，只負責主系統(tǒng)失效的降級功能。兩套系統(tǒng)都實現(xiàn)完全獨立的供電。

系統(tǒng)運行模式方面，除了正常的L4級別自動駕駛之外，設(shè)計了兩種最小風險狀態(tài)，分別是車輛在側(cè)后方感知以及轉(zhuǎn)向系統(tǒng)高可用的時候，實現(xiàn)應(yīng)急車道上靠邊停車，不干擾正常車流的行駛。在非常極端的情況下，也設(shè)計了相應(yīng)的在當前車道安全剎停等待救援的模式。

在冗余L4系統(tǒng)架構(gòu)下，圖森首次對外詳細介紹了不同模塊的技術(shù)細節(jié)，包括6大部分：

視覺感知

激光雷達融合感知

GPS衛(wèi)星定位

預(yù)測規(guī)劃

規(guī)控系統(tǒng)

仿真驗證

01.視覺感知方案

三種波段的電磁波，就是可見光、紅外光和毫米波，分別對應(yīng)自動駕駛常用的三種傳感器：相機、激光雷達和毫米波雷達。

除了感知電磁波波段不同之外，感知方式也有所不同。毫米波雷達和激光雷達，是主動發(fā)射電磁波然后去通過接收回波的方式來感知場景中的障礙物，好處是對于周圍物體的3D信息和幾何信息有非常強的感知能力，而相機因為是被動接收的傳感器，并沒有辦法去做這種主動的感知。

但是在分辨率和語音信息層面，相機承載的信息密度是大于毫米波雷達和激光雷達的。另外，毫米波雷達在面對惡劣天氣雨雪霧的時候，魯棒性是遠比激光雷達和相機要強。

所以圖森根據(jù)傳感器不同的特點和不同的優(yōu)劣，設(shè)計了全類型傳感器高可靠冗余的方案。

首先是純視覺方案。

現(xiàn)在主流的做3D目標檢測的方法是BEV，但是會遇到以下兩個問題。

長距離的BEV的空間，需要消耗大量的計算資源；另外算法設(shè)計也沒有考慮到相機之間的互補的冗余，一個算法對于當前可能只會檢測出對物體有一個檢測的結(jié)果，如果出現(xiàn)了漏檢，這個目標就在整個系統(tǒng)中消失了。

針對第一個問題，圖森提出了基于物體多視角3D檢測的框架。思路是在環(huán)視的攝像頭輸入之后，對于每個相機都做一個2D的檢測。單攝像頭的2D檢測比起3D檢測更成熟，所以具備高效、冗余和準確三個方面的優(yōu)勢。但比起B(yǎng)EV，單攝像頭畫面檢測對畫面內(nèi)車輛被遮擋、截斷等問題處理的又不夠好。

于是圖森又提出一個Spase Attention通過計算不同攝像頭畫面的關(guān)聯(lián)去識別。同時，其還對Sparse Attention計算復(fù)雜度高的問題進行了優(yōu)化，先是在低分辨特征圖上操作，減少計算，再通過不同方案的傳感器融合、時序融合，解決降低分辨率帶來的對小物體識別差的問題。

02.激光雷達融合感知方案

長久以來激光雷達的優(yōu)勢被認為是可以做近距離精確的感知?，F(xiàn)在激光雷達普遍已經(jīng)能夠達到200米的探測距離。

但如果直接把80米內(nèi)的是個別算法給應(yīng)用到200米的范圍之內(nèi)，就會發(fā)現(xiàn)無論是顯存還是延遲的消耗都特別大，在研發(fā)上是無法承受的。主要是因為點云特征圖的大小會隨著距離呈平方式的增長。

進一步分析，激光雷達通常是越遠的地方越點云越稀疏，在遠處有大量的空白的地方，如果套用BEV方案，會進行“卷空氣”的操作，是沒有意義的。

為了避免這個問題，圖森采用稀疏的方法取代原來致密的卷積操作。

所謂稀疏卷積，是一個自定義的OP，NVIDIA開源了自定義的線性代數(shù)計算庫cutlass，然后也開放了存算異步的API，于是圖森基于cutlass開發(fā)了一套SPConv的開元庫。

另外一種特征提取的方式是Transformer，借助Sparse Transformer的思想，在有點云的地方去劃分窗口。因為這個窗口是稀疏的，所以在每個窗口內(nèi)將點形成的特征聚攏起來，在每個窗口里會使用Transformer進行特征提取。窗口之間也用Shifted window這種技巧來進行信息交換。

檢測層面，全稀疏范圍里面激光雷達只能掃到物體的表面，中心處是沒有特征的。針對中心特征缺失問題，圖森的方法是通過先分割再檢測和整體框架，提高了感知精度。

有了更高的精度之后，圖森未來下一步的目標，就變成了降低激光雷達延遲、提高冗余能力。

激光雷達的延遲與點云數(shù)量高度相關(guān)，點云越多延遲也就越多。但圖森未來發(fā)現(xiàn)，激光雷達得到的圖像內(nèi)，只有10%左右是需要感知的道路環(huán)境，其余都是街外的靜止背景和已經(jīng)檢測完的道路，所以通過去除背景的方式，將6幀疊加的延遲做到了與單幀相關(guān)。

有了更高效率、更低延遲的檢測能力，激光雷達對障礙物的檢測時間也就更長，時序點云序列也會變得更加冗余。

總結(jié)一下全稀疏Lidar檢測器的特點，首先避免了卷空氣的問題；其次是一個全動態(tài)的網(wǎng)絡(luò)，計算成本是隨著點云的增加而增加的；第三，它是一個3D視角下的檢測，這樣對于高度上有重疊物體的檢測會更加的友好，顯然比較適合于長距離，在使用了去除背景策略之后在多幀的檢測當中會更加的高效。

03.衛(wèi)星定位系統(tǒng)

首先需要明白，衛(wèi)星導(dǎo)航最原始的觀測包含測距碼以及導(dǎo)航電文。在導(dǎo)航電文里面顯示各種各樣的參數(shù)，可以利用這些參數(shù)按照一定的公式獲得衛(wèi)星在全局坐標系下的位置。

通過測距碼可以得到接收機相對于衛(wèi)星的一個距離，簡稱“衛(wèi)地距”。對于“衛(wèi)地距”的描述可以有偽距碼以及載波相位兩種方式。

至于定位，在已知三個衛(wèi)星坐標的前提下，并且已知對應(yīng)“衛(wèi)地距”，可以在全局坐標系下唯一確定接收機的位置。

所以在實際的使用當中通常都需要4個觀測方程，至少4個觀測方程通過聯(lián)歷方程組去解得唯一的位置，解的這個參數(shù)便是接收機的位置XYZ以及接收機的硬件延時。

思考一下自動駕駛定位系統(tǒng)的目標：首先對于側(cè)重點來說，傳統(tǒng)的組合導(dǎo)航是一個絕對定位的一套系統(tǒng)，他需要在全局坐標系下給出一個確定性的結(jié)果。

但對于自動駕駛系統(tǒng)來說，是一個相對定位的過程，這個相對定位可以是相對于在線建立的地圖定位，或者是離線建立的高精度地圖去定位。更關(guān)注當前自測的位置與靜態(tài)的障礙物，比如說燈桿、標牌、車道線以及動態(tài)的NPC相對位置。

那所以對于自動駕駛系統(tǒng)來說，其實可以用一種亞分米級精度的輸出，對于規(guī)劃與決策系統(tǒng)更友好。

與傳統(tǒng)的基于粒子濾波定位框架不同，圖森采用了分層的貝葉斯思想，在估計位置的同時，同時對于每一種觀測估計了置信程度。

比如，經(jīng)過多個高大的路牌、收費站時，衛(wèi)星觀測會受到影響，車輛會在這個里面做一個短暫的停留，全遮擋的工況下所有衛(wèi)星觀測是缺失的。這樣的工況下在保證魯棒性的同時通過融合多模態(tài)傳感器，然后基于魯棒粒子濾波算法可以給出一個準確的位置估計。

04.預(yù)測算法

自動駕駛的行為預(yù)測一直使用基于深度學習的算法，但每一個深度學習算法都在優(yōu)化著特定的模型指標。

如果在某些指標上做到了最優(yōu)，但也依然不是最好的預(yù)測輸出。

圖森提出來做任務(wù)對齊。這個主要是基于一個觀察：海量的預(yù)訓練數(shù)據(jù)賦予了預(yù)測模型強大的能力，現(xiàn)在模型可以給出多模態(tài)的邊緣或者是聯(lián)合概率分布的預(yù)測，但是這里的概率值他反應(yīng)了數(shù)據(jù)里的每一個數(shù)據(jù)出現(xiàn)的頻率。問題是，某些case的概率分布并沒有和下游模塊做對齊，那應(yīng)該怎么做呢？

最簡單的方法是做偏好學習，核心是為下游任務(wù)重新調(diào)整優(yōu)化的權(quán)重。但除此之外圖森還提出來對多階交互進行解耦。

另外，在預(yù)測算法中，還引入了多階博弈交互的概念。直白的解釋：零階交互是指在做決策的時候不用考慮任何人的想法，一階交互是指在做決策的時候考慮其他人的想法，二階交互指在做決策的時候，會去預(yù)測你預(yù)測了我的想法…

為什么需要？比如在一個前方有靜止車的場景里，左側(cè)有源源不斷的車流，如果只做零階交互，預(yù)測左側(cè)車流的時候不去考慮自身變道意圖，就始終給不出左側(cè)車流減速的軌跡，只能給出他們勻速往前的軌跡，會導(dǎo)致加塞失敗最后停止在靜止車前。

而同時使用一階交互，考慮自身變道的意圖，在使用偏好學習做微調(diào)之后，可以成功的給出左側(cè)車流減速的軌跡，這樣可以及時的變道到左側(cè)的車流當中。

05.規(guī)控系統(tǒng)

圖森的方案是耦合預(yù)測還有決策規(guī)劃，對于每個自車規(guī)劃的意圖軌跡，會首先使用博弈論模型去預(yù)測車輛可能的反應(yīng)以及多種可能反應(yīng)的概率分布。

傳統(tǒng)的方案當中，規(guī)劃的軌跡是固定的，自車規(guī)劃任何一個軌跡，要求對于所有其他車輛可能的反應(yīng)都是安全的，這樣的一個評價方式通常會產(chǎn)生非常保守的結(jié)果。

圖森的方案，會在對方讓行的情況下，選擇搶行。

規(guī)控模塊中，業(yè)界非常關(guān)心的問題是時空以及橫縱聯(lián)合的搜索與優(yōu)化，傳統(tǒng)的軌跡規(guī)劃會首先固定橫向行為去優(yōu)化縱向行為或者是固定縱向行為優(yōu)化橫向行為，限制了空間會導(dǎo)致規(guī)劃的結(jié)果喪失敏捷性，在一些非常危險的情況下有可能使得本車規(guī)劃不出安全的軌跡。

圖森的方案是耦合的橫縱行為的優(yōu)化，同時也要保證規(guī)劃的軌跡能夠滿足非常復(fù)雜的車輛動力學模型。具體而言使用一個參數(shù)化的控制序列，對于每個參數(shù)所生成的自車軌跡會評估他的好壞，參考因素包括安全性、效率、交規(guī)、交互，等等。

由于現(xiàn)在的軌跡是由控制策略參數(shù)所確定的，因此優(yōu)化目標是控制策略參數(shù)的一個函數(shù)，那通過對這個參數(shù)進行優(yōu)化，就可以同時優(yōu)化橫向和縱向的行為以及如何和其他車輛交互。

可以舉例說明傳統(tǒng)的規(guī)劃控制解耦和耦合規(guī)劃控制的區(qū)別。

如自車想繞過前面比較大的障礙物，傳統(tǒng)的方案可能規(guī)劃鼓勵的生成目標軌跡，控制的獨立追蹤目標軌跡，這兩者之間在一些情況下會產(chǎn)生比較大的偏差。當偏差比較大的時候，雖然規(guī)劃的軌跡覺得自己繞過障礙物，但是控制的過程中造成比較大的誤差使得自車生成的軌跡還是和障礙物發(fā)生了刮蹭。

而反饋控制和規(guī)劃耦合的系統(tǒng)，會實時的根據(jù)當前測量的狀態(tài)重新規(guī)劃和控制，從而保證了這個大范圍繞障礙物過程中側(cè)向間距安全性。

06.仿真驗證模塊

目前業(yè)界常做的仿真測試是做規(guī)控。只運行規(guī)控模塊和底層的車輛模型，對于低級別的自動駕駛系統(tǒng)可能是可行的。但是圖森未來的感知系統(tǒng)及規(guī)控系統(tǒng)，這種簡單的PnC方針測試已經(jīng)不能滿足需要。

所以圖森在仿真測試中采用到了端到端的仿真測試的框架：將整套的自駕pipeline作為一個黑盒進行完整整體的測試，屬于更高級別的測試。

圖森端到端仿真測試系統(tǒng)，首先是一個離線閉環(huán)系統(tǒng)，目的是為了測試整套的算法流程以及自駕系統(tǒng)，同時支持多種場景測試，一種是支持真實場景的導(dǎo)入，也支持人工去編輯一些場景，編輯出一些長尾的conor case。

在工程上圖森端到端仿真系統(tǒng)架構(gòu)主要由兩部分構(gòu)成，一部分由仿真引擎及仿真底層物理世界引擎和車輛動力學模型構(gòu)成的仿真系統(tǒng)，另外一部分是由運行整套算法的域控以及一些虛擬的車輛控制單元組成，兩套系統(tǒng)通過傳感器的輸入進行通信。

圖森未來的仿真引擎，以及仿真任務(wù)調(diào)度器上面，循環(huán)運行一遍所有的離線仿真場景只需要小于30分鐘，圖森統(tǒng)計過每小時的運行成本小于10元。

圖森如何看待L4？

圖森今年業(yè)務(wù)“重啟”，外界普遍認知堅持做高階自動駕駛的侯曉迪出走，其L4業(yè)務(wù)陷入不確定。

而圖森在局勢初定的首次公開亮相上，也專注講了將智能輔助駕駛落地的路線。

一度更加劇了猜測：圖森不做L4了？

但這次圖森中國的CTO王乃巖正本清源：

L2和L4都在做，并行推進，并且都由他在負責。

具體的進度上，圖森確認在兩個月前拿到了上海市首批“無人”卡車測試許可，目前正在最后的確認階段。實際上，圖森已經(jīng)在類似考核的演示項目中，證明了在高速場景下已經(jīng)具備“駕駛室”無人的能力。

所以目前圖森未來的L4業(yè)務(wù)現(xiàn)狀總結(jié)一下，是這樣的：

首先在商業(yè)落地進度上，即將開啟全無人測試，而且也會實際接商單。

技術(shù)方案上，圖森L4目前還是堅定的走多傳感器融合線路，以及前裝量產(chǎn)車的路線。圖森之前在L2相關(guān)路線活動上發(fā)布的“大感知盒子”TS-Box，其實也在應(yīng)用到L4路線，比如王乃巖介紹到，圖森的一個主要優(yōu)勢就是自己對傳感器硬件的深入理解和工程化能力。

這體現(xiàn)在圖森在TS-Box中除了集成計算模塊，還自研了圖像處理等算法，相當于直接節(jié)省了相關(guān)功能采購的成本。圖森L2商業(yè)化的競爭優(yōu)勢，以及L4的落地進度，都得益于圖森的技術(shù)能力。

而以現(xiàn)在的情況來看，王乃巖估計，L4自動駕駛卡車，三到五年之內(nèi)就會有大規(guī)模應(yīng)用。

所以圖森未來這次展現(xiàn)自己的L4實力和進展，不但是向外界自證“健康”和“健壯”，也是向自動駕駛卡車行業(yè)傳遞這樣的信息：

L4不會停下發(fā)展的腳步，只不過這條賽道的未來，只向有強大技術(shù)實力的玩家敞開。

—聯(lián)系作者—

—完—

【智能車參考】原創(chuàng)內(nèi)容，未經(jīng)賬號授權(quán)，禁止隨意轉(zhuǎn)載。

點這里關(guān)注我，記得標星，么么噠～

關(guān)鍵詞：