日前，GCP硅谷專(zhuān)家咨詢(xún)邀請(qǐng)蔚來(lái)汽車(chē)北美研發(fā)部機(jī)器學(xué)習(xí)專(zhuān)家，以專(zhuān)業(yè)視角就當(dāng)前汽車(chē)的體系架構(gòu)、自動(dòng)駕駛的基本組成內(nèi)容以及機(jī)器學(xué)習(xí)在自動(dòng)駕駛中發(fā)揮的作用進(jìn)行了分享，以下帶來(lái)分享內(nèi)容的筆錄整理。

　　專(zhuān)家介紹

　　王冠是蔚來(lái)汽車(chē)首位機(jī)器學(xué)習(xí)工程師，參與設(shè)計(jì)了蔚來(lái)汽車(chē)目前所有機(jī)器學(xué)習(xí)項(xiàng)目，開(kāi)發(fā)了其中主要部件。曾任LinkedIn資深數(shù)據(jù)科學(xué)家，最早把機(jī)器學(xué)習(xí)引入LinkedIn商業(yè)分析部，并幫助團(tuán)隊(duì)從3人擴(kuò)展至70人。王冠博士畢業(yè)于UIC，師從Philip Yu進(jìn)行數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)的研究工作，并在KDD，ICDM，WWW，ICDE，CIKM等會(huì)議上發(fā)表十余篇論文。

　　汽車(chē)的體系結(jié)構(gòu)

　　汽車(chē)的體系結(jié)構(gòu)主要包括了車(chē)載電腦、傳感器、控制器和車(chē)載網(wǎng)絡(luò)。

　　1.車(chē)載電腦

　　車(chē)載電腦主要有CPU，隨著深度學(xué)習(xí)更多參與到車(chē)內(nèi)計(jì)算，還會(huì)有GPU，以及FPGA、ASIC等專(zhuān)屬的電子單元和芯片，滿(mǎn)足計(jì)算需求的同時(shí)照顧到汽車(chē)自身特性。不同于我們使用的電腦硬件，汽車(chē)的CPU、GPU對(duì)散熱和功耗有更為嚴(yán)格的需求，需經(jīng)過(guò)額外的測(cè)試，以符合車(chē)規(guī)標(biāo)準(zhǔn)。然后還有data BUS(數(shù)據(jù)總線(xiàn))在車(chē)內(nèi)傳送數(shù)據(jù)信息。另外，車(chē)載電腦的存儲(chǔ)器在下一代汽車(chē)的性能將更高，據(jù)估計(jì)，汽車(chē)全部傳感器運(yùn)作收集數(shù)據(jù)一小時(shí)的話(huà)能達(dá)到1~2TB的數(shù)據(jù)量。

　　下圖展示的Udacity的自動(dòng)駕駛試驗(yàn)車(chē)的改裝造價(jià)達(dá)到二三十萬(wàn)美元或者更多，不過(guò)這里面的軟硬件未達(dá)到車(chē)規(guī)標(biāo)準(zhǔn)，還需要把后備箱的很多設(shè)備縮減在一個(gè)電路板上，這樣的試驗(yàn)車(chē)距離量產(chǎn)還有很遠(yuǎn)距離。NVIDIA正在做一些集成電路板的工作，比如此前發(fā)布的DRIVE CX的車(chē)載娛樂(lè)系統(tǒng)和DRIVE PX2的自動(dòng)駕駛系統(tǒng)，不過(guò)這樣的芯片仍未達(dá)到車(chē)規(guī)，還在不斷地迭代中。

　　當(dāng)前芯片硬件的發(fā)展需要和深度學(xué)習(xí)方面的進(jìn)展相匹配，適應(yīng)和優(yōu)化計(jì)算需求，使其固化在芯片上。然后科研人員再利用這樣的開(kāi)發(fā)板進(jìn)行測(cè)試，這樣的方式要比Udacity的試驗(yàn)車(chē)進(jìn)一大步。

　　車(chē)廠也要和芯片公司形成協(xié)同開(kāi)發(fā)的流程：汽車(chē)搭載芯片上路獲取數(shù)據(jù)，再反饋給芯片或算法公司，有利于技術(shù)更有效地實(shí)現(xiàn)升級(jí)更迭，這將是個(gè)較長(zhǎng)的過(guò)程。

　　2.傳感器

　　下圖是Uber的試驗(yàn)車(chē)。頂上轉(zhuǎn)的那個(gè)是激光雷達(dá)，頂上盒子里應(yīng)該裝的是高精度GPS。這兩個(gè)東西都很貴，應(yīng)該都比車(chē)本身還貴。攝像頭一般裝在車(chē)輪上沿的車(chē)身四周，有的有三個(gè)，有的有八個(gè)，覆蓋360度。和攝像頭類(lèi)似位置的還有聲納等傳感器。這里主要談一下攝像機(jī)。

　　汽車(chē)搭載的攝像機(jī)并不是封裝集成好的，只是鏡頭和一些光學(xué)器件，需要自己在芯片內(nèi)存里寫(xiě)程序。攝像機(jī)會(huì)有各種各樣的性能要求，比如在白天光線(xiàn)很強(qiáng)的時(shí)候攝像頭曝光不能過(guò)高，晚上則需要夜視功能，有些時(shí)候還要有視角很廣的魚(yú)眼相機(jī)。如此一來(lái)就需要有好幾個(gè)攝像頭，每個(gè)攝像頭還來(lái)自不同的供應(yīng)商，功能不同，車(chē)廠需要自己去組裝安排，接入車(chē)載電腦實(shí)時(shí)處理，工程量很大，對(duì)軟件開(kāi)發(fā)要求也很高。當(dāng)然也有供應(yīng)商提供整套解決方案，不過(guò)那樣的話(huà)定制化周期就會(huì)很長(zhǎng)。

　　3.車(chē)內(nèi)網(wǎng)絡(luò)

　　當(dāng)前無(wú)論是奔馳這樣的高端車(chē)，還是豐田、本田這種中低端汽車(chē)的網(wǎng)絡(luò)結(jié)構(gòu)都非常簡(jiǎn)單，相當(dāng)于六七十年代網(wǎng)絡(luò)的水平。首先是不安全 ：現(xiàn)在車(chē)載網(wǎng)絡(luò)的數(shù)據(jù)還沒(méi)有加密，任何一個(gè)指令發(fā)出(比如升降車(chē)窗的指令)，其他的控制器都能收到;其次是網(wǎng)絡(luò)慢、帶寬低 ，當(dāng)前的車(chē)載網(wǎng)絡(luò)根本無(wú)法滿(mǎn)足自動(dòng)駕駛數(shù)據(jù)流的需求;然后是容錯(cuò)性（可靠性） ，某個(gè)通信節(jié)點(diǎn)的損壞不應(yīng)影響整體。因此自動(dòng)駕駛需要有更安全、滿(mǎn)足高數(shù)據(jù)流、與云端可靠連接的網(wǎng)絡(luò)結(jié)構(gòu)。

　　控制器的話(huà)比較成熟，比如設(shè)定汽車(chē)轉(zhuǎn)向多少度，通過(guò)數(shù)字模擬信號(hào)已經(jīng)能較好地實(shí)現(xiàn)汽車(chē)控制。

　　此外需要談一下汽車(chē)的冗余性，Waymo非常注重這一點(diǎn)，會(huì)將子系統(tǒng)設(shè)計(jì)兩套，一旦發(fā)生損壞汽車(chē)也能夠安全地實(shí)現(xiàn)自我搶救。分享嘉賓曾經(jīng)在Waymo的一次demo上，看過(guò)工程師在汽車(chē)自動(dòng)駕駛過(guò)程中剪斷了一條供電的線(xiàn)路，車(chē)子判斷系統(tǒng)異常，啟動(dòng)應(yīng)急機(jī)制，并且自動(dòng)安全地停在了路邊。未來(lái)更智能的車(chē)?yán)?，這個(gè)冗余性非常重要。

　　自動(dòng)駕駛的基本組成

　　自動(dòng)駕駛主要分為四個(gè)部分：Localization(定位)、Perception(感知)、Planning(規(guī)劃)以及Control(控制)，以下主要對(duì)前三者進(jìn)行解讀。

　　1.定位

　　定位簡(jiǎn)單講就是解決“在哪里” 的問(wèn)題，需要借助激光雷達(dá)、攝像頭等傳感器反復(fù)上路收集數(shù)據(jù)構(gòu)建高精地圖。當(dāng)然其中也有一些問(wèn)題：激光雷達(dá)價(jià)格當(dāng)前還是居高不下，發(fā)射的點(diǎn)云比較稀疏，很難去區(qū)分和識(shí)別目標(biāo)物體。點(diǎn)云的彌補(bǔ)辦法就是同一條道路反復(fù)跑很多遍，直到覆蓋的點(diǎn)云數(shù)據(jù)足夠密集;或者與攝像頭結(jié)合，利用攝像頭的目標(biāo)識(shí)別能力選擇性地向物體發(fā)射和收集點(diǎn)云數(shù)據(jù)。

　　攝像頭的校準(zhǔn) 也是大問(wèn)題。一般攝像頭有內(nèi)部校準(zhǔn)和外部校準(zhǔn)，其中內(nèi)部校準(zhǔn)一般在攝像頭出廠時(shí)已設(shè)定好，比如說(shuō)焦距，外部校準(zhǔn)則是指通過(guò)照相來(lái)精確定位攝像頭在汽車(chē)的安裝位置，實(shí)現(xiàn)較難。汽車(chē)攝像頭在安裝過(guò)程很難避免誤差產(chǎn)生，導(dǎo)致其所在位置和設(shè)定好的坐標(biāo)軸不匹配，汽車(chē)感知系統(tǒng)因而出現(xiàn)偏差?，F(xiàn)在有自動(dòng)校準(zhǔn)技術(shù)來(lái)使攝像頭一定程度上實(shí)現(xiàn)自我矯正，比如利用Visual Odometry技術(shù)和幾種濾波器(kalmanfilter，particle filter等等)，但仍不太能滿(mǎn)足要求。實(shí)際量產(chǎn)中多數(shù)為半自動(dòng)程序糾正，影響了量產(chǎn)效率。

　　假設(shè)在有高精地圖，和校準(zhǔn)了的傳感器的前提下，定位是可以很好的解決的。還可以通過(guò)自身定位和歷史數(shù)據(jù)來(lái)生成所走路線(xiàn)的地圖。這就是SLAM技術(shù)要做的事。不過(guò)其算法還未達(dá)到自動(dòng)駕駛的需求，對(duì)GPS的精度要求也很高。

　　所以“做地圖”和“用地圖來(lái)自動(dòng)駕駛”是兩個(gè)不同的工程，但是它們又相輔相成。而機(jī)器學(xué)習(xí)特別是下面要談的感知技術(shù)又是這兩個(gè)工程都不可或缺的重要組成部分。

　　2.感知

　　感知部分深度學(xué)習(xí)使用較多，進(jìn)行目標(biāo)識(shí)別和檢測(cè)。但當(dāng)前感知仍是淺層的，實(shí)際的檢測(cè)準(zhǔn)確率也只有70~80%。比如多數(shù)系統(tǒng)只能識(shí)別目標(biāo)是車(chē)，但是不理解不同的車(chē)型會(huì)影響我們的駕駛判斷。比如消防車(chē)、醫(yī)護(hù)車(chē)還是警車(chē)在旁邊的時(shí)候，或者它們信號(hào)燈開(kāi)閃的時(shí)候，我們的駕駛行為是要做出改變的，而自動(dòng)駕駛算法還未做到這點(diǎn)。

　　另外，有些物體是可以忽略的，比如小的紙箱子，有些不能忽略，比如石頭，現(xiàn)在的物體識(shí)別還沒(méi)做到可以理解這些含義的地步。再舉個(gè)例子，鏡子里的車(chē)也會(huì)被認(rèn)為是真車(chē)。所以，理解這些物體的“物理意義”將是深度學(xué)習(xí)需要解決的難題，這屬于另一個(gè)范疇，這里不展開(kāi)談了。

　　此外，重要的tracking(目標(biāo)跟蹤)技術(shù)當(dāng)前也發(fā)展不足。傳統(tǒng)使用的卡爾曼濾波器能夠根據(jù)周邊汽車(chē)在1~2秒短時(shí)間內(nèi)近乎勻速的運(yùn)動(dòng)大概估計(jì)其速度信息，基于深度學(xué)習(xí)的tracking依靠以往的訓(xùn)練數(shù)據(jù)跟蹤和預(yù)判汽車(chē)軌跡，但效果比前者還是差一些，不夠成熟。

　　3.規(guī)劃

　　汽車(chē)實(shí)現(xiàn)定位、感知，需要進(jìn)一步規(guī)劃接下來(lái)的駕駛行為。規(guī)劃(planning)主要分為以下幾類(lèi)：

　　Route planning（路徑規(guī)劃） 是指宏觀層面為汽車(chē)設(shè)定駕駛路線(xiàn)，類(lèi)似于我們手機(jī)里的地圖，輸入起點(diǎn)終點(diǎn)，規(guī)劃一條路徑，該技術(shù)當(dāng)下已經(jīng)非常成熟，并實(shí)現(xiàn)了毫秒級(jí)的響應(yīng);微觀的behavior planning（行為規(guī)劃） 則根據(jù)對(duì)周邊態(tài)勢(shì)的感知預(yù)測(cè)來(lái)決定是否進(jìn)行轉(zhuǎn)向、加減速的動(dòng)作;Motion planning（運(yùn)動(dòng)規(guī)劃） 粒度更細(xì)，規(guī)劃汽車(chē)短時(shí)間內(nèi)的轉(zhuǎn)向角度、加速度變化等。

　　行為規(guī)劃是難點(diǎn)。而行為規(guī)劃又分成1～2秒的規(guī)劃，和30秒左右的規(guī)劃。

　　1～2秒內(nèi)汽車(chē)的路徑規(guī)劃可以利用RRT(快速搜索隨機(jī)樹(shù))或CC-RRT(可理解為概率計(jì)算+RRT算法)技術(shù)，通過(guò)機(jī)器學(xué)習(xí)系統(tǒng)感知周?chē)矬w并預(yù)測(cè)其未來(lái)分布位置的概率，為了降低撞到其他物體的幾率，汽車(chē)會(huì)通過(guò)樹(shù)狀搜索規(guī)劃出一條即時(shí)路徑。做CC-RRT最好的是MIT的一個(gè)實(shí)驗(yàn)室。CC-RRT的作者在其MIT博士畢業(yè)之后去了Google做自動(dòng)駕駛的path planning的負(fù)責(zé)人。所以今天Waymo的系統(tǒng)很可能就是那樣做的。不過(guò)以上只針對(duì)1~2秒的行為判斷，30秒的提前預(yù)判目前還未解決，處于萌芽狀態(tài)。

　　當(dāng)前很多車(chē)廠在路徑規(guī)劃上的做法仍是基于人工的規(guī)則系統(tǒng)進(jìn)行的，事先設(shè)定上千條可預(yù)期的駕駛規(guī)則，避免常見(jiàn)事故，但交通場(chǎng)景千變?nèi)f化，基于規(guī)則設(shè)定是無(wú)法覆蓋全部場(chǎng)景的。

　　自動(dòng)駕駛中的機(jī)器學(xué)習(xí)

　　機(jī)器學(xué)習(xí)在自動(dòng)駕駛中覆蓋到很多方面，包括定位，感知，決策的很多細(xì)節(jié)。這里就其中決策規(guī)劃的重要部分進(jìn)行分享，很多科研工作取得了很好的進(jìn)展，但是還沒(méi)有到人工智能能夠獨(dú)立控制開(kāi)車(chē)的地步。

　　大家都知道開(kāi)車(chē)積累的圖像數(shù)據(jù)要為機(jī)器學(xué)習(xí)所用，需要對(duì)每幀圖像中的目標(biāo)物體、可駕駛區(qū)域和駕駛路徑的變化都需要進(jìn)行標(biāo)注，幫助機(jī)器學(xué)習(xí)后期在感知、預(yù)測(cè)、行為規(guī)劃的訓(xùn)練，使算法能夠在以后自主對(duì)未處理圖像進(jìn)行標(biāo)注判斷。

　　訓(xùn)練機(jī)器學(xué)習(xí)系統(tǒng)當(dāng)前有幾類(lèi)模型，比如Behavior cloning（行為復(fù)制） ，是利用CNN(卷積神經(jīng)網(wǎng)絡(luò))和LSTM(長(zhǎng)短期記憶網(wǎng)絡(luò))，學(xué)習(xí)以往的駕駛數(shù)據(jù)來(lái)應(yīng)對(duì)以后發(fā)生的類(lèi)似場(chǎng)景。但面對(duì)沒(méi)遇到的場(chǎng)景時(shí)該模型將難以應(yīng)對(duì)。

　　另一方案是將人類(lèi)的駕駛數(shù)據(jù)輸入GAN（生成式對(duì)抗網(wǎng)絡(luò)） 進(jìn)行訓(xùn)練，自我生成可比擬人類(lèi)駕駛的行為數(shù)據(jù)，放入LSTM中，根據(jù)歷史行為輸出未來(lái)可能的駕駛行為，使系統(tǒng)具備預(yù)測(cè)能力。這方面目前斯坦福有個(gè)實(shí)驗(yàn)室做了很多工作，但該研究仍處于萌芽狀態(tài)，離應(yīng)用到量產(chǎn)車(chē)上仍有很大距離。

　　結(jié)合之前討論的內(nèi)容，如果以機(jī)器學(xué)習(xí)系統(tǒng)來(lái)指導(dǎo)汽車(chē)自動(dòng)駕駛，現(xiàn)在還處于非常初級(jí)的階段。相對(duì)較好的還是通過(guò)機(jī)器學(xué)習(xí)進(jìn)行目標(biāo)識(shí)別、感知、預(yù)測(cè)，再使用機(jī)器人技術(shù)(CC-RRT)搜索和規(guī)劃路徑。