特斯拉為什麽「拋棄」毫米波雷達
5月 25 日，特斯拉官方博客宣布， Autopilot 正在過渡到基於攝像頭的 Tesla Vision 系統。
從 2021 年 5 月起，北美制造的 Model 3 和 Model Y 將不再配備毫米波雷達 ，這些車型將通過特斯拉的攝像頭視覺和深度神經網絡來支撐 Autopilot、FSD 完全自動駕駛和某些主動安全功能。
單價約 300 人民幣的前向雷達，超 45 萬輛/年（2020 年數據）的銷量規模，對於特斯拉的毫米波雷達供應商、頂級 Tier 1 供應商大陸集團而言，中途丟掉壹年過億的訂單實在不是個令人愉悅的消息。
盡管特斯拉明確說明， 計算機視覺和深度神經網絡處理將實現主動安全/ Autopilot / FSD 的感知需求 ，但博客壹出，各方立刻應聲而動。
美國高速公路安全管理局（NHTSA）官網修改了 2021 款 Model 3 和 Model Y 的主動安全功能頁面，包括前向防撞預警（FCW）、防撞自動剎車（CIB）、動態制動輔助（DBS）均被明確提示，2021 年 4 月 27 日後生產的車型不再配備。
與此同時，《消費者報告》宣布暫停將 2021 款 Model 3 列為「推薦」，美國高速公路安全保險協會（IIHS）取消了 Model 3 曾經 Top Safety Pick + 的最高安全評級。
簡單總結， 特斯拉說我們移除了毫米波雷達，並通過攝像頭實現了雷達之前的能力，但所有人都只聽到了前半句。
在我看來，各大民間和監管的安全機構如今對特斯拉都有些過敏，事實上，如果我們去梳理全球第壹大視覺感知供應商 Mobileye 這些年的耕耘，正是壹個 將雷達逐步移出 汽車 主動安全範疇 的發展史。
但事情正在愈演愈烈。特斯拉 CEO Elon Musk 不得不通過 Electrek 辟謠： 所有的主動安全功能都在新下線的車型中有效，NHTSA 會在下周對新車型進行重新測試 ，當前移除雷達的車型是標配這些功能的。
但公眾的質疑並沒有被打消。比如，雷達擅長的對障礙物距離和速度的測量，恰恰是攝像頭的傳統弱勢項目，特斯拉如何解決？
又或者，兩種傳感器怎麽也比壹種傳感器好吧，即使攝像頭可以做雷達所做的工作，兩種傳感器壹起檢測不好嗎？
下面我們就來聊聊這些問題。
我們需要先了解雷達的技術原理，以及其在自動駕駛中所扮演的角色。
毫米波（Millimeter-Wave）雷達，通過 發射電磁波信號，接收目標反射信號 來獲得車身周圍其他障礙物的 相對速度、相對距離、角度、運動方向 等。
通過對上述這些信息的處理， 汽車 得以配備壹系列的主動安全功能，如自適應巡航控制（ACC）、前向防撞預警（FCW）、輔助變道（LCA）、自動跟車（S&G）甚至盲區檢測（BSD）等。
那麽，特斯拉又如何通過攝像頭獲得上述信息的呢，比如，對前車距離的判斷？
2020 年 8 月 21 日，Elon 在 Twitter 上表示， 通過純視覺進行準確的距離計算是基礎，其他傳感器可以提供幫助，但那不是基礎。 他所回復的博文，介紹的正是特斯拉壹項名為《Estimating object Properties Using Image Data（使用視覺數據估算對象屬性）》的專利。
4月 13 日，特斯拉 Model 3 車主、Facebook 分布式 AI 和機器學習軟件工程師 Tristan Rice「黑」進了 Autopilot 的固件，揭開了特斯拉通過機器學習取代雷達的技術細節。
根據 Tristan 的說法，從新固件的二進制文件中可以看出， Autopilot 的深度神經網絡增加了許多新的輸出，除了現有的 xyz 輸出外，還包括許多傳統雷達輸出的數據，例如距離、速度和加速度等等。
深度神經網絡可以從壹張靜態的圖片中讀取速度和加速度嗎？當然不行。
特斯拉訓練了壹個高度精確的 RNN，通過 15 幀照片/秒的、基於時間序列的視頻來預測障礙物的速度和加速度。
RNN又是什麽？ RNN 的關鍵詞是預測 。Recurrent Neural Network，循環神經網絡，顧名思義，基於環狀神經網絡傳遞和處理信息， 通過「內部記憶」來處理任意時序的輸入序列，以準確預測接下來即將發生的事情。
英偉達的 AI 博客曾舉過壹個經典的例子：假設餐廳供應是菜品規律是不變的，周壹漢堡、周二炸玉米餅、周三披薩、周四壽司、周五意面。
對於 RNN 而言，輸入壽司並尋求「周五吃什麽」的答案，Ta 將會輸出預測結果：意面。因為 RNN 已經知道這是壹個順序，而周四的菜品剛剛完成，因此接下來是周五的菜品是——意面。
對於 Autopilot 的 RNN 來說， 給到當前 汽車 周圍的行人、車輛和其他障礙物的移動路徑，RNN 就可以預測接下來的移動軌跡，包括位置、速度和加速度。
事實上，在 5 月 25 日正式官宣移除雷達的前幾個月，特斯拉壹直在將其 RNN 與全球車隊中的雷達並行運行，通過雷達輸出的正確數據和 RNN 輸出結果校對，來提升 RNN 預測的準確性。
多說壹句，對於中國交通工況下非常經典的加塞兒處理，特斯拉也通過類似的路線更替實現了更好的表現。
特斯拉 AI 高級總監 Andrej Karpathy 在 CVPR 2021 的壹次線上演講中透露，對於前車加塞兒（Cut-ins）識別，特斯拉已經通過深度神經網絡完成對傳統規則算法的替換。
具體來說，Autopilot 此前檢測加塞兒基於壹個寫死的規則： 首先要識別車道線，同時識別和跟蹤前方的車輛（bounding box），直到檢測到前車速度出現符合加塞兒的閾值水平速度，才執行加塞兒指令。
而如今 Autopilot 的加塞兒識別移除了這些規則，完全通過 RNN 基於標註的海量數據做前車的行為預測， 如果 RNN 預測前車將加塞兒，就執行加塞兒指令。
這就是過去幾個月來特斯拉對加塞兒識別取得大幅改進的技術原理。
前文提到的特斯拉專利裏詳細解釋了特斯拉訓練RNN 的運作形式。
特斯拉會將雷達和激光雷達（非量產車隊，特斯拉內部的 Luminar 激光雷達車隊）輸出的正確數據與 RNN 識別的對象相關聯，以準確估計對象屬性，例如對象距離。
在這個過程中，特斯拉開發了工具使得輔助數據與視覺數據的采集和關聯實現了自動化，無需人工標註。此外，關聯後可以自動生成訓練數據用以訓練 RNN，從而實現高度精確地預測對象屬性。
由於 特斯拉在全球的車隊規模已經超過 100 萬輛 ，特斯拉得以在海量場景數據的訓練下迅速改善其 RNN 的性能。
而 RNN 壹旦將預測的準確性提升到和雷達輸出結果的同等水平，就會形成相對毫米波雷達的巨大優勢。
這是因為特斯拉 Autopilot 只搭載了前向雷達，在城市工況下車輛各個方位亂竄的行人、騎自行車和摩托車的人很難全部準確預測。 即使是正前方的、在其 45 探測範圍內的障礙物，只要兩個障礙物同距離、同速度，Autopilot 此前搭載的雷達就無法分辨。
而 Autopilot 搭載的 8 顆攝像頭實現了車身周圍的 360 度覆蓋，其編織的全車 BEV 鳥瞰神經網絡可以無縫地預測全車任何壹個方位的多個障礙物接下來的移動軌跡。
那特斯拉為什麽不保留雷達，利用雷達和攝像頭兩種傳感器進行雙重校驗呢？
ElonMusk 詳細解釋過他對雷達和攝像頭的看法：
這番表態看起來十分微妙。我們此前的文章《特斯拉：我為激光雷達代言》壹文中曾經寫到過 Elon Musk 對毫米波雷達的態度。在上面這番言論中，他同樣沒有「宣判」雷達在特斯拉的死刑。
「雷達必須有意義地增加比特流的信號/噪聲，以使其值得集成。」即將到來的特斯拉 Autopilot 會搭載成像雷達嗎？