※ 本文轉寄自 ptt.cc 更新時間: 2019-05-06 12:56:21
看板 car
作者 標題 [分享] 全自動駕駛兩套方案：視覺辨識與光達
時間 Mon May 6 06:26:13 2019
這篇文章是根據MIT 科學家Lex Fridman 的自動駕駛講座的部分內容而寫成的，
主要來介紹一下目前全自動駕駛所用到的各種感應器其優點與缺點。
https://i.imgur.com/BMK347H.png
![[圖]](https://i.imgur.com/BMK347Hh.png)
目前全自動駕駛的發展大致上有兩種方案，一是視覺辨識加上深度學習，第二種
則是光達(Lidar)加上高精度地圖。另外這兩種方案都還是會用上例如雷達、超
音波雷達等感應器。
則是光達(Lidar)加上高精度地圖。另外這兩種方案都還是會用上例如雷達、超
音波雷達等感應器。
‧視覺辨識加深度學習方案
‧優點：
‧擁有最高解析度的資訊
‧大規模搜集資料與深度學習的可行性高
‧道路原先就是設計給人類的視覺使用
‧便宜
‧缺點：
‧不精確(如果沒有大量數據的話)
‧(深度學習)不可解釋、不一致
‧光達加高精度地圖方案：
‧優點：
‧可解釋、一致
‧精確‧缺點：
‧不會隨時間經過而改善
‧(光達、製作高精度地圖)貴
而這兩套方案所用的感應器，例如雷達(Radar)、光達(Lidar)、相機(Camera)、
超音波雷達(Ultrasonic)等特性也不同以下介紹這些感應器的主要特點：
https://i.imgur.com/1u0oLqF.png
![[圖]](https://i.imgur.com/1u0oLqF.png)
及追蹤物體的感應器。
https://i.imgur.com/sYqLYwX.png
![[圖]](https://i.imgur.com/sYqLYwX.png)
來的高，擁有360度的可視範圍。
https://i.imgur.com/SsFAyU4.png
![[圖]](https://i.imgur.com/SsFAyU4.png)
的估計很差，在極端天氣下的工作狀況也不好。
下面這四張圖則是代表了這些感應器在各種光線與天氣條件之下其感應距離與靈
敏度的變化：
https://i.imgur.com/e4sOogJ.png
![[圖]](https://i.imgur.com/e4sOogJ.png)
![[圖]](https://i.imgur.com/ZLtYiC6.png)
而若是以
Proximity detection (接近or距離檢測)
Range (範圍)
Resolution (解析度)
Works in dark (黑暗中工作狀況)
Works in snow/rain/fog (在雪/雨/霧中的工作狀況)
Provide colour/contrast (提供色彩/對比資訊)
Detects speed (檢測速度)
Sensor size (感應器體積)
Sensor cost (感應器成本)
這幾項做為指標的話，那各種感應器的表現如下：
光達：
https://i.imgur.com/lpv5ZWT.png
![[圖]](https://i.imgur.com/lpv5ZWT.png)
超音波雷達：
https://i.imgur.com/O4OsAFV.png
![[圖]](https://i.imgur.com/O4OsAFV.png)
雷達：
https://i.imgur.com/oqo3O5p.png
![[圖]](https://i.imgur.com/oqo3O5p.png)
相機(被動視覺)：
https://i.imgur.com/u4ovri8.png
![[圖]](https://i.imgur.com/u4ovri8.png)
而在使用視覺辨識加上深度學習的這一項方案中，感應器融合是不可少的，將
相機、雷達、超音波雷達這三種感應器加起來可以得到以下的結果：
https://i.imgur.com/S6WX5GZ.png
![[圖]](https://i.imgur.com/S6WX5GZ.png)
而這正是Tesla 目前所使用的方案，拿來與光達方案做比較的話，可以發現這兩
種方案有以下特點：
https://i.imgur.com/1QlIhU7.png
![[圖]](https://i.imgur.com/1QlIhU7.png)
可以發現，"相機 + 超音波雷達 + 雷達" 這些傳感器融合後就能媲美光達，而
光達不能獲取色彩/對比數據，最終同樣要加上相機，然後解決視覺辨識問題。
光達不能獲取色彩/對比數據，最終同樣要加上相機，然後解決視覺辨識問題。
也就是說一但解決了視覺辨識問題，那麼只要"相機 + 超音波雷達 + 雷達"就能
覆蓋所有感應器所需要解決的事情。這也是Elon Musk 會說全自動駕駛不需要光
達的原因；至於要如何解決視覺辨識問題？那就透過深度學習來解決，而深度學
習所需要的大量數據則透過目前已經安裝在幾十萬輛Tesla 上的感應器來蒐集。
覆蓋所有感應器所需要解決的事情。這也是Elon Musk 會說全自動駕駛不需要光
達的原因；至於要如何解決視覺辨識問題？那就透過深度學習來解決，而深度學
習所需要的大量數據則透過目前已經安裝在幾十萬輛Tesla 上的感應器來蒐集。
講座影片：(此篇文章用到的內容從41:55 開始)
https://youtu.be/sRxaMDDMWQQ?t=2515
MIT Self-Driving Cars: State of the Art (2019) - YouTube
Introductory lecture of the MIT Self-Driving Cars series (6.S094) with an overview of the autonomous vehicle industry in 2018 and looking forward to 2019, in...
Introductory lecture of the MIT Self-Driving Cars series (6.S094) with an overview of the autonomous vehicle industry in 2018 and looking forward to 2019, in...
講座ppt 下載：
http://bit.ly/2H0Htiz
Dropbox - self_driving_cars_state_of_the_art.pdf - Simplify your life
![[圖]]()
Dropbox is a free service that lets you bring your photos, docs, and videos anywhere and share them easily. Never email yourself a file again! ...
![[圖]](https://www.dropbox.com/static/images/spectrum-icons/generated/content/content-pdf-large.png){kind=icon}
Dr. Lex Fridman 個人網站：
https://lexfridman.com/
Lex Fridman | MIT | Human-Centered AI & Autonomous Vehicles
![[圖]]()
Research scientist at MIT, working on human-centered AI, autonomous vehicles, deep learning, deep RL, computer vision, and Iteach courses on deep lear ...
![[圖]](https://lexfridman.com/wordpress/wp-content/uploads/2019/03/lex_zoomed_out_cropped.jpg)
--
https://i.imgur.com/60khZxi.jpg
https://i.imgur.com/3YhAuMC.gif
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.34.252.81
※ 文章代碼(AID): #1SpsCQor (car)
※ 文章網址: https://www.ptt.cc/bbs/car/M.1557095194.A.CB5.html
※ 編輯: Scape (1.34.252.81), 05/06/2019 06:27:53
其實透過深度學習加上相機(Tesla 前方有三個鏡頭類似人眼的視差可以製造距離感)
也能很好的判斷距離，這方面的研究很多
Tesla 也在前陣子的Tesla Autonomy Day 的展示中也有提到
光用相機得到的數據然後丟進神經網路做深度學習
所得到的距離資訊其實與用雷達檢測到的相差無幾：
(影片約2:20:44 ~ 2:21:25 這一段)
https://youtu.be/Ucp0TTmvqOE?t=8444
![]()
其實光達也不能判別顏色，這是它最大的罩門
※ 編輯: Scape (1.34.252.81), 05/06/2019 06:57:24
不會喔
雷達是發射波長較長的微波或電磁波然後接收從物體反射的微波或電磁波來測距
超音波雷達則是用人耳聽不到頻率較高的聲波
相機是被動接收可見光
光達則是用波長較短的電磁波(或是說發射雷射or光子)
不太會互相干擾，其頻率都不同
※ 編輯: Scape (1.34.252.81), 05/06/2019 07:46:42
所以Tesla 才自己設計專為自己訂製的AI 晶片，以獲取最好的效能與功耗
--
推 : 新知推1F 05/06 06:38
→ : 光學雷達,簡稱光達.目前造價2萬美元,跟車價差不多了
推 : 簡單來講,相機辨識道路不容易辨識景深
→ : 光學雷達,簡稱光達.目前造價2萬美元,跟車價差不多了
推 : 簡單來講,相機辨識道路不容易辨識景深
其實透過深度學習加上相機(Tesla 前方有三個鏡頭類似人眼的視差可以製造距離感)
也能很好的判斷距離，這方面的研究很多
Tesla 也在前陣子的Tesla Autonomy Day 的展示中也有提到
光用相機得到的數據然後丟進神經網路做深度學習
所得到的距離資訊其實與用雷達檢測到的相差無幾：
(影片約2:20:44 ~ 2:21:25 這一段)
https://youtu.be/Ucp0TTmvqOE?t=8444
Tesla Autonomy Day - YouTube
Tesla Autonomy Day is on Mon, April 22nd – watch the event livestream @11am PDT
Tesla Autonomy Day is on Mon, April 22nd – watch the event livestream @11am PDT
→ : 雷達辨識,沒有顏色,需結合地圖電腦判斷.4F 05/06 06:44
推 : 謝謝分享 難怪Musk自信滿滿5F 05/06 06:44
→ : 光達既是雷達，有景深，有距離，也有顏色,但sensor 2萬美元6F 05/06 06:44
其實光達也不能判別顏色，這是它最大的罩門
※ 編輯: Scape (1.34.252.81), 05/06/2019 06:57:24
推 : 不會互相干擾嗎?7F 05/06 07:37
不會喔
雷達是發射波長較長的微波或電磁波然後接收從物體反射的微波或電磁波來測距
超音波雷達則是用人耳聽不到頻率較高的聲波
相機是被動接收可見光
光達則是用波長較短的電磁波(或是說發射雷射or光子)
不太會互相干擾，其頻率都不同
※ 編輯: Scape (1.34.252.81), 05/06/2019 07:46:42
推 : 推分享8F 05/06 07:42
推 : 長知識9F 05/06 07:57
→ : 應該需要非常強的後處理器喔10F 05/06 08:28
所以Tesla 才自己設計專為自己訂製的AI 晶片，以獲取最好的效能與功耗
推 : 好文推11F 05/06 08:29
推 : 光達最大缺點就是貴 光達廠再混可能會被淘汰12F 05/06 08:30
※ 編輯: Scape (1.34.252.81), 05/06/2019 08:40:35推 : 長知識推13F 05/06 08:45
推 : 光達2萬鎂算便宜了，拿來做建築物點雲掃描的都要快20014F 05/06 08:48
→ : 萬台幣
→ : 萬台幣
推 : 推16F 05/06 08:50
→ : 現在ACC會撞靜止車就是雷達解析度太低的毛17F 05/06 08:55
推 : 現在低價光達ouster 一顆降到3500鎂了18F 05/06 09:02
推 : 光達不會被淘汰,就像樓上說的有其特定的市場需求19F 05/06 09:15
推 : 推，少見的車板好文20F 05/06 09:18
推 : 光達太貴了 研究生買不起21F 05/06 09:23
推 : 長知識22F 05/06 09:35
→ : 光達現在應該軍事上用的比較多吧
→ : 光達現在應該軍事上用的比較多吧
→ : 光達可以分辨顏色。只要在鏡頭的部分加分光鏡，將雷射的波24F 05/06 09:38
→ : 段濾掉再送到一般的彩色攝影機就行。
→ : 段濾掉再送到一般的彩色攝影機就行。
推 : 構築這套系統所需要的半導體甚多，未來十年還是半導體時26F 05/06 09:38
→ : 代，自駕車相關周邊帶來的半導體發展還在更上一層樓，繼
→ : 智慧型手機後，相關產業的就業跟投資還是正向以對
→ : 代，自駕車相關周邊帶來的半導體發展還在更上一層樓，繼
→ : 智慧型手機後，相關產業的就業跟投資還是正向以對
→ : 光達不過就是轉得比較快的雷射3維掃描儀而已。29F 05/06 09:39
→ : 另外講雷達沒有360偵測也是錯的。那只是因為車商多半只是
→ : 用固定天線，如果雷達用的是電子掃描天線ESA，或是直接像
→ : 光達一樣放到車頂機械旋轉，也一樣有360度的偵測
→ : 另外講雷達沒有360偵測也是錯的。那只是因為車商多半只是
→ : 用固定天線，如果雷達用的是電子掃描天線ESA，或是直接像
→ : 光達一樣放到車頂機械旋轉，也一樣有360度的偵測
推 : 長知識推33F 05/06 09:59
→ : 不過科技可以不斷進步 成本葉克透過時間以及大量生產模
→ : 式降低 但要達到level 4 甚至5 法規才是最大的gap
→ : 不過科技可以不斷進步 成本葉克透過時間以及大量生產模
→ : 式降低 但要達到level 4 甚至5 法規才是最大的gap
推 : 推推，這邊的工作內容真的很有趣。36F 05/06 10:04
→ : 不完全是法規，請見講座ppt第26~39頁37F 05/06 10:06
推 : 漲知識了，謝謝你38F 05/06 10:17
推 : 特黑只會說這麼好買了沒39F 05/06 10:55
推 : 好奇Tesla使用哪一種神經網路是進行深度學習40F 05/06 11:15
噓 : 兩個鏡頭辨識距離跟深度學習沒關係41F 05/06 12:05
推 : 好文推 光達真的貴 公司有用過42F 05/06 12:40
--
※ 看板: K_hot 文章推薦值: 0 目前人氣: 0 累積人氣: 307
回列表(←)
分享