從機器視覺的角度，由簡入繁從相機標定，平面物體檢測、有紋理物體、無紋理物體、深度學習、與任務/運動規劃結合等6個方面深度解析文章的標題。
首先，我們要了解，機器人領域的視覺（Machine Vision）跟計算機領域（Computer Vision）的視覺有一些不同：機器視覺的目的是給機器人提供操作物體的信息。所以，機器視覺的研究大概有這幾塊：1. 物體識別（Object Recognition）：在圖像中檢測到物體類型等，這跟 CV 的研究有很大一部分交叉；
2. 位姿估計（Pose Estimation）：計算出物體在攝像機坐標系下的位置和姿態，對于機器人而言，需要抓取東西，不僅要知道這是什么，也需要知道它具體在哪里；
3. 相機標定（Camera Calibration）：因為上面做的只是計算了物體在相機坐標系下的坐標，我們還需要確定相機跟機器人的相對位置和姿態，這樣才可以將物體位姿轉換到機器人位姿。
當然，我這里主要是在物體抓取領域的機器視覺；SLAM 等其他領域的就先不講了。
由于視覺是機器人感知的一塊很重要內容，所以研究也非常多了，我就我了解的一些，按照由簡入繁的順序介紹吧：機器人抓取時怎么定位的，用什么傳感器來檢測？
1.【單相機+物體識別】，用通俗的說法，就是用一個（一般是裝在頭部）的攝像頭識別目標物體（或圖案），在已知目標物體的幾何信息的情況下，可以推算物體的位置。
2.【深度相機】在拍攝圖片之外，可以知道圖片中每點深度（距離）的東西，低端的就是微軟XBOX配的那個體感設備。在已知深度的情況下，可以根據先驗知識，在不指定物體的情況下推測要抓取的位置。
3.【多相機】通常方案是利用多目實現深度相機，然后照上面辦法來。另外一種思路，是把相機放在不同位置，比如頭、手分別放置相機，協調工作。
4.【單個移動相機】可以利用多次拍攝達到多相機的效果，不過目標不能動。
5.【干脆把物體固定】
==然后還要知道機械臂的位置==
1.【基座固定】只要根據機械臂中關節處的傳感器就可以知道末端位置，精度通常絕對夠用。
2.【紅外標記定位】通過在及機械臂末端（或可以計算出相對位置關系的地方）上放置多個（一般不共面）紅外標記點，然后用攝像頭檢測，可以比較準確的獲得位置。有些系統也使用多攝像頭方案。
3.【和識別物體用一樣的技術】
4.【通過坐標變換回避問題】比如，我可以在手部放置傳感器計算手和目標的相對位置，而不計算全局坐標，這樣就不用定位了。
==然后讓手臂到物體附近==
首先手臂內部的電流環、速度環、位置環通常是基礎，這里就不多說了。在可以控制機械臂的前提下，我們要做的工作主要是：
1.規劃路徑，簡單來說，就是確定機器人如何抬起手臂比較合理，對簡單的機械臂來說，求解很簡單，對多自由度的來說，這個里面有個運動學逆解的問題。
2.按照規劃運動，對于絕大多數系統來說，這個過程在軌跡層面是開環的，沒有反饋，因為機器人關節內的閉環通常有足夠的經度。
==可以開始抓了==
抓取中核心是兩個問題：【我什么時候開始合攏手指】和【別捏碎了】。
一般來說，我們會讓手掌張開，垂直的深入要抓取的位置，這個時候，視覺系統通常會被手掌遮擋無法看到高精度的情況，所以有些系統會使用接近開關或者測距傳感器來輔助定位。當手完全深入后，就可以合攏手指，抓取物體，對簡單任務來說，合攏的程度可以是固定的；對拿雞蛋這樣的問題，通常我們是使用手指上的壓力傳感器來做力反饋的。
客服QQ