基準測試和數(shù)據(jù)集對于研究和科學(xué)進步非常重要，通過競技及可量化、可重復(fù)性結(jié)果推動關(guān)鍵研究L域進步。機器人操作目前缺乏在同等規(guī)模及重要L域被廣泛接受的基準，例如計算機視覺中的同步定位和映射（SLAM）和目標檢測。曾經(jīng)提出的操作基準和挑戰(zhàn)需要訪問昂貴的平臺和專門的環(huán)境（即FetchIt、Amazon Picking Challenge等），使用特有對象來評估系統(tǒng)的能力，限制了整個研究L域的發(fā)展。機器人操作方面研究在仿真環(huán)境中進行具備優(yōu)勢包括：（1）有助于獲得可重復(fù)的結(jié)果，（2）允許訪問潛在的不可用平臺，（3）本質(zhì)上是安全的，（4）不會磨損或損壞物理系統(tǒng)，并且（5）除了并行運行許多實例之外，還可以比實時運行更快。然而，物理模擬的不足也很明顯，在仿真環(huán)境中生成的控制器在轉(zhuǎn)移到現(xiàn)實世界時往往是不可靠的。現(xiàn)實差距的現(xiàn)象是眾所周知的，但很少有人能量化這一差距。  

近期IEEE ROBOTICS AND AUTOMATION LETTERS發(fā)表了“Benchmarking simulated robotic manipulation through a real worlddataset”, 提出的基準和附屬數(shù)據(jù)集旨在幫助研究人員和開發(fā)人員量化現(xiàn)實差距，特別是與機械臂的物理交互任務(wù)，從而推動仿真到現(xiàn)實（sim2real）的轉(zhuǎn)換，以及物理引擎，模擬器和它們的參數(shù)化方面的進展。通過使用仿真和量化指標，使基準測試能夠通用于許多操作L域，但又足夠具體，能夠提供系統(tǒng)的有關(guān)信息。他們的主要貢獻包括：（1）開發(fā)了一個將仿真與真實世界記錄進行比較的程序；（2）一個由機械手執(zhí)行的地面真實標記操作任務(wù)的數(shù)據(jù)集，該操作任務(wù)使用G精度的運動捕捉系統(tǒng)進行記錄；（3）在再現(xiàn)真實方面用于描述模擬器成功量的子集（圖1）。作者們希望隨著時間的推移來擴展這個數(shù)據(jù)集，以覆蓋更多的任務(wù)，并應(yīng)用于更多的機械手。

1、基準測試

操作基準由三個部分組成：運動捕捉任務(wù)的真實世界數(shù)據(jù)集；定義在選定的模擬環(huán)境中要模擬的任務(wù)；評估地面真實性和模擬解決方案之間性能的指標。

A.  任務(wù)

該基準目前由10個簡單的任務(wù)組成，這些任務(wù)被選中是因為它們提供了基本運動和接觸的良好初始起點。這些任務(wù)演示了如何使用基準并充當(dāng)更G級任務(wù)的先驅(qū)。通過調(diào)整模擬器來準確地模擬簡單的任務(wù)，推斷這些相同的參數(shù)將擴展到共享底層關(guān)聯(lián)的更復(fù)雜的場景。基準將被擴展到包括更G級的任務(wù)，這些任務(wù)與實際操作場景具有更G的相關(guān)性。表1列出了任務(wù)以及簡短的描述以及它們包含的子組。

B、數(shù)據(jù)集

數(shù)據(jù)集是在CSIRO的Qualisys運動捕捉系統(tǒng)中收集的，將其作為實時G精度地面真實數(shù)據(jù)提交。該系統(tǒng)包括24個攝像頭，安裝在8×8×4米的龍門架上。校準為<1 mm的殘余值，系統(tǒng)記錄頻率為100 Hz。系統(tǒng)的延遲取決于以下幾個變量：標記數(shù)、攝像機數(shù)和計算機設(shè)置。數(shù)據(jù)從主機PC（接收延遲小于6毫秒的數(shù)據(jù)）流到運行機器人操作系統(tǒng)（ROS）的第三方PC。手臂配備有Robotiq FT300力扭矩傳感器，安裝在手臂手腕和夾持器之間，使用兩個如圖2所示的3D打印底座（底座的網(wǎng)格文件可以在基準網(wǎng)站上找到）。安裝支架采用剛性和輕質(zhì)的ABS塑料進行3D打印，這滿足了作為系統(tǒng)終環(huán)節(jié)的設(shè)計要求，包括重量小于1.2 kg的夾持器。在記錄數(shù)據(jù)集之前，Robotiq FT300用Kinova夾具進行了校準。該數(shù)據(jù)集的目的是在未來通過一系列的機器人操作器完成額外的任務(wù)。基準測試的用戶不必記錄任務(wù)，目的是用戶應(yīng)用所提供的數(shù)據(jù)集對其模擬環(huán)境進行基準測試。

C、模擬器設(shè)置

要使用文中的基準測試系統(tǒng)對模擬器進行基準測試，需要遵循以下準則。任何未列為受控變量的參數(shù)都可以用來改進仿真。一般來說，場景、機器人和機器人的控制都設(shè)置為不可變，而大多數(shù)其他參數(shù)都是用戶可定義的。文中的基準適用于任何模擬器。制造商統(tǒng)一機器人描述格式（URDF）與網(wǎng)格文件可以一起在基準的網(wǎng)站上下載，作為機器人機械手的描述。如果模擬器本身不支持URDF，則機器人可以按照URDF或制造商規(guī)范導(dǎo)入剛體網(wǎng)格，在選定的仿真環(huán)境中進行組裝。

D、性能指標

沒有一個指標能夠客觀地評估模擬器在所有任務(wù)中的性能，因此提出了一系列的指標。在推導(dǎo)合適的性能指標時，注意到平均一個具有相同起點和終點的對象的軌跡是可能的，特別是對于遵循相同控制軌跡的對象，如機械手。然而，對于具有不同末端姿態(tài)的物體，求其軌跡的平均值不是一個有效的計算方法，因此建議分析這些物體末端姿態(tài)的分布。由于在遵循物理原理的同時，由于從一個共同的開始姿勢到結(jié)束姿勢的過程中，可行方法是有限的，通過分析可操縱物體的末端結(jié)構(gòu)，我們發(fā)現(xiàn)這是一個有效的度量標準。此外，還使用進一步的度量來表征這些對象的運動。

圖3 二元正態(tài)分布概率密度函數(shù)的三維繪圖

E、報告績效

組合基準和數(shù)據(jù)集的網(wǎng)站旨在托管基準用戶的結(jié)果。由于包含可操作對象的任務(wù)有23個度量（不包含對象的任務(wù)有15個度量），因此有太多的度量無法公開顯示和比較，因此可能會使用錯誤。任務(wù)根據(jù)主題劃分為多個子組，并報告子組的結(jié)果。子組的報告結(jié)果顯示更具有針對性比完成所有任務(wù)和只報告單個任務(wù)更有效率。

2、模擬器性能示例及結(jié)論

文中應(yīng)用了兩個符合機器人性能的模擬器V-Rep和PyBullet。它們也是機器人L域常用的模擬器。運行此基線的代碼可以在基準網(wǎng)站上找到。V-Rep有一系列物理引擎，可以通過抽象層應(yīng)用，因此能夠?qū)σ韵履�擬器和物理引擎組合進行基準測試。仿真機器人操作基準通過在仿真和地面真實數(shù)據(jù)集之間繪制度量來驗證仿真環(huán)境。23個指標多面描述了現(xiàn)實差距造成的差異，并有助于對仿真環(huán)境的結(jié)果進行基準測試。該數(shù)據(jù)集提供了有價值的信息，包括6自由度姿態(tài)的運動捕捉、關(guān)節(jié)扭矩以及在機械手手腕處的力和力矩。同時比較了兩種常用的機器人模擬器V-Rep和PyBullet在一般參數(shù)設(shè)置下的性能，基于度量分析了模擬器在完成數(shù)據(jù)集任務(wù)時的精度，證明了所選度量的實用性。