Evaluating Real-World Robot Manipulation Policies in Simulation
SIMPLER, genel amaçlı manipülasyon politikaları için simülasyona dayalı bir değerlendirme görev setidir. Yaygın gerçek robot kurulumlarını simülasyonda yeniden oluşturur (Google Robot ve Bridge kurulumundaki WidowX); yazarlar, simülasyondaki başarının gerçek dünya performansıyla ilişkili olduğunu ve dağılım değişimlerine duyarlılığı yansıttığını bildiriyor. Ortamlar ve yeni ortam oluşturma iş akışı açık kaynaklı olarak yayımlandı.
Simülasyondaki başarının bir manipülasyon politikasının gerçek dünya başarısını ne kadar iyi öngördüğünü ve politikanın görsel değişimlere ve ortam değişimlerine ne kadar duyarlı olduğunu ölçüyor. Sonuçlar iki protokol altındaki başarı oranlarıdır: görsel eşleştirme ve varyant birleştirme.
Görsel eşleştirme, simülasyondaki görünümün gerçek kurulumla eşleşmesi için gerçek kamera görüntülerini simüle edilmiş arka planların üzerine yerleştirir. Varyant birleştirme, farklı arka planlar, aydınlatma, dikkat dağıtıcı nesneler ve masa dokularına sahip simülasyon varyantları oluşturur ve sonuçların ortalamasını alır. Kod deposu 10 görev (6 Google Robot, 4 WidowX) sağlar ve RT-1, RT-1-X ve Octo gibi politikaları destekler. Ortamlar SAPIEN ve ManiSkill2 üzerine kuruludur; Bridge ortamları ManiSkill3 içine de entegre edildi.
Genel amaçlı politikaların gerçek dünya değerlendirmesi yavaştır ve yeniden üretilmesi zordur. Bu nedenle gerçek sonuçları yansıtan bir simülasyon karşılığı, politikaları sıralamak için tekrarlanabilir bir yol sağlar. Kullanılan robotlar Google Robot ve WidowX koludur; dolayısıyla insansı robotlarla ilgisi düşüktür, ancak protokol her politikaya uygulanabilir.
Puanlama
| Ölçüm | Anahtar | Birim | Yön |
|---|---|---|---|
| Success rate (visual matching and variant aggregation protocols) | success_rate | Birimsiz | Yüksek değer daha iyi ↑ |
Donanım
Katalogdan bir robot platformu ilişkilendirilmemiş.
Simüle edilmiş Google Robot ve WidowX kolu (Bridge kurulumu). İkisi de insansı robot olmadığı için robot listesinden herhangi bir robota bağlantı verilmedi.
Kaydedilen sonuçlar
Henüz sonuç dosyası yok
Kanıt
İlgili değerlendirmeler