Neyi ölçer?
Uzaktan erişime açılmış özdeş donanım üzerinde, genel amaçlı ve her görev için ayrı eğitilmiş politikaların gerçek robot görev başarı oranını ve kısmi ilerleme puanını ölçüyor.
Gerçek dünya değerlendirmesiAktifDüşük uygunluk
RoboChallenge
RoboChallenge: Large-scale Real-robot Evaluation of Embodied Policies
RoboChallenge, bedenli kontrol politikaları için çevrimiçi bir gerçek robot değerlendirme sistemidir. İlk kıyaslama ölçütü Table30, dört robot türünde (UR5, Franka Panda, Cobot Magic Aloha ve ARX-5) 30 masa üstü manipülasyon görevi içeriyor; on makine çevrimiçi erişime açık tutuluyor. Katılımcılar modellerini kendi sistemlerinde çalıştırıyor ve uygulama programlama arayüzü (API) üzerinden görev istekleri gönderiyor; bu nedenle model ağırlıkları veya konteynerler yüklenmiyor.
- İlk yayın
- 2025
- Düzenleyen kuruluşlar
- Adina Yakefu et al.
- Görevler
- 30
- Simülatör
- —
- Lisans
- —
Nasıl çalışır?
Table30, her görev için bir modelin eğitildiği göreve özgü bir düzen ve görev başına yaklaşık 50 gösterimin robot türü başına tek bir modelde birleştirildiği genel amaçlı bir düzen içeriyor. Her görevde 10 çalıştırma yapılıyor ve ilerleme puanı görev başına en fazla 100 puan oluyor. Barındırılan robotlara, “remote robot” yaklaşımında eşzamansız bir API üzerinden erişiliyor; istekler elle sıraya alınıyor ve akademik makale bekleme sürelerinin saatlerden günlere uzayabileceğini söylüyor.
Neden önemli?
Uzaktan erişime açılmış özdeş donanım üzerinde standart testler, gerçek dünya değerlendirmelerinin yeniden üretilebilirlik sorunlarını ele alıyor. Kullanılan robotlar, insansı robotlardan ziyade kollardan ve mobil çift elli bir sistemden oluşuyor; bu nedenle insansı robotlarla ilgisi dolaylıdır.
Puanlama
Ölçümler
| Ölçüm | Anahtar | Birim | Yön |
|---|---|---|---|
| Task success rate (end-to-end) | success_rate | Birimsiz | Yüksek değer daha iyi ↑ |
| Partial-progress score (up to 100 points per task) | progress_score | Birimsiz | Yüksek değer daha iyi ↑ |
Donanım
İlgili robotlar
Katalogdan bir robot platformu ilişkilendirilmemiş.
Barındırılan gerçek robotlar: UR5 (6 serbestlik dereceli tek kol), Franka Panda, Cobot Magic Aloha (hareketli platform üzerinde iki kol) ve ARX-5. Hiçbiri insansı robot olmadığı için robot listesinden herhangi bir robota bağlantı verilmedi.
Kaydedilen sonuçlar
Sonuçlar
Henüz sonuç dosyası yok
Bu kayıt değerlendirmeyi açıklar; doğrulanmış yapılandırılmış sonuç henüz eklenmemiş.
Kanıt
Kaynaklar
- [1]RoboChallenge: Large-scale Real-robot Evaluation of Embodied Policies ↗arXiv · erişim 8 Ekim 2026
- [2]RoboChallenge (arXiv HTML, v1) ↗arXiv · erişim 8 Ekim 2026
İlgili değerlendirmeler