Neyi ölçer?
Genel amaçlı politikaların birçok sahne ve görev talimatı genelindeki göreli gerçek dünya performansını ölçüyor; sıralama, sabit bir görev listesi yerine ikili tercihlere dayanıyor.
Gerçek dünya değerlendirmesiAktifDüşük uygunluk
RoboArena
RoboArena: Distributed Real-World Evaluation of Generalist Robot Policies
RoboArena, genel amaçlı robot politikalarının gerçek dünyada değerlendirilmesine yönelik dağıtık bir çerçevedir. Yedi akademik kurumdaki değerlendiriciler, kendi sahnelerinde ve kendi görevleriyle DROID platformu üzerinde, politikaların adlarının gizlendiği ikili karşılaştırmalar yapar; tercihler küresel bir sıralamada birleştirilir. Akademik makale, yedi genel amaçlı politika genelinde 612 ikili karşılaştırma bildiriyor.
- İlk yayın
- 2025
- Düzenleyen kuruluşlar
- Pranav Atreya et al.
- Görevler
- —
- Simülatör
- —
- Lisans
- —
Nasıl çalışır?
Değerlendiriciler görevleri ve sahneleri seçer, iki politika arasında çift kör karşılaştırmalar yapar ve tercihlerini kısa bir yazılı açıklamayla kaydeder. EM algoritmasıyla uyarlanan, görevi dikkate alan bir Bradley-Terry modeli, bu tercihleri küresel bir sıralamaya ve her politikanın güçlü ve zayıf yönlerine dönüştürür. Akademik makale, referans olarak kullanılan kapsamlı değerlendirmeler dahil toplam 4,284 değerlendirme bölümü bildiriyor ve yüksek kaliteli sıralamalar için yaklaşık 100 ikili karşılaştırmanın yeterli olduğunu belirtiyor.
Neden önemli?
Gerçek dünya testleri, politika kalitesinin temel doğrulama kaynağıdır; ancak tek laboratuvarda ve sabit görevlerle yapılan değerlendirmeler dar kapsamlı ve maliyetlidir. RoboArena, insansı robotlar dahil başka platformlara genişletilebilecek dağıtık bir protokol gösteriyor; ancak akademik makaledeki değerlendirmelerde tek bir Franka kolu kullanılıyor.
Puanlama
Ölçümler
| Ölçüm | Anahtar | Birim | Yön |
|---|---|---|---|
| Policy ranking score (task-aware Bradley-Terry strength) | ranking_score | Birimsiz | Yüksek değer daha iyi ↑ |
Donanım
İlgili robotlar
Katalogdan bir robot platformu ilişkilendirilmemiş.
Yedi akademik kurumda DROID platformunda gerçek robot değerlendirmeleri: Robotiq 2F-85 tutucusu ve ZED stereo kameraları bulunan, 7 serbestlik dereceli Franka Panda. İnsansı robot kullanılmadığı için robot listesinden herhangi bir robota bağlantı verilmedi.
Kaydedilen sonuçlar
Sonuçlar
Henüz sonuç dosyası yok
Bu kayıt değerlendirmeyi açıklar; doğrulanmış yapılandırılmış sonuç henüz eklenmemiş.
Kanıt
Kaynaklar
- [1]RoboArena: Distributed Real-World Evaluation of Generalist Robot Policies ↗arXiv · erişim 8 Ekim 2026
- [2]RoboArena (arXiv HTML, v2) ↗arXiv · erişim 8 Ekim 2026
İlgili değerlendirmeler