BEHAVIOR-1K: A Human-Centered, Embodied AI Benchmark with 1,000 Everyday Activities and Realistic Simulation
BEHAVIOR-1K, OmniGibson simülatöründe 50 etkileşimli sahne ve 9,000+ açıklamalı nesneyle oluşturulan, günlük hayattaki 1,000 ev işini kapsayan bir simülasyon kıyaslama ölçütüdür (proje sitesi 10,000+ nesne belirtiyor). BEHAVIOR Challenge, bu işlerin alt kümelerinde yarışmalar düzenliyor: NeurIPS 2025 kapsamında 50 görev ve başvuruların 2026-10-16 tarihine kadar açık olduğu 2026 etkinliğinde 100 görev. Kıyaslama ölçütünün ön sürümü CoRL 2022 kapsamında yayımlandı.
Bir robotun gerçekçi simülasyonda uzun eylem dizileri gerektiren ev işlerini baştan sona tamamlayıp tamamlayamadığını ölçüyor. Yarışmaya gönderilen çalışmalar kısmi puanla değerlendiriliyor: bir bölümün sonunda sağlanan BDDL hedef koşullarının oranı hesaplanıp görevler genelinde ortalaması alınıyor.
Faaliyetler BDDL hedef koşulları olarak tanımlanıyor ve rijit, şekil değiştirebilen ve sıvı nesneleri simüle eden OmniGibson içinde yürütülüyor. 2025 yarışması, 50 görev için teleoperasyonla (uzaktan kumandayla) kaydedilmiş yaklaşık 10,000 uzman gösterimi (1,200+ saat) sağladı; 2026 etkinliğinin gösterimleri, bütün gövde teleoperasyon arayüzü JoyLo ile toplandı. Standart kategori RGB, derinlik, segmentasyon ve öz algılamaya; ayrıcalıklı kategori ise simülatör sorgularına izin veriyor. Görevler genelinde ortalaması alınan başarı puanı olan Q-score, gönderimleri sıralıyor.
Ev işleri, mobil manipülatörlerin ve insansı robotların başlıca hedeflerinden biridir. Yarışma robotu R1 Pro, gövdesi ve iki kolu bulunan mobil bir tabana sahip olduğundan görevleri bütün gövdenin kullanıldığı çift elli ev işlerini test ediyor; ancak kıyaslama ölçütünün kendisi insansı robotlara özgü değildir.
Puanlama
| Ölçüm | Anahtar | Birim | Yön |
|---|---|---|---|
| Q-score (partial-credit task success, averaged across tasks) | q_score | Birimsiz | Yüksek değer daha iyi ↑ |
| Full task success rate | success_rate | Birimsiz | Yüksek değer daha iyi ↑ |
Donanım
Yarışma robotu, simüle edilmiş Galaxea R1 Pro modelidir (OmniGibson içindeki “r1pro” yapılandırması): gövdesi ve iki kolu bulunan tekerlekli bir tabana sahiptir; 2025 değerlendirmesinde varsayılan eklem eylem uzayı 23 boyutludur. 2026 için de varsayılan robot R1 Pro; ancak katılımcılar OmniGibson tarafından desteklenen başka robotları da sağlayabilir. BEHAVIOR-1K akademik makalesinin simülasyondan gerçeğe aktarım çalışmasında, adı belirtilmeyen bir mobil manipülatör kullanılıyor.
Zaman çizelgesi
2025
7 Aralık 2025 · NeurIPS 2025, Convention Center (in person) and remote
Embodied Agent Interface Competition ile ortak düzenlenen Foundation Models Meet Embodied Agents Challenge @ NeurIPS 2025. 50 görev, Standart ve Ayrıcalıklı kategoriler, Q-score sıralaması. Arşivlenmiş sıralama tablosunda hâlâ “Provisional” başlığı bulunuyor; ancak arşiv dizini tablonun resmen yayımlandığını belirtiyor ve kazananları tebrik ediyor. 2026-10-08 itibarıyla bunun yerine geçecek bir nihai tablo yayımlanmamıştı.
Sıradaki: 2026
16 Ekim 2026
Şu anda açık: başlangıç 2026-07-02; son gönderim tarihi 2026-10-16; kazananların açıklanması 2026-11-04. Baştan sona yürütülen 100 ev görevi, BDDL kısmi puanlamasıyla ortalama görev başarı puanına göre sıralanıyor. Ödül havuzu USD 11,000. Sıralama tablosu Hugging Face üzerinde.
Kaydedilen sonuçlar
Sürüm 2025 · 7 Aralık 2025
Değerler, düzenleyicinin arşivlenmiş sıralama tablosunda kalın yazıyla gösterilen test seti puanlarıdır. Sayfada hâlâ “Provisional 2025 Challenge Leaderboard” başlığı bulunuyor; ancak arşiv dizini, sıralama tablosunun resmen yayımlandığını belirtiyor ve kazananları tebrik ediyor. 2026-10-08 itibarıyla bunun yerine geçecek bir nihai tablo yayımlanmamıştı. Yalnızca tüm puanları bulunan beş satır dahil edildi. 6 ile 18 arasındaki satırlarda iki değerden oluşan belirsiz kayıtlar bulunduğundan bunlar dışarıda bırakıldı. Yöntem adları listelenmediği için policy alanı null. 2025 değerlendirme sayfası, üretici adı vermeden “r1pro” yapılandırmasına atıfta bulunuyor; R1 Pro, robot listesindeki galaxea-r1 kısa adıyla eşleştirildi.
| Sıra | Robot / kontrol politikası | Takım | Otonomi | Q-score (test set) | Full task success rate (test set) (fraction) | Notlar | Kaynaklar |
|---|---|---|---|---|---|---|---|
| 1 | Galaxea R1 | Robot Learning Collective (Independent) | Bilinmiyor | 0,26 | 0,124 fraction | Standart kategori. Herkese açık veri setinde Q 0.2605, başarı 0.1120. Listelenen en son gönderim 2025-11-14. | [1][2] |
| 2 | Galaxea R1 | Comet (NVIDIA Research) | Bilinmiyor | 0,251 | 0,114 fraction | Standart kategori. Herkese açık veri setinde Q 0.1830, başarı 0.1440. Gönderim tarihi 2025-11-17. | [1][2] |
| 3 | Galaxea R1 | SimpleAI Robot (Beijing Simple AI Technology Co Ltd) | Bilinmiyor | 0,159 | 0,108 fraction | Standart kategori. Herkese açık veri setinde Q 0.1943, başarı 0.1400. Gönderim tarihi 2025-11-17. | [1][2] |
| 4 | Galaxea R1 | The North Star (Huawei CRI EAI Team) | Bilinmiyor | 0,12 | 0,076 fraction | Standart kategori. Herkese açık veri setinde Q 0.1702, başarı 0.1280. Gönderim tarihi 2025-11-16. | [1][2] |
| 5 | Galaxea R1 | Embodied Intelligence (Independent) | Bilinmiyor | 0,095 | 0,052 fraction | Ayrıcalıklı kategori. Herkese açık veri setinde Q 0.1110, başarı 0.0620. Gönderim tarihi 2025-11-17. | [1][2] |
Kanıt
İlgili değerlendirmeler