Robotikte pekiştirmeli öğrenme

Ne anlama gelir?

Pekiştirmeli öğrenme (RL), ortamla etkileşim yoluyla davranış öğrenir. Etmen gözlemler alır, eylemler seçer ve ödül sinyalleri alır. Amaç, yalnızca verilen örnek eylemle eşleşmek yerine, genellikle getiri adı verilen birikimli ödülü artırmaktır. Spinning Up, politikayı etmenin eylem seçmek için kullandığı kural olarak tanımlar. [1]

Robotikte ortam simülasyon veya fiziksel dünya olabilir. Eylem, sisteme bağlı olarak eklem hedefi ya da başka bir kontrol komutu olabilir. Dolayısıyla robot politikasının girdisi, çıktısı ve eğitim hedefi, RL ile kontrol edilen robot ifadesini yorumlamak için gerekli bağlamdır. [1, 2]

İnsansı robotlarla ilişkisi

Humanoid-Gym, Isaac Gym'de hareketlilik becerileri eğitir ve fiziksel test öncesinde MuJoCo doğrulaması içerir. Makalesi, RobotEra'nın XBot-S ve XBot-L platformlarına aktarım bildirir. Sonuç, değerlendirilen hareketlilik düzeniyle ilgilidir; evde manipülasyon veya endüstriyel güvenilirlik için genel garanti değildir. [2]

Unitree'nin resmi deposu, G1, H1 ve diğer robotlar için pekiştirmeli öğrenme iş akışlarını destekler. Tasarlanan ödülleri en üst düzeye çıkarmak için eğitimi, robot politikasını çalıştırmayı, simülatörler arası testi ve fiziksel robotta uygulamayı ayrı aşamalar olarak listeler. G1 kaydı, bu resmi öğrenme deposunu içerdiği için burada bağlantı verilmiştir. [3]

Terminoloji ve değerlendirme tuzakları

Ödül, seçilmiş eğitim hedefidir. Yüksek getiri, yalnızca robot politikasının o ödül tanımına göre iyi performans gösterdiğini söyler; farklı görevde yararlılığı otomatik olarak ölçmez. Farklı deneylerin puanlarını karşılaştırmadan önce ödül formüllerini ve değerlendirme koşullarını karşılaştırın. [1]

Eğitim ve yürütme farklı aşamalardır. Robotta öğrenilmiş robot politikası bulunması, robotun çalışma sırasında bunu güncellemeyi sürdürdüğünü göstermez. Unitree, eğitimi politikanın çalıştırılmasından ve robotta uygulanmasından ayırarak bu farkı pratik bir işlem akışında gösterir. [3]

Zero-shot simülasyondan gerçeğe aktarım, belirtilen ek gerçek dünya eğitim adımı olmadan aktarımı anlatır. Sistemin hiç eğitim, mühendislik veya simülatöre özgü hazırlık görmediği anlamına gelmez. Humanoid-Gym'in bildirilen fiziksel deneyleri, simülasyon eğitiminden ve simülatörler arası doğrulamadan sonra yapılır. [2]

humanoidversus.com üzerinde nasıl yorumlanmalı?

Yapay zekâ altyapısı alanı, açıklanmış model veya denetleyici adlarını kaydeder; null, RL kullanılmadığını göstermez. Yerleşik hesaplama gücü, donanımı kaydeder ve eğitim kalitesi puanı değildir. Gerçekte neyin eğitildiğini öğrenmek için resmi depoları ve teknik makaleleri okuyun.

Bu maddede güncel tablo yoktur. Kıyaslama ölçütü sayfalarında sonuçları yalnızca aynı görev, metrik ve protokol için karşılaştırın. Robot hızı veya torku, denetleyici makalesindeki getiriyi devralmak yerine kendi ürün kaynağının koşullarıyla aktarılmalıdır. Robotta çalışan araştırma politikası, robotun ticari temin edilebilirliğini de değiştirmez.

Ek okuma

Spinning Up, etmen, politika ve getiri terminolojisini sağlar. Humanoid-Gym, insansı robot hareketlilik çerçevesini ve değerlendirme kapsamını açıklar. Unitree’nin deposu; eğitimin, simülatör kontrollerinin ve fiziksel robotta uygulamanın pratikte nasıl ayrıldığını gösterir. [1–3]