YouTube'un robot bilimi fenomeni Dave Niewinski, sürülebilir La-Z-Boy sandalyelerden yapay zeka destekli mısır deliği atıcısına ve atlı araba yarışına kadar her şey için robotlar geliştirdi.
Onun son zamanlarda İnteraktif Animatronik GLaDOS proje dokuz kazanan arasında yer aldı Hackster Yapay Zeka İnovasyon Yarışması. Yaklaşık 100 yarışmacı, uç bilişim, robotik ve IoT'de yapay zeka kullanımını ilerletmek için açık kaynaklı projeler oluşturarak NVIDIA ve Sparkfun'dan ödüller almak için yarıştı.
Niewinski, oyun serisindeki GLaDOS kılavuzunu temel alan yenilikçi robotu ile üretken yapay zeka uygulamaları kategorisinde birincilik kazandı Portalvideo oyunu geliştiricisi Valve'ın birinci şahıs bulmaca platformu.
Diğer kazananlar arasında sırasıyla uç için üretken yapay zeka modellerinde ve uç uygulamalarda yapay zeka kategorilerinde birincilik ödülü alan yarışmacılar Andrei Ciobanu ve Allen Tao yer aldı. Ciobanu, kıyafetleri sanal olarak denemeye yardımcı olmak için üretken yapay zekayı kullanırken Tao, bir şeyler bulmaya yardımcı olmak için evin içini haritalandıracak ROS tabanlı bir robot geliştirdi.
Robotlar için Yüksek Lisans Programlarından Yararlanma
Niewinski, robot bilimi için özel uygulamalar geliştiriyor Cephanelik Laboratuvarları Waterloo, Ontario, Kanada'da iş yapıyor ve burada uç yapay zeka ve robot bilimi için NVIDIA Jetson platformunu kullanıyor, açık kaynaklı eğitimler oluşturuyor ve Youtube videoları deneyimlerini takip ediyor.
Laboratuvarda kendisine kişisel bir asistan yaratmak için etkileşimli GLaDOS robotunu yaptı. Transformer tabanlı konuşma tanıma, metinden konuşmaya ve yerleşik olarak çalışan büyük dil modellerini (LLM'ler) kullanarak sorguları yönetir. NVIDIA Jetson AGX OrinEtkileşimler için bir robot kolu ve kamerayla arayüz oluşturan.
GLaDOS onun laboratuvarda nerede olduğunu takip edebiliyor, onunla yüzleşmek için farklı yönlere hareket edebiliyor ve sorulara hızla yanıt verebiliyor.
“İnsanların bakıp hemen bekledikleri gibi olmadığını söyleyecekleri robotlarla şeyler yapmayı seviyorum” dedi.
Asistanın orijinal GLaDOS gibi ses çıkarmasını istiyordu. Portal ve hızlı bir şekilde yanıt verin. Neyse ki oyun şirketi Valve, tüm ses hatlarını Portal Ve Portal 2 Web sitesinde, Niewinski'nin bir modeli eğitmeye yardımcı olacak sesi indirmesine izin veriliyor.
“Jetson'u kullandığınızda ortalama soru-cevap işlemleriniz konuşma açısından oldukça hızlı gerçekleşiyor” dedi.
Niewinski NVIDIA'nın açık kaynağını kullandı NeMo GLaDOS için bir sese ince ayar yapmak için kullanılan araç seti, adı verilen bir spektrogram oluşturucu ağını eğitiyor FastPitch Ve HiFiGAN Ses kalitesini iyileştirmek için ses kodlayıcı ağı.
Her iki ağ da Orin'de konuşlandırılmıştır. NVIDIA Riva Gerçek zamanlı konuşma hızının birçok katı hızda çalışacak şekilde optimize edilmiş konuşma tanıma ve sentezini mümkün kılmak, böylece pürüzsüz, etkileşimli bir sunumu korurken LLM ile birlikte çalışabilmesini sağlamak.
GLaDOS'tan gerçekçi yanıtlar oluşturmak için Niewinski, Docker'da çalıştırdığı, OpenChat adlı yerel olarak barındırılan bir LLM'yi kullanıyor. jetson-konteynerler, bunun OpenAI'nin API'sinin yerine geçebilecek bir alternatif olduğunu söylüyor. Tüm bu yapay zeka üzerinde çalışıyor Jetson CUDA ile oluşturulmuş en son açık kaynaklı makine öğrenimi yazılım yığınını kullanan modül ve Jet Paketi.
GLaDOS'un hareket etmesini sağlamak için Niewinski, Unitree Z1 robotik koluna yönelik etkileşimleri geliştirdi. Bir stereo kamera ve konuşan bir insanı görmek ve takip etmek için modeller ve kolun etrafında 3D baskılı GLaDOS kafası ve vücut kabuğu var.
Fashion Fit için Üretken Yapay Zekayı Denemek
Romanya merkezli kazanan Ciobanu, üretken yapay zekanın yardımıyla sanal giysi deneme deneyimini geliştirmeyi hedefleyerek, projesiyle büyük ödülü aldı. EdgeStyle: Kenarda Moda Önizlemesi.
Görüntülerden ve videolardan veri çıkarmak ve iyileştirmek için YOLOv5, SAM ve OpenPose gibi yapay zeka modellerini kullandı. Daha sonra görüntüleri oluşturmak için Stabil Difüzyon'u kullandı ve bunun doğru sanal denemeler elde etmenin anahtarı olduğunu söyledi.
Bu sistem, modele, kıyafetlerin insanlarda farklı pozlara nasıl uyduğunu öğretti ve bunun, denemelerin gerçekçiliğini artırdığını söyledi.
Ciobanu, “Kullanıcıların kıyafetleri denemeden kıyafetlerin üzerinde nasıl görüneceğini görmelerine olanak tanıdığı için oldukça kullanışlı” dedi.
NVIDIA JetPack SDK'nın, AI modellerini Jetson Orin'de sorunsuz bir şekilde çalıştırmak için gereken tüm araçları sağladığını söyledi.
Ciobanu, “Özellikle sürekli değişen yapay zeka teknolojisiyle uğraşırken istikrarlı bir araç setine sahip olmak son derece yararlı” dedi. “Bu, biz geliştiricilerin zamanını ve zahmetini gerçekten azalttı ve teknik sorunlara takılıp kalmak yerine, geliştirdiğimiz harika şeylere daha fazla odaklanmamızı sağladı.”
Kayıp Eşyaları Robot Yardımıyla Bulma
Merkezi Ontario, Kanada'da bulunan Winner Tao, evde kaybolan eşyaları arama yükünü hafifletmek için bir robot yarattı. Onun Bir Eşyaya Göz Atmak projesi Hackster yarışmasında en yüksek dereceyi aldı.
Tao, “Kayıp nesneleri bulmak bir angaryadır ve sıfır atışlı nesne algılama ve LLM'lerdeki son gelişmeler, bir bilgisayarın metinsel veya resimli açıklamalara dayalı olarak bizim için rastgele nesneleri algılamasını mümkün kılarak otomasyon için bir fırsat sunuyor” dedi.
Tao, ister oturma odası ister büyük depo olsun, herhangi bir yapılandırılmamış ortamdaki nesneleri kataloglamak için robot bilişim yeteneklerine ihtiyacı olduğunu söyledi. Ayrıca navigasyona yardımcı olacak yerelleştirme için gerçek zamanlı hesaplamalar gerçekleştirmenin yanı sıra daha büyük nesne algılama modellerinde çıkarımlar yapmasına da ihtiyacı vardı.
“Jetson Orin mükemmel bir seçimdi; metin ve resim sorgularından NanoDBgerçek zamanlı kilometre ölçümü geri bildirimine, bunlardan yararlanma da dahil Isaac ROS'Sürüklenme düzeltmesi için donanım hızlandırmalı AprilTag tespitleri' dedi.
Diğer kazananlar Yapay Zeka İnovasyon Mücadelesi kapsamında şunlar yer alıyor:
- George Profenza, Yürüyen Merdiven İnsan Takipçisi, 2. sıra, Üretken Yapay Zeka Uygulamaları kategorisi
- Dimiter Kendri, Jetson AGX Orin'i kullanarak yerel bir yapay zeka asistanıyla yemek pişirme, 3. sıra, Üretken Yapay Zeka Uygulamaları kategorisi
- Vy Phan, Üretken Yapay Zeka ile ClearWaters Sualtı Görüntü İyileştirme, 2. sıra, Üretken Yapay Zeka Modelleri kategorisi
- Huy Mai, Jetson Orin'de Gerçek Zamanlı Dil Segmenti Her Şey, 2. sıra, Üretken Yapay Zeka Modelleri kategorisi
- Fakhrur Razi, Otonom Akıllı Robotik Alışveriş Sepeti, 2. sıra, Edge Open kategorisinde yapay zeka
- Team Kinetika, TensorRT ile Denetim ve Kalite Kontrol için Sayım, Edge Open kategorisinde yapay zeka ile 3. sıra
Hakkında daha fazla öğren NVIDIA Jetson Orin robotik ve uç yapay zeka uygulamaları için. Kendi projelerinizi oluşturmaya başlayın Jetson Yapay Zeka Laboratuvarı.
