ile işbirliğimizi duyuruyoruz. Intrinsic.ai endüstriyel robotik görevleri için öğrenme temel beceri modelleri üzerine.
Robotları bu görevler için programlamak hala zor olduğundan, endüstriyel üretimdeki pek çok alma ve yerleştirme problemi hala insan operatörler tarafından tamamlanmaktadır. Örneğin, bir makine bakım ortamında, karmaşık çok adımlı parça üretim sürecinin bir parçası olarak işbirlikçi bir robot, ham madde parçalarını bir depodan almak ve bunları bir CNC veya bükme makinesine beslemek için kullanılabilir.
Bu tür robotlar aşağıdakilerle programlanabilir: vakıf modelleriNesne parçaları, robot düzenlemeleri ve gerçek dünyadaki endüstriyel ortamlar açısından önemli değişkenliğe genelleme potansiyeline sahip olan.
Kavrama pozları ve robot hareketleri oluşturmak, bunları önce bir NVIDIA Isaac Sim simülasyonunda değerlendirmek ve ardından bunları gerçek dünyada uygulamak için NVIDIA Isaac Manipulator'ı kullanan bir iş akışı sunuyoruz. İçsel Akış Durumu.
Algılama aynı zamanda karmaşık sahnedeki kavranabilir nesnelerin konumlarını ve yönelimlerini elde etmek için nesne poz tahmin paketini kullandığımız Flowstate aracılığıyla da yapılır.
Bu yazı için sistemi zorlu bir akıllı al ve yerleştir uygulaması üzerinde gösteriyoruz: Dağınık bir çöp kutusundaki metalik parçaları yakalayan ve bunları hassas yerleştirme pozlarında ayıran bir robot. Bu ince metal levha nesnelerin algılanması zordur çünkü emtia derinlik kameraları aynasal yüzeylerle uğraşmaktadır. Ayrıca kavramak için parmaklardan ziyade emme kıskaçlarına ihtiyaç duyulduğundan manipüle edilmeleri de zordur.
Kavrama ve hareket oluşturma için Isaac Manipulator
Üretmek sentetik veriler Vakumlu kavrama için sac metallerin CAD modellerini ve emme tutucuyu kullandık. İçinde simülasyonher nesne için binlerce kavrama deneyebilir ve en iyilerini bulabiliriz.
İyi emme kavramalarının kapatılması ve metal levhalarda mevcut deliklerden kaçınılması gerekir. Ayrıca simülasyonda da sağladığımız gibi taşıma sırasında metal levhanın sallanmasını önlemek istiyoruz.
Yoğun bir kavrama pozları seti oluşturduktan sonra bunları nesne poz bilgisini kullanarak robot çerçevesine dönüştürdük. Robotu bu hedef kavrama pozlarından birine ulaşmak üzere hareket ettirmek için çarpışmasız bir yörünge oluşturmak amacıyla CUDA ile hızlandırılmış bir hareket oluşturma kütüphanesi olan NVIDIA cuMotion'u (cuRobo tarafından desteklenmektedir) kullandık.
Bu pozlardan bazılarına kinematik olarak ulaşılamayabilir veya çarpışma halinde olabilir; bunların her ikisi de yörünge planlanırken cuRobo tarafından filtrelenir. Referans olarak cuRobo, NVIDIA RTX 4090'da 30 ms içinde hareket planları oluşturabilir.
Isaac Sim'de değerlendirme
Boru hattımızı ilk olarak Isaac Sim'de değerlendirdik. Simüle edilen robot, emme tutucusu ile donatılmış özel Kuka K10 manipülatör kolunun CAD dosyasından türetilmiştir. Nesneler, gerçek dünyadaki bir çöp toplama senaryosunu simüle etmek için rastgele konumlandırılır.
Nesne dedektörü yerine nesnenin poz bilgisi doğrudan simülatörden alınır. Nesne türü hakkında temel bilgilerden yararlandık ve nesnenin ilk pozu göz önüne alındığında en uygun ulaşılabilir kavramayı belirledik.
İçsel Flowstate ile gerçek dünyada uygulama
İş akışımız doğrudan simülasyondan gerçek dünyadaki çalışma hücresine aktarıldı. Gerçek donanım kurulumu, harici olarak kalibre edilmiş bir tepegöz çoklu kamera sisteminden ve bir emme tutucusu ile donatılmış bir Kuka K10 manipülatör kolundan oluşur.
Yerel nesne poz tahmin paketini şu şekilde kullandık: İçsel Akış Durumu Sac levha nesnelerinin konumlarını algılamak için. Daha sonra nesnelerin kavrama konumlarını hesaplamak ve uygulama için çarpışmasız bir yörünge planlamak için Isaac Manipulator'ı kullandık.
Son olarak, bu robot yörüngesini robot kolu üzerinde konum kontrolörü aracılığıyla gerçekleştirdik. Akış durumu. Genel olarak demoda seçim başına yaklaşık 8 saniyelik bir döngü süresi elde ettik.
İleriye bakmak
Çerçevemizi, makine bakımı gibi daha gelişmiş akıllı alma ve yerleştirme biçimlerine genişletmeyi planlıyoruz. Bu örnekte, robotun, bir makine tarafından daha sonra işlenmek üzere kavranan nesneyi tam olarak bir konuma veya sabit noktaya yerleştirmesi gerekecektir.
Daha fazla bilgi için Isaac Manipulator'a ve Intrinsic'in duyurusuna bakın, Yapay zeka ile endüstriyel otomasyonda yeni değerlerin kilidini açmak.