Yapay Zeka Kullanarak Daha Küçük, Daha Hafif Genişletilmiş Gerçeklik Gözlükleri Geliştirme
Günümüzün sürükleyici genişletilmiş gerçeklik (XR) cihazları, ağır optiklerin ve ekranların kafa bantlarıyla sabitlenmesini gerektiriyor; bu da hacim kazandıran ve sosyal bir bariyer oluşturan bir gereklilik. Öngörülen gelecekte kafa bantlarına gerek kalmayacak. Geçtiğimiz birkaç yılda NVIDIA Araştırması, Profesör Gordon Wetzstein yönetimindeki Stanford'daki Hesaplamalı Görüntüleme Grubu ile işbirliği içinde daha küçük ve daha hafif XR gözlüklerin nasıl geliştirilebileceğini araştırıyor.
XR gözlüklerin optik tasarımında en önemli kural ekranın yakın olması, görüntünün ise uzak görünmesidir. Ekran gözlerden uzaklaştıkça ağırlık merkezi de kayıyor ve kompakt ve hafif bir tasarım için ekranın kullanıcının yüzüne yakın konumlandırılması gerekiyor.
Ancak insan gözü çok yakın bir ekranı düzgün bir şekilde algılayamaz, bu nedenle görüntüyü rahat bir izleme mesafesine aktarmak için lensler gibi optik sistemlerin kullanılması gerekir. Bu sistemin etkili olabilmesi için ekranın merceğin odak uzaklığına yakın konumlandırılması gerekir; bu da paradoksal olarak ekranın daha uzağa yerleştirilmesini gerektirir (Şekil 1).
Çözümlerden biri, katlanmış bir optik yol kullanan yassı lenstir. Ancak bu yaklaşım, sapmalar ve ilave ağırlık gibi yeni sorunları da beraberinde getirmektedir. Optik dalga kılavuzları da sıklıkla kompakt XR gözlükler elde etmek için kullanılır, ancak sınırlı görüş açıları ve sonsuza sabit odaklanma gibi kendi zorluklarını da beraberinde getirirler.
XR için holografik gözlükler
Holografik yakın göz ekranları, bu sınırlamaların üstesinden gelebilecek bir teknoloji olarak dikkat çekiyor. Yeni ekran öğesi Uzamsal Işık Modülatörü (SLM), ışığın yoğunluğunu değil fazını yöneterek SLM'nin önünde veya arkasında 3D hologramların yeniden oluşturulmasına olanak tanır. Bu özelliği kullanarak, ekran merceğe çok yakın olsa bile 3 boyutlu görüntüler merceğin odak uzaklığına yakın bir yere konumlandırılabilir.
Bu prensibi kullanan ekibimiz, sanal gerçeklik (VR) için yalnızca 2,5 mm kalınlığındaki holografik gözlükleri (Şekil 2) tanıttı. Sanal Gerçeklik için Holografik Gözlükler. Dalga kılavuzları, holografik yakın göz ekranları ve geometrik faz lensleri sayesinde VR gözlükleri, boş alan yayılımı olmadan minimum kalınlıkta üretilebilir. Ekip, test için tezgah üstü ve giyilebilir prototipler uyguladı.
Binoküler giyilebilir prototipimiz 3 boyutlu odak ipuçlarını destekliyordu. 2,3 mm statik göz kutusuyla 22,8 derecelik diyagonal görüş alanı ve sürücü panosu hariç yalnızca 60 g ağırlığında olmasına rağmen ışın yönlendirmeli dinamik göz kutusu ek yetenekleri sağladı. Kullanıcının gözbebeğini doğal bir Fourier filtresi olarak kullanan bir fikirle, ilk kez gerçek bir gözlük biçim faktörlü holografik VR sunuldu.
Günlük Doğa yakın zamanda bir çalışmaya yer verildi, Metasurface Dalga Kılavuzlarına Sahip Tam Renkli 3D Holografik Artırılmış Gerçeklik Ekranları. Bu araştırma, ters tasarlanmış tam renkli meta yüzey ızgaralarını, kompakt dağılım telafi edici dalga kılavuzu geometrilerini ve yapay zeka destekli holografi algoritmalarını birleştiren benzersiz holografik artırılmış gerçeklik (AR) gözlüklerini tanıtıyor.
Önceki çalışmalarımıza benzer bir yaklaşım kullanan bu araştırma, mercekleri optik yoldan çıkarıyor ve tam renkli metayüzey ızgaralarını iç kuplörler ve dış kuplörler olarak stratejik olarak kullanıyor. Şekil 3'te gösterildiği gibi, geleneksel AR gözlükleri, tipik olarak en az projeksiyon merceğinin odak uzaklığı kadar kalın olan projektör tabanlı bir ışık motoru gerektiren, organik ışık yayan diyotlar veya mikro ışık yayan diyotlar gibi genlik SLM'lerini kullanır. .
Holografik AR gözlüklerimizin tasarımı, bağlantı ızgarasının çok yakınına monte edilebilen, yalnızca fazlı bir SLM kullanır ve böylece cihazın form faktörünü en aza indirir. Geleneksel AR gözlüklerinin aksine holografik tasarımımız, sanal içerik için tam 3D derinlik ipuçları sağlayabilir. Şekil 4, kompakt holografik ekran prototipimiz aracılığıyla elde edilen deneysel sonuçları göstermektedir. Bu yenilikçi çalışma, tam renkli 3D holografiyi mükemmel şekilde şeffaf bir gözlük yapısında başarıyla uygulayan ilk çalışmadır.
Tasarımımızın bir diğer önemli özelliği, daha önce tanıtılan kompakt ve hafif holografik XR gözlüklerin kullanımına olanak tanıyan yapay zeka destekli holografi algoritmasının kullanılmasıdır. SLM'ler, lazerler gibi tutarlı ışık kaynakları tarafından çalıştırılır; burada bir dalga kılavuzu sistemindeki tutarlı dalga cephelerinin hassas manipülasyonu, holografik görüntüler için çok önemlidir, ancak tutarlı ışığın müdahaleci doğası nedeniyle çok zordur. Bu zorluğun üstesinden gelmek için, fiziksel olarak doğru modelleme teknikleri ve yapay zekanın bir kombinasyonunu kullanarak tutarlı dalgaların bir dalga kılavuzunda yayılmasını açıklayan bir matematiksel model geliştirdik.
Şekil 5'te gösterildiği gibi, dalga kılavuzunun fiziksel yönleri (yeşil renkle vurgulanmıştır), kamera geri bildiriminden öğrenilen (turuncu renkle vurgulanmıştır) yapay zeka bileşenleriyle birleştirilmiştir. Modelimizde, giriş fazı modeli (solda), dalga cephesi öğrenilen kuplör içi verimlilik tarafından modüle edilmeden önce, yakınsak aydınlatmaya 0'dan 2π'ye kadar piksel başına bir faz gecikmesi uygular. Bu bağlamda verimliliğin meta yüzeyleri karakterize eden fiziksel miktara atıfta bulunduğunu unutmayın.
Bu dalga cephesi daha sonra iç kuplör düzlemindeki bir CNN aracılığıyla gönderilir ve fiziksel olarak motive edilen transfer fonksiyonunu kullanarak, dış kuplajlı dalga cephesini (merkez) belirlemek için ek bir öğrenilmiş dış kuplör verimliliği kullanılmadan önce dalga kılavuzu boyunca yayılır. İkincisi, bir CNN'nin uygulandığı kullanıcıdan çeşitli mesafelerdeki hedef sahneye yayılır ve karmaşık değerli alanı gözlemlenen yoğunluklara dönüştürür (sağda).
Yakalanan bir veri seti üzerinde eğitim verildiğinde, CNN'lerin öğrenilen parametreleri, bağlayıcı verimlilikleri ve dalga kılavuzu yayılımı, bu modelin holografik AR gözlüklerimizin çıktısını doğru bir şekilde tahmin etmesini sağlar. Model tamamen farklılaştırılabilir ve bilgisayar tarafından oluşturulan basit gradyan inişli holografi algoritmalarının çalışma zamanında bir hedef sahne için faz modelini hesaplamasına olanak tanır.
Bu model, kamera geri bildiriminden otomatik olarak öğrenilebilen sinir ağı bileşenleri tarafından parametrelendirilebilir. Gerçek holografik ekranlarda, dalga boyu ölçeğindeki yanlış hizalamalar bile görüntü kalitesinde önemli bozulmalara neden olabilir ve özellikle dalga kılavuzları gibi karmaşık yapılarda yapay zeka odaklı kalibrasyonu zorunlu hale getirebilir. Önerilen dalga yayılma modeli, fiziksel optiği doğru bir şekilde temsil ederek, alternatif modellere göre görüntü kalitesini önemli ölçüde artırır (Şekil 2 ve 4).
Özet
Bir zamanlar imkansız olduğu düşünülen yapay zeka, pratik holografik görüntüleri mümkün hale getirdi ve odak ipuçlarını destekleyen 3D XR gözlüklerin oluşturulmasını mümkün kıldı. Bu araştırma alanı, ekranlarda yapay zeka için yeni olanaklar sunuyor. Yapay zeka halihazırda içerik oluşturma ve insan-bilgisayar etkileşiminde kullanılıyor olsa da ekranların boyutunu ve ağırlığını da önemli ölçüde azaltabilir. Bu, geleneksel beklentileri aşan gerçekten çığır açıcı bir başarıyı temsil ediyor. Bu yenilikler aynı zamanda, başlangıcından bu yana hakim olan geleneksel 2D dikdörtgen ekranların ötesinde, yeni ekran form faktörleri potansiyeli de vaat ediyor.
Daha fazlasını öğrenmek için bkz. Metasurface Dalga Kılavuzlarına Sahip Holografik Yapay Zeka Gözlükleri.
