Augmented reality 3D display and light field imaging systems based on passive optical surfaces

Bu tezde geliştirilen bir takım mikro yapılı pasif optik yüzeylerin, mobil projektörler ve kameralarla birleştirilmesiyle tasarlanan özgün ekran ve görüntüleme teknikleri sunulmaktadır. Üç farklı yeni optik yüzey geliştirilmiştir: (i) arttırılmış gerçeklik ve otomotiv sanal gösterge paneli (HUD) uygulamaları için geliştirilmiş şeffaf bir retro-reflektif yüzey olan şeffaf AR ekranı, (ii) standart bir kamera yardımıyla ışık alanını yakalanmasını sağlayan bir taşınabilir lens dizisi olan 3B görüntüleme yüzeyi (iii) iki farklı yüzeyi birleştirerek aynı yüzeyde 3B ekran ve 3B görüntüleme sağlayan bütünleşik çift amaçlı ekran. Şeffaf AR ekranı, küçük bir görüntüleme penceresinde yüksek optik kazanç sağlayarak, parlak içeriği üretmek için düşük lümenli çıkışa, örneğin kafaya monte lazer projektörlerinin kullanılmasına olanak tanımaktadır. Yüzeyin, retro-reflektif mikro kürecikler ile kısmen örtülmesi yoluyla yüksek görme oranı elde edilmiştir. Ekran yansıması ve optik kazanç, retro-reflektif dolgu faktörünün değiştirilmesi ile değiştirilebilmektedir. Bu çalışmada % 50, % 75 ve % 90 şeffaflık sağlayan ekranın üç versiyonu geliştirilmiştir. Çalışmanın ilk aşamasında şeffaf retro-reflektörlü AR ekranı, 3B görme için bir çift kafaya monteli lazer projektörüyle (piko projektörler olarak) kullanılmıştır. İki göz arasında % 1 sızıntıyla (crosstalk), 30 lümenli projektör kullanarak 1.000 cd/m2 parlaklık sağlayan bir stereoskopik görüntü elde edilmiştir. Otomotiv 3B sanal gösterge paneli uygulamaları için, benzetimi yapılmış kolimasyon koşullarını test etmek ve farklı ekran mesafelerinde sanal görüntü algısı için bir kullanıcı çalışması yapılmıştır. Kullanıcı deneyinde arka planın görülebildiği durumdaki görsel keskinlik yanıtına ve görme keskinliğinin sanal gösterge panelinin mesafesi ile Konaklama-Yakınsaklık (AC) çatışmasının miktarı arasındaki ilişki ölçülmeye çalışılmıştır. Sanal gösterge panelinin (HUD) sürücü / kullanıcı ile gerçek sahne arasına yerleştirildiğinde görme keskinliğinin hafifçe düştüğünü (20/20'dan 20/25'e) gösterilmiştir. Benzetimi yapılan kolimasyon koşulları için, AC çatışması miktarı ile görme keskinliği arasında ters bir ilişki gözlenmiş olup AC çatışması 0,87 diopterden daha az olduğunda veya ekran mesafesi> 100 cm olduğunda görme keskinliği ve izleme konforunda minimum etkisi olduğu gözlenmiştir. 3B görüntüleme yüzeyi, sıradan bir kamerayı farklı açılardan görüntüleri bir seferde kaydedebilen ışıksal-alan tabanlı 3B kamera sistemine dönüştürmektedir. 3B görüntüleme yüzeyi üzerinde bulunan takip etiketleri ve lens dizisi sayesinde ortamın farklı açılardan 3 boyutlu görüntüsünü sunmaktadır. Sıradan bir kamera ile 3B görüntüleme yüzeyinin fotoğrafı çekildiğinde 3B görüntüleme yüzeyinin üzerinde ortamın farklı açılardan görüntüleri kaydedilebilmektedir. 3B görüntüleme yüzeyinin çekilen kamera görüntüsündeki pozisyonu 4 köşesinde bulunan etiketler sayesinde bulunabilmektedir. Gerçek zamanlı bir şekilde ortamın ışıksal-alan kaydını yapan bir hesaplamalı görüntüleme aracı geliştirdik ve görüntüleme yüzeyi ile dijital olarak çekimden sonra çekilen görüntünün odağını değiştirebildiğimizi ve görüntü içerisindeki kısmi perdelenme problemlerini çözebildiğimizi gösterdik. Son olarak, aynı anda hem 3B ekran olarak kullanılabilen hem de üzerindeki yansımalardan ortamın görüntüsü kaydedilebilen yeni çok amaçlı entegre ekran oluşturduk. Ekranın üst katmanı 3B ekran olarak kullanmak için özel yerleştirilmiş retro-yansıtıcılardan, alt katmanı ise 3B görüntüleme için konveks lens dizininden oluşmaktadır. İki katman arasına yerleştirilen polarize ara yüz sayesinde ekrana yansıtılan görüntü ve ekran üzerinden kaydedilen görüntü ayrıştırılabilmektedir ve böylelikle geliştirilen çok amaçlı entegre ekran aynı anda hem ekran hem görüntüleme sistemi olarak kullanılabilmektedir. Sistemin çalıştığı, "Telepresence" (karşılıklı kişilere aynı anda 3boyutlu görüntünün ve sesin aktarıldığı iletişim sistemi) uygulaması gerçekleştirilerek gösterildi. Telepresence uygulamasında bir kullanıcı (kullanıcı A) geliştirdiğimiz çok amaçlı entegre ekranı kullanırken diğer bir kullanıcı (kullanıcı B) sanal gerçeklik başlığını kullanarak birbiriyle iletişime geçti. Böylelikle kullanıcı B, kullanıcı A'yı istediği bir açıdan 3 boyutlu olarak görebilmekte ve iletişime geçebilmektedir. Geliştirilen entegre ekranın, görüntüleme ve ekran karakteristikleri incelendi. Mobil telepresence uygulamaları arttırılmış gerçeklik (AR) ve sanal gerçeklik (VR) başlıkları ile mümkün değil iken bizim geliştirdiğimiz çok amaçlı entegre ekran sayesinde mümkün olmaktadır ve geliştirilen ekran telepresence ile iletişimin geleceği olmaya en önemli adaydır.