3D shape generation and manipulation

Bilgisayar grafikleri, 3B bilgisayarlı görü ve robotik komüniteleri 3B şekilleri ifade etmek, modellemek ve jenere etmek için pek çok yöntem geliştirmiş ve kullanım alanı oluşturmuştur. Bu kullanım alanlarının bazıları 3B şekilleri kodlama ve sıkıştırma ve kısmi 3B şekillerin tamamlanması olup; 3B şekil manipülasyonu ve tek resimden 3B şekil üretme hala görece az çalışılmış konulardır. 3B şekil manipülasyonu ve tek resimden 3B şekil üretme konuları birbirleriyle ilişkili olup, bu konular üzerindeki çalışmalar yeni dizayn metodolojilerini mümkün kılacaktır. Bu tezde 3B şekil manüpülasyonu için bir çerçeve geliştirip, baz model olarak Deep Implicit Templates'i kullandık. Bu model 3B şekil üretmenin haricinde, aynı kategoriye ait şekiller için topolojik benzerlik haritaları çıkarabilmektedir. Bunun için öncelikle 3B şekil temsil formatlarını ve ilgili araştırmaları anlatmakla başlayıp, daha sonra geliştirdiğimiz metodları ve çerçeveyi anlattık. Tezimizde ana veriseti olarak ShapeNetV2'yi kullanarak Deep Implicit Templates katmanları içinde denetimli ve denetimsiz yönler bulduk. Deneylerimiz sonucunda, PCA uygulayarak bulduğumuz denetimsiz yönlerin pek çok lokal ve global özelliği temsil ettiğini gördük: sandalye yüksekliği, araba uzunluğu, dizayn trendleri ve şekil alt kategorileri gibi. Ek olarak, ShapeNetV2 meta verisini ve öğrenilmiş şekil kodlarını kullanarak eğitilmiş lineer SVM modelleriyle başarılı şekilde denetimli manipülasyon yapabileceğimizi gösterdik. Son olarak, eğitilmiş bir Vision Transformer (ViT) modelinin ve eğitilmiş bir birleşik resim-yazı temsili modeli olan, CLIP'in ara katmanlarını kullanarak gerçek zamanlı ve efektif bir tek resimden 3B şekil üretme metodu geliştirdik. Geliştirdiğimiz metod, ViT ve CLIP'in ara katmanlarıyla DIT'in ara katmanları arasında köprü görevi görmekte olup, poz ve perspektiften bağımsız olarak gerçek zamanlı ve yüksek kalitede resimleri 3B şekillere dönüştürebilmektedir.