Computer vision
62 theses under this subject heading
Pekiştirmeli öğrenme yöntemi ile poz tahmini ve insan hareket analizi
Ev ortamında fizyoterapi ve sağlık uygulamaları, teknolojinin gelişmesi ve dijital iletişim araçlarının yaygınlaşmasıyla birlikte hayatımıza girmiştir. Bu uygulamalar, daha erişilebilir, etkili ve kişiselleştirilmiş sağlık hizmetleri sunma amacıyla gelişmiş teknolojilerin entegrasyonunu temsil etmektedir. Günümüzde, özellikle pandemik koşullardan sonra, hastaların konforlu bir şekilde kendi evlerinde tedavi görmelerine ve sağlık durumlarını takip etmeye olanak tanımak önemli bir araştırma konusu olmaktadır. Tez çalışması kapsamında, tüm bu ihtiyacı karşılamaya yönelik sağlık ve teknoloji bir araya getirilerek uzaktan fizik tedavi sağlayan kamera tabanlı bir yaklaşım ile kullanıcılara düşük maliyetli ve pratik bir tasarım sunmak hedeflenmektedir. Bu amaçla, kullanıcılara tekrar etmesi istenen hareketlere ait eğitmen videoları gösterilmekte ve en benzer şekilde bu hareketi gerçekleştirmeleri beklenmektedir. Sistemde, çalıştırılacak vücut fonksiyonuna göre seçilmiş 11 hareket bulunmakta ve bu hareketler kullanıcılara gruplandırılmış şekilde sunulmaktadır. Gerçekleştirilen hareketler, Mediapipe ile analiz edilmekte ve eğitmen/kullanıcı benzerliğinde hareket özelinde çıkarılan açılar kullanılmaktadır. Bu açılar, dinamik zaman bükme algoritması ile karşılaştırılmakta dolayısıyla yapılan hareketlerin benzerliği zamandan bağımsız olarak değerlendirilebilmektedir. Sistemdeki çevre tasarımına göre kullanıcıya gösterilecek hareketin kararı pekiştirmeli öğrenme algoritmalarından biri olan politika iterasyonu algoritması ile verilmektedir. Pekiştirmeli öğrenme aracılığıyla kullanıcıya oyunlaştırılmış bir tasarım sunulmakta ve ödül/ceza sistemi ile kullanıcının motivasyonunu yüksek tutmak amaçlanmaktadır. Sistem, kavramsal olarak ortaya konması sebebiyle alanında uzman kişilerin önerileri ile şekillendirmeye uygun ve esnek olarak tasarlanmıştır. Çalışma kapsamında temel uygulama alanı fizik tedavi olarak belirlense de aynı mantık ile çalışan tüm alanlarda uygulanma imkânı bulunmaktadır.
Personality prediction system based on physiognomy using face recognition
the human face is a wealthy source of information, with distinct features such as the eyes, nose, and mouth offering a wealth of data. Facial feature recognition algorithms leverage this wealth of information to distinguish one person from another, making it a powerful tool with many applications. This technology has found its way into numerous aspects of our daily lives, from unlocking smartphones with a simple glance to enhancing security in public spaces. Even more, a person's personality traits can be predicted from their outer appearance according to physiognomy as each shape of facial features can tell a lot about a person's personality; this work addresses this by proposing a novel dataset created for facial feature recognition based on their shape and color, specially designed for the YOLO object detection models; the final dataset contains 2,116 images with Over 10K annotations with six classes, namely blue eye, brown eye, rounded nose, rounded eyebrows, pointy nose, and straight eyebrows, employed in all version of the YOLOv8 object detection model, experiment result shows that the small version of YOLOv8 performed the best based on mAP of 89.9%, this work also proposed a modified lightweight version of YOLOv8 with only 211 layers which outperformed the best model by 1.4% as it reaches 91.3%mAP on the proposed dataset.
A laparoscopic surgery simulator for training
Minimally Invasive Surgery (MIS) has many advantages over traditional procedures and thus training with MIS tools via computer simulations has received much attention. These tools are generally grouped into two major categories: Physical training-boxes, and Computer vision/Virtual Reality (VR) tools. In this thesis, a computer vision based simulator is proposed which uses a training box for Minimally Invasive Surgery (MIS) that is composed of a single camera and a planar mirror. The average 3D positional error of laparoscopic/endoscopic tools was 0.96 mm (± 0.44 mm) at 1280x960 resolution, and 1.18 mm (± 0.52 mm) at 320x240. So, the error is minimally effected as the resolution decreases. The proposed method has some advantages over relevant literature methods, such as an improved accuracy (approximately 60%) even at low resolutions with a low processing time (approximately 30%). Therefore, the proposed method appears as a promising and low cost (approximately 70%) alternative for computer vision based MIS training tools.
A high-performance convolutional neural network for steel defects detection
Ensuring defect-free products is a critical consideration in the hot-rolled steel strips and steel terminal manufacturing industry and cannot be over-emphasized, which underpins the purpose of the study presented herein which is focused on developing an algorithm for the detection of defects for two (2) different classes of steel products. The study is divided into two (2) parts, part one being based on transfer learning is aimed at detecting defects on hot rolled steel strip surfaces, while part two aims to achieve defect detection on steel terminals using an optimized YOLO v3 algorithm. Problem statement one of the studies proposes a transfer learning-based method for detecting defects on hot-rolled steel strip surfaces. The method proposed in this study utilizes Deep Convolutional Neural Network (DCNN) using VGG-19 as a pre-trained model, with data augmentation to mitigate the effect of limited training data and also data-class imbalance. Experimental tests indicate that the method proposed herein using the VGG-19 pre-trained model has an excellent performance, with training and validation accuracies of 93.11% and 97.22%, respectively, which is more accurate than the KNN, ANN, and Faster RCNN model. Problem statement two of the study proposes an optimized YOLO v3 algorithm to detect three (3) most common classes of defects on steel terminals. The optimized YOLO v3 network proposed in the thesis was trained using steel terminal image datasets acquired in real-time from Hatko Electronics' production factory in Istanbul, and delivered a good performance in the region of 97.19% AP50, at 0.50 IOU Threshold, which is a higher than the mAP (mean Average Precision) results (57.9% AP50 @0.50) from the original YOLO v3 network, and higher than the mAP score of Faster-RCNN that is about 55.7% AP50, and, 50.4% AP50 for SSD513 (Single-shot Detector) network.
Lazer kameralar kullanılarak bilgisayar görmesi ile üç boyutlu ray profili arızalarının gerçek zamanlı teşhisi
Ülkemizde ve dünyada demiryolu ulaşımı çok yaygın olarak tercih edilen bir ulaşım yöntemidir. Ray hatlarının fiziksel yapıları, raylı ulaşım aracının ağırlığı ve hızı, demiryolunun kullanım yoğunluğu gibi birçok neden ray hattında aşınma, kırılma, çatlama, bozulma gibi çeşitli arızalara neden olmaktadır. Bu arızaların teşhis edilmesi için hızlı ve verimli şekilde peryodik bakımların yapılması olası maddi ve manevi kayıpların önüne geçecektir. Bu tez çalışmasında, demiryollarında ray hatları üzerinde oluşan arızaların temassız olarak lazer kameralar kullanılarak gerçek zamanlı şekilde teşhis edilmesi için yöntemler önerilmiştir. Ray hatlarında oluşan milimetrik seviyedeki hataların tespit ve teşhis edilmesi için kullanılan lazer kameralar ile öncelikle rayın üç boyutlu modeli elde edilmekte, daha sonra bu gerçek modelden hataların teşhis edilmesi sağlanmaktadır. Yöntem geliştirme aşamasında sayısal kamera ve lazer kamera kullanan çalışmalar için giriş verileri üzerinde temel bileşen analizi, tekil değer ayrıştırma, çekirdek temel bileşen analizi, histogram karşılaştırma gibi özellik seçim algoritmaları ile, rassal orman ve evrişimsel yapay sinir ağı makine öğrenmesi algoritmaları kullanan yöntemler geliştirilmiştir. Önerilen yöntemlerin doğrulanması için tez kapsamında kurulan deney seti kullanılmış ve gerçek veriler ile doğrulama çalışmaları yapılmıştır. Sonuç olarak, bu doktora tezi kapsamında lazer kameralar kullanılarak ray hatlarındaki arızaların teşhisi için geliştirilen yöntemlerin performansı deneysel veriler ve saha çalışmaları ile ortaya konulmuştur. Tez süresince yapılan çalışmalar 114E202 numaralı TUBİTAK 1001 araştırma projesi ile desteklenmiştir.
Çok duyargalı imge modelleri ile araç sürücüsü kafa hareketlerinin değerlendirilmesi
Bu doktora araştırmasında aktif sürüş güvenliğiyle bağlantılı öğelerden biri olan sürücü kafa hareketleri incelenmektedir. Burada çok duyargalı modeller kullanarak sürücü yüz imgeleri değerlendirilmekte ve buna göre araç seyir halindeyken sürücü kafa hareketleri hakkında fikir edinilmektedir. Bu çalışmada kafa hareketlerinin alınması için ortalama-kayma yöntemi kulanılmış, ayrıca yeni ve henüz araştırma aşamasında bir yöntem olan asimetrik çekirdek ortalama-kayma ile başarım karşılaştırılması yapılmıştır. Sürüş esnasında sürücü ve arkalandaki nesnelerin her an değişik ışık koşullarına maruz kalması olasıdır. Bu sebeple değişen ışık koşullarında bağımsız sürücü imgesi üzerinde işlem yapabilmek için ikiz görme önerilmektedir. Bu fikirden yola çıkarak elde edilen derinlik haritasında, arkalandaki olumsuzlukların nasıl yok edilebileceği gösterilmiştir. Sürücü kafa hareketlerini alabilmek için video histogram farklarından faydalanılarak değişik ışık koşullarında görsel ve kızıl ötesi kameralarla sürücü veri tabanları oluşturulmuştur. Sürücü kafa hareketlerinin alındığı dizgelerde yön belirlemek amacıyla optik akışlar aracılığıyla görsel ve kızıl ötesi kameralarla elde edilen optik akışları karşılaştırmak için hareket vektörlerine ilişkin histogramlar çıkartılmıştır. Sürücü hareketlerinin analizi için ise Bayesian ve ARMA modelleri karşılaştırılmış, görsel ve kızıl ötesi kameralar kullanılarak performansları irdelenmiştir. Bir araç için kullanım kolaylığının yanı sıra rekabet edebilirliği için en önemli konunun maliyet olması sebebiyle web-kameraların kullanılabilirliği de tartışılmıştır. Ayrıca zor ışık koşullarında değişik bantlarda alınan imgelerde çalışabilmek için henüz çok yeni uygulama alanları bulan eğricikler üzerinde deneyler yapılmıştır. Bunun için hazır veri tabanlarındaki ısıl imgeler ile gerçek koşullardaki görsel ve kızıl ötesi sürücü imgeleri kullanılmıştır. Son olarak ise çok duyargalı modellerde sistemin çalışmasını göstermek üzere füzyon imgeleri üzerinde deneyler yapılarak elde edilen sistemin başarımı değerlendirilmiştir.
Learning markerless robot-depth camera calibration and end-effector pose estimation
Robot arms are being used more and more in unstructured environments. As such, they are relying more on vision sensors compared to traditional factory robots which are placed in highly structured, controlled and caged work-cells. Some applications that rely on vision data include bin-picking, box picking and placing, assembly and part feeding in mixed human-robot work cells, inspection, quality control etc. Vision data is mainly required to localize the objects to be manipulated, perform measurements and detect near-by humans. Vision based robot systems require extrinsic calibration between the robot and camera in order to work properly. This is a time consuming and tedious procedure which can be expensive as well. Fast, flexible and precise robot-camera calibration is essential for not only industrial environments but also academic lab environments where the location of the camera and/or robot needs to be frequently or is accidentally changed. Extrinsic calibration between a robot arm and camera is a decades old challenge still prevalent to this day. Traditional techniques work by estimating pose of the camera relative to a fiducial marker from multiple points and matching these estimations with the robot's pose. Recent learning based approaches predict extrinsic calibration from images relying heavily on simulation data. In this thesis, we present a learning based markerless extrinsic calibration system that uses a depth camera. We learn models for end-effector (EE) segmentation, single-frame rotation prediction and keypoint detection, from automatically generated real-world data. Our models are based on MinkUNet and PointNet++ architectures. We use a transformation trick to get EE pose estimates from rotation predictions and a matching algorithm to get EE pose estimates from keypoint predictions. We further utilize the iterative closest point (ICP) algorithm, multiple-frames and outlier detection to increase calibration robustness. Our results on the test set with previously unseen camera locations give sub-centimeter (0.74 cm) and less than 0.05 radians (1.69 degrees) average calibration errors and 1.00 cm and 2.74 degrees average pose estimation errors. In addition, we released an open source easy to use tool for robot users to handle robot-camera calibration with a few mouse clicks by seamlessly integrating all the models and algorithms discussed in this thesis.
Comicverse: Expanding the frontiers of ai in comic books with holistic understanding
Comics are a unique and multimodal medium that conveys stories and ideas through sequential imagery often accompanied by text for dialogue and narration. Comics' elaborate visual language exhibits variations from different authors, cultures, periods, technologies, and artistic styles. Consequently, the computational analysis of comic books requires addressing fundamental challenges in computer vision and natural language processing. In this thesis, I aim to enhance neural comic book understanding by making use of comics' unique multimodal nature and processing comics in a character-centric approach. The primary data source for this thesis is the Golden Age of American Comics due to its public accessibility and abundance of comic series. However, the availability of annotated data is limited. Thus, to achieve my goal, I have adopted a holistic approach composed of four main steps ranging from curating datasets to proposing novel tasks and architectures for comics. The first three steps aim to create a machine-readable comics database by locating comic book panels, identifying their components, and transforming character identities into a dialogue-like structure and the final step uses this database to train a transformer- based model. The first step involves extracting high-quality text data from speech bubbles and narrative box images using OCR models. I decompose comic pages into their constituent components in the second step through detection, segmentation, and association tasks with a refined Multi-Task Learning (MTL) model. Detection involves identifying panels, speech bubbles, narrative boxes, character faces, and bodies. Segmentation focuses on isolating speech bubbles and panels, while the association task involves linking speech bubbles with character faces and bodies. In the third step, I utilize the paired character faces and bodies obtained from the previous stage to create character instances and, subsequently, reidentify and track these instances across sequential panels. In the final step of my thesis, I propose a multimodal framework by introducing the ComicBERT model, which exploits the abovementioned structure. Cloze-style tasks were used to evaluate ComicBERT's contextual understanding capabilities. Furthermore, I propose a new task called Scene-Cloze, which predicts the next panel given n previous panels as context. As a result, my approach achieves a new state-of-the-art performance in Text-Cloze and Visual-Cloze tasks with accuracies of 69.5% and 77.1%, respectively, thus getting closer to the human baseline. Overall, the highlights of my contributions are as follows: 1. I curated and shared COMICS Text+ Dataset with over two million transcrip- tions of textboxes from the golden age of comics. In addition, I open-sourced the text detection and recognition models that are fine-tuned for the task and datasets used in their training. 2. I refined a MTL framework for detection, segmentation, and association tasks and achieved SOTA results in comic character face and body-to-speech bubble association tasks. 3. I proposed a novel Identity-Aware Semi-Supervised Learning for Comic Character Re-Identification framework to generate unified and identity-aligned comic character embeddings and identity representations. Furthermore, I generated two new datasets: the Comic Character Instances Dataset, encompassing over a million character instances used in the self-supervision phase, and the Comic Sequence Identity Dataset, containing annotations of identities within sets of four consecutive comic panels used in semi-supervision phase. 4. I introduced the multimodal Comicsformer, a transformer-encoder architecture capable of processing sequential panels and their constituents. It serves as the backbone for the Masked Comic Modeling (MCM) task, a novel self- supervised pre-training strategy for comics, resulting in ComicBERT, a potential foundation model for golden age comics. ComicBERT achieves SOTA performance in cloze-style tasks, particularly in text-cloze and visual-cloze tasks, approaching human-level comprehension.
Spherical vision transformers for audio-visual saliency prediction in 360◦ videos
Saliency prediction aims to model human audio-visual attention mechanisms to highlight the perceptually important regions in the scenes. This problem was first addressed in the literature under three branches based on the scene characteristics: static (for images), dynamic (for videos), and audio-visual saliency prediction. Due to the growing interest in virtual reality (VR), omnidirectional videos (ODVs) that capture the full field-of-view have gained 360◦ saliency prediction importance in computer vision. However, predicting where humans look in 360◦ scenes presents novel challenges, including the representation of 360◦ scenes regarding spherical distortion, high resolution, and the limited amount of annotated data. This thesis proposes a novel vision-transformer-based saliency prediction model named SalViT360 for omnidirectional videos. We introduce a spherical geometry-aware spatio-temporal self-attention mechanism among tangent image representations for effective omnidirectional video understanding. We present a consistency-based unsupervised regularization term for projection-based 360◦ dense-prediction models to reduce artefacts in the predictions after inverse projection. Our approach is the first to employ tangent images for undistorted omnidirectional saliency prediction. Lastly, we propose SalViT360-AV by extending our video saliency prediction model with audio-visual adapters to incorporate mono and spatial audio modalities for a unified 360◦ audiovisual saliency prediction model. Our experimental results on four ODV saliency datasets demonstrate the effectiveness of SalViT360 and SalViT360-AV compared to the state-of-the-art.
Leveraging weak supervision for cell localization in digital pathology using multitask learning and consistency loss
Cell detection and segmentation are integral parts of automated systems in digital pathology. Encoder-decoder networks have emerged as a promising solution for these tasks. However, training of these networks has typically required full boundary annotations of cells, which are labor-intensive and difficult to obtain on a large scale. However, in many applications, such as cell counting, weaker forms of annotations--such as point annotations or approximate cell counts--can provide sufficient supervision for training. This thesis proposes a new mixed-supervision approach for training multitask networks in digital pathology by incorporating cell counts derived from the eyeballing process--a quick visual estimation method commonly used by pathologists. This thesis has two main contributions: (1) It proposes a mixed-supervision strategy for digital pathology that utilizes cell counts obtained by eyeballing as an auxiliary supervisory signal to train a multitask network for the first time. (2) This multitask network is designed to concurrently learn the tasks of cell counting and cell localization, and this thesis introduces a consistency loss that regularizes training by penalizing inconsistencies between the predictions of these two tasks. Our experiments on two datasets of hematoxylin-eosin stained tissue images demonstrate that the proposed approach effectively utilizes the weakest form of annotation, improving performance when stronger annotations are limited. These results highlight the potential of integrating eyeballing-derived ground truths into the network training, reducing the need for resource-intensive annotations.
Learning object-centric representations based on slots in real world scenarios
A central goal in artificial intelligence is to enable machines to perceive the visual world as a composition of distinct objects. This ability for object-centric understanding is essential for generative models that support fine-grained, controllable content creation and editing. However, state-of-the-art diffusion models process images holistically and are conditioned on text, creating a semantic misalignment when tasked with object-level manipulation. As a result, researchers face a fundamental challenge: either adapt powerful but text-biased models or build specialized models from scratch, often with reduced capacity. This dissertation addresses this problem by introducing a framework that adapts pretrained generative models for object-centric image and video synthesis. Our analysis highlights a core challenge in current approaches: achieving high-quality generation requires balancing global scene coherence with disentangled, object-level control. To address this, we propose an adaptation strategy that integrates object-specific conditioning into pretrained models while preserving their valuable priors. Extending this framework to video further amplifies the difficulty, as maintaining temporal coherence and consistent object identity across frames is critical. For static images, we introduce SlotAdapt, a method that augments diffusion models with lightweight slot-based modules. A register token captures background and style, while slot-conditioned components encode object-specific information. This dual-pathway design mitigates text-conditioning bias and provides precise, object-centric control, leading to state-of-the-art results in object discovery, segmentation, compositional editing, and controllable image generation. We then extend the framework to video. Using Invariant Slot Attention (ISA) to disentangle object identity from pose, combined with a Transformer-based temporal aggregator, our approach ensures consistent object representation and dynamics across time. This framework sets new benchmarks in unsupervised video object segmentation and reconstruction, while enabling advanced video editing capabilities, including object removal, replacement, and insertion, all without explicit supervision. Overall, this work establishes a general and scalable approach to object-centric generative modeling for both images and videos. Beyond setting new technical baselines, it expands the design space for interactive and controllable generative tools, bridging the gap between human object-based perception and machine learning models. These contributions open new directions for structured, intuitive, and user-driven AI applications in creative, scientific, and practical domains.
Hibrit çizge sinir ağları kullanarak görüntü eşleştirme
Görüntü eşleştirme, nesne tanıma, 3B yeniden yapılandırma ve otonom navigasyon gibi bilgisayar görüşü uygulamalarında kritik bir görevdir. Çizge sinir ağlarının (ÇSA) ortaya çıkışı, görüntü eşleştirme algoritmalarının doğruluğunu ve verimliliğini artırmak için yeni yollar açmıştır. Bu tez, farklı veri setlerini kullanarak bu yöntemleri değerlendirip geliştirmek için ÇSA'ların görüntü eşleştirme uygulamasını araştırmaktadır. Araştırma başlangıçta, PASCAL VOC ve WILLOW-object class gibi yaygın tanınan veri setlerine ÇSA tabanlı algoritmaların uygulanmasına odaklanmaktadır. Çeşitli görüntü ve açıklamaları ile tanınan bu veri setleri, görüntü eşleştirme algoritmalarını test etmek ve geliştirmek için bir temel olarak hizmet etmektedir Yukarıda bahsedilen veri setleri ile daha iyi ve hızlı sonuçlar elde edebilmek için hibrit bir sistem önerisi sunulmuştur. Bu tez ayrıca, ÇSA'lar ve görüntü eşleştirme üzerine son dönemin önemli makalelerinden elde edilen bulguları entegre etmektedir. Farklı veri setleri üzerinden yapılan karşılaştırmalı analiz, ÇSA tabanlı görüntü eşleştirme algoritmalarının güçlü ve zayıf yönlerine dair kapsamlı bir şekilde anlaşılmasını sağlamak amacıyla yapılmıştır. Bu araştırmanın sonucunun, görüntü eşleştirme görevlerinde ÇSA'ların çok yönlülüğünü ve sağlamlığını göstererek bilgisayar görüşü alanına önemli bir katkı sağlaması amaçlanmıştır. Bu çalışma, sadece ÇSA'ların görüntü eşleştirme konusundaki teorik anlayışı geliştirmekle kalmayıp, aynı zamanda çeşitli bağlamlarda uygulanmalarına dair pratik görüşler sunmaktadır.
Endüstriyel ortamlarda güvensiz davranışların video üzerinden tespiti için yeni bir derin öğrenme modeli geliştirilmesi
Üretim sahalarında, işletmelerde, fabrikalarda ve dolayısıyla insanın olduğu her yerde ihmal ve yeterince önemsememe nedeniyle güvenli olmayan davranışlar ortaya çıkabilmektedir. Bu tür alanlarda, güvenli olmayan tehlikeli davranışlar, birçok kaza da dahil olmak üzere ölüm veya yaralanmaların başlıca sebeplerindendir. İşyerlerinde geleneksel iş güvenliği uygulamaları ve düzenli güvenlik denetimleri yapılmasına rağmen, iş sağlığı ve güvenliği protokollerinin ihlal edilmesi sonucu birçok kaza meydana gelmektedir. Bu kazalar işyerlerinde, çalışma ortamının dinamikleri ve zorlukları ile beraber mevcut güvenlik izleme prosedürlerinin yeterince uygulanamadığını göstermektedir. Tehlikeli ortamlarda kazaların ve kayıpların önlenmesine yönelik çözümler, yıllar boyunca olay sayısını azaltmış olsa da insan davranışlarına bağlı olarak tamamen ortadan kaldırılamamaktadır. Ayrıca, bu tür üretim ortamları oldukça karmaşıktır, aydınlatma sorunları vardır ve aşırı dinamiktir. Çalışma ortamlarındaki tehlikeleri kontrol etmek için çeşitli sistemler olmasına rağmen, gerçek zamanlı yaklaşımların çok az olduğu açıktır. Özellikle, birçok bilgisayar tabanlı otomatik çözüm olmasına rağmen, bu sistemlerin eğitim ve tespit süreci düşük doğruluğa sahiptir, çok maliyetlidir ve fazla zaman gerektirir. Diğer taraftan, endüstriyel işyerlerinde, iş sağlığı ve güvenliğinin en önemli unsurlarından birisi olan Kişisel Koruyucu Donanım (KKD) kullanımı büyük önem arz etmektedir. Bu tez çalışmasında, öncelikle, çoklu sınıflar belirleyerek, YOLO (You Only Look Once) öğrenme algoritması kullanılarak KKD'lerin uygun kullanılıp kullanılmadığı tespit edilmiştir. Bu aşamada, KKD'lere yönelik olarak yedi sınıf belirlenmiş ve bu sınıflara ilişkin özgün veriseti oluşturulmuştur. KKD'lerin tespiti için yürütülen deneysel çalışmalarda, YOLO mimarisi kullanılarak ortalama doğruluk (mean average precision, mAP) değeri %91.18 olarak başarılmıştır. Ayrıca, diğer ölçüm metrikleri Kesinlik (Precision), Duyarlılık (Recall), F1-skoru, kesiştirilmiş bölgeler (Intersection over Union, IoU) ve ortalama kayıp (Loss) için sırasıyla 0.89, 0.91, 0.90, 70.35 ve 1.1147 sonuçları elde edilmiştir. Tez çalışmasının ikinci aşamasında, işyerlerindeki güvensiz hareketlerin gerçek zamanlı sınıflandırılması için derin öğrenme modelleri destekli, hibrit bir bilgisayarla görme yaklaşımı Unsafe-Net (Önal & Dandıl, 2024a) geliştirilmiştir. Unsafe-Net altyapısı için öncelikle bir fabrikadan 39 günlük video görüntüsü toplanarak bir veriseti oluşturulmuştur. Oluşturulan bu veriseti 2024 yılında Data in Brief dergisinde yayınlanarak kullanıma sunulmuştur (Önal & Dandıl, 2024b). Çalışma için özel olarak oluşturulan veriseti kullanılarak, hızlı ve doğru sonuçlar elde etmek için nesne algılama ve video anlamlandırılmasında YOLOv4 ve Evrişimsel Uzun Kısa Süreli Bellek (Convolutional Long Short-Term Memory, ConvLSTM) derin öğrenme mimarileri birleştirilmiştir. Tez çalışmasının bu aşamadaki deneysel çalışmalarında, önerilen Unsafe-Net mimarisi kullanılarak çalışma sahalarında güvensiz davranışların sınıflandırma doğruluğu %95.81 olarak başarılmıştır ve videolardan eylem tanıma için ortalama süre 0.14 saniye olarak hesaplanmıştır. Ayrıca Unsafe-Net mimarisinin altyapısında kullanılan YOLO algoritması sayesinde, ortalama video süresi 1.87 saniyeye düşürülerek gerçek zamanlı tespit hızı da artırılmıştır. Geliştirilen sistem Eskişehir'de faaliyet gösteren bir fabrika ortamında kurulmuş olup, güvensiz davranış gerçekleştiğinde, gerçek zamanlı olarak çalışanların sistem tarafından hem sesli hem de görsel olarak anında uyarılması sağlanmıştır. Ayrıca, sistemin fabrika ortamına kurulması ile çalışanlar belirli bir süre izlenmiş ve güvensiz davranışların tekrarlanma oranının kısa sürede yaklaşık olarak %75 oranında azaldığı tespit edilmiştir.
Mobil cihaz kamerasından alınan fotoğraf üzerinde kinematik tabanlı çokgen yaklaşımı
Görsel tabanlı bilgi sistemleri gibi görsel ögeleri işleyen birçok sistemde (çoğul ortam bilgi sistemleri, coğrafi bilgi sistemleri vb.) bilgiler şekillerin sınırlarına karşılık gelen çokgenler ile ifade edilirler. Bu çokgenler nesnelerin sahip olduğu detaylar nedeni ile çok sayıda kenar ve köşe noktasına sahiptir. Bu noktadan hareketle daha az sayıda köşe, kenar noktası içeren ve orijinal çokgenin kritik şekil bilgisini bünyesinde barındıran çokgenlerle ifade edebilmek için çalışmalar yapılmıştır. Bu çalışmalar; çokgen yaklaşımı ya da çokgen sadeleştirme olarak adlandırılmaktadır. Bu yaklaşım yöntemine ihtiyacın temelinde; kenar ve köşe sayısı yoğun olan çokgenlerin işlenmesinde çeşitli zorluklarla karşılaşılması bulunmaktadır. Bunun yanı sıra görüntüdeki gürültünün fazla oluşu ve işlemler için gerekli bellek ve disk alanı ihtiyacının fazla olması da çokgen sadeleştirme metodu kullanımına yönelten diğer nedenlerdir. Bu tez çalışmasında; çokgen sadeleştirme yaklaşımı için kinematik tabanlı metot ve bu metodun, mobil cihaz kamerası ile çekilen görüntü üzerinde uygulanması amaçlanmıştır. Metot; çokgenin ağırlık merkezi ile ilişkili uç noktalarının hız ve ivme değerlerinin hesaplanması ve bu değerlere uygun olarak sadeleştirilmesi esasına dayanmaktadır. Çalışma; kamera ile çekilmiş ve cihaz galerisinde bulunan görüntülerin; çok köşeli çokgen şekillere dönüştürülerek, kinematik tabanlı yaklaşımın bu şekiller üzerinde denenmesi ile uygulanmıştır.
Görüntülerde istenmeyen şişe bulanıklaştırma algoritması
Bu çalışmada, C++ yazılım dili kullanılarak OpenCV kütüphanesiyle birlikte "Görüntülerde İstenmeyen Şişe Bulanıklaştırma Algoritması" tezi gerçekleştirilmiştir. Tezin amacı resim üzerinde istenilen şişenin belirlenmesi ve sansürlenmesidir. Tez kapsamında sansürlenecek nesne olarak bir içki şişesi kullanılmıştır. Microsoft Visual Studio 2010 derleyicisi kullanılarak kodlama işlemleri yapılmıştır. OpenCV kütüphaneleri projeye entegre edilmiştir. Modelleme için nesnenin pozitif ve negatif resimleri çekilmiştir. Haar alıştırması metodu kullanılarak belirlenen şişenin xml dosyası oluşturulmuştur. Oluşturulan xml dosyası belirtilen konumdan çağrılarak projeye eklenmiş ve daha sonra Cascade sınıflayıcı alıştırması yardımıyla kullanılmıştır. Görüntülerde İstenmeyen Şişe Bulanıklaştırma Algoritması uygulamasında görüntü arayüzden seçilmektedir. Seçilen görüntü için sansür butonuna basılır ve yazılımın içinde bulunan xml dosyasındaki nesneyle eşleşmesi sonucunda tespit edilerek sansürlenme işlemi gerçekleştirilmektedir. Nesnenin sansürlenmiş hali ekranda gösterilmektedir. Ayrıca arayüzden histogram eşitleme işlemi de yapılabilmektedir. Farklı resimler kullanılarak sansürleme işlemi tekrar tekrar uygulanmış olup ve aynı sonuca ulaşılmıştır. Tez ile alakalı çeşitli test ve deneyler yapılarak sorunsuz halde çalışması sağlanmıştır. Çalışmanın sonucu olarak "Görüntülerde İstenmeyen Şişe Bulanıklaştırma Algoritması" ortaya çıkarılmıştır.
Development of a robotic arm controller by using hand gesture recognition in matlab environment
This thesis deals with the robotic arm controller using image processing in the field of Human-Machine Interaction (HMI). There are two different methods used to analyze to control the robotic arm, the main aim of them is getting the hand gesture information without using tool that helps the system to extract data easier (ex. glove or wrist band). After segmentation of the hand, the first method is comparing of all pre-stored data in the database at the Template Matching Algorithm, the second method is Signature Signal, distance signal between edge of the hand and center of hand, Signature Signal is used to find where the fingertips are and to count the number of them. The detailed test results and their conclusions show that both algorithms can be used for controlling after calibration. Both methods have enough calculation speed to be used in continuous frame capturing sequence.
Reasoning with shapes
Optimal logic determination between a set of shapes could be quite utile in computer vision. Investigation of Linear transformation in a set of shapes is a challenging topic and has wide range of applications, such as in Robotics, Aircraft and Satellite attitude determination and tracking systems. I propose a pictorial solution for linear transformation determination problem, in contrast to current optimal approaches that are benefiting from numerical roots.I make abstractions of shapes and I try to determine the linear transformation between the set of shapes by using inexpensive Boolean logics. The nature of my solution decreases resource requirements and the complexity of a hardware implementation.
Hand gesture recognition
In this master study, the purpose is to classify different hand gestures in our database. The database consists of 6 types of gesture class and each gesture class has 50 hand images. Each type of gesture symbolizes a number from 0 to 5. The hand gesture recognition system consists of four main stages: Image enhancement, segmentation, feature extraction and classification. In the image enhancement stage, median filter is used to get rid of high frequency components. After the image enhancement stage, hand region in the image needs to be separated for the next stage. In order to extract hand data from the image, regions that are similar to skin color are found using a color threshold process, and then contour data of the hand which will represent the hand region is selected by finding the longest inner contour of the longest outer contour in the existing regions that are similar to skin color. In the feature extraction stage, useful features for the classification stage are obtained using of the shape features such as convexity defects of the contour. Classifier of the system consists of simple conditional expressions and intersection arc. Depending on the features, the classifier decides which gesture corresponds to the input of the system. The system has a ninety nine percent success rate.
Uzaklık ve cinsiyet tabanlı akıllı reklam görüntüleme sistemi
Son yirmi yılda artan teknolojik gelişmelere paralel olarak örüntü tanıma ve bilgisayarlı görme alanlarını kullanan ve gündelik hayata entegre olan birçok çalışma ve araştırma bulunmaktadır. Bu tezde, gerçek zamanlı olarak kamera kaynağından alınan yayın üzerinde tespit edilen yüz görüntülerinden elde edilen cinsiyet bilgisine ve kameraya uzaklığına bağlı olarak çalışan akıllı reklam görüntüleme sistemi geliştirilmiştir. Sistem temelde iki ayrı kısımdan oluşmaktadır. İlk kısımda kamera kaynağından alınan veriler, canlı yayındaki çerçeveler işlendikten sonra algılanan yüzlerden cinsiyet tespiti ve uzaklık kestirimi yapılarak canlı yayına eklenmektedir. Sistemin ikinci kısmında ise algılanan yüze ait resim, cinsiyet etiketi ve kameraya uzaklık bilgisi reklam bilgisinin gösterileceği uygulamaya web servis yolu ile iletilip, veritabanına kaydedilmektedir. Sistem için önceden tanımlanmış süre içerisinde veritabanında bulunan yüz ve uzaklık bilgileri analiz edilerek farklı detay seviyelerinde reklam gösterimi yapılmaktadır. Analiz işleminde, sistem için tanımlanmış süre zarfında veritabanından elde edilen veriler doğrultusunda cinsiyet ve uzaklığa bağlı olarak farklı ilgi seviyelerinde reklam gösterimi gerçekleştirilmektedir. Sistemin verimli çalışması için cinsiyet tespitinin doğru yapılması oldukça önem arz etmektedir. Çalışmada, geliştirilen yüz algılama sınıflandırıcısıyla beraber cinsiyet tespit işlemi için Fisher Yüz Algoritması (Fisherfaces), Destek Vektör Makineleri (SVM) ve Evrişimsel Sinir Ağları (CNN) sınıflandırıcıları kullanılmıştır. SVM sınıflandırıcısındaki doğruluk yüzdesini arttırmak için Yerel İkili Örüntü (LBP) ve Yönlü Gradyanlar Histogramı (HOG) öznitelik çıkarım yöntemleri kullanılmıştır. Derin öğrenme yöntemlerinin en popülerlerinden biri olan CNN ağ çeşidi GoogleNet mimarisi ile eğitilmiştir. Sınıflandırıcılar için günlük hayat akışına uygun olarak belirlenmiş LFW, IMDB ve WIKI veri kümeleri eğitim için, FaceScrub veri kümesi ise test veri kümesi olarak kullanılmıştır. Cinsiyet tespiti için geliştirilen SVM ve CNN sınıflandırıcıları üzerinde gerekli optimizasyon çalışmaları yapılmıştır. Fisher Yüz algoritması ile %61.30, SVM sınıflandırıcısının LBP ve HOG öznitelik çıkarım yöntemleri ile sırasıyla %75.32 ve %80.58, CNN sınıflandırıcısı ile %94.76'lık başarı elde edilmiştir.
Eş zamanlı çıkarım için ikili ağların monoküler derinlik tahminine uyarlanması
Monocular Depth Estimation (MDE) is a fundamental computer vision application area for many industry-related advances. Due to its deployment needs, the inference time of the depth estimation algorithm also plays a crucial role among other accuracy metrics. With the recent advances in Convolutional Neural Networks (CNNs) on other time-constrained computer vision tasks, many efficient feature extractors have been studied and adopted from MDE models as the backbone. Although those feature extractors have shown significant improvement in throughput, the widely-used encoder-decoder architecture used by Real-time MDE models also relies on a decoder network for upsampling. Following a similar approach, stacking multi-channel convolutional layers on a decoder hinders the inference time. This study investigates the benefits of Bilateral Networks in Real-time MDE tasks. During our research, we first manipulate the structure of a recently introduced real-time segmentation model (STDC-Seg) for the MDE problem. Once we attain real-time inference speed, we tailor the backbone structure and attention modules of the model for the needs of MDE to improve prediction accuracy. Finally, we train the models on the well-known KITTI dataset and compare our results with the models of the KITTI Eigen Split MDE Benchmark along with the previous real-time models. Our experimental results show that our real-time method achieves on-par metric performance with state-of-the-art models that are not subject to any time-constraint.
Derin sinir ağlarının yenı ve hibrit mimariler aracılığı ile transformlara genellemesi
Object recognition is a foundational pillar for many computer vision tasks such as searching, tracking, navigating, scene understanding or information retrieval that require some kind of category knowledge at various levels. Even with the major advances in these tasks with the data-driven deep learning methods such as convolutional neural networks (CNNs), generalization to geometric variations and embedding part-whole relationships are still yet to be achieved when compared to human-level recognition. CNNs particularly fail to generalize to unseen viewpoints of a learned object even with substantial samples and are easily confused as the pooling operations lose the relation between existing entities in the input. Recently emerged capsule networks outperform CNNs in novel viewpoint generalization tasks even with significantly fewer parameters. Capsule networks group the neuron activations for representing higher-level attributes and their interactions for achieving equivariance to visual transformations. Capsules are designed to represent the pose of an existing visual entity and learned transformations are essentially pose transformations which are matrices. However, capsule networks have a high computational cost for learning the interactions of capsules in consecutive layers via the, so-called, routing algorithm in addition to the training stability problems. In this thesis, we propose to represent the pose information and transformations with quaternions in Quaternion Capsule Networks (QCNs). Quaternions are immune to the gimbal lock, have straightforward regularization of the rotation representation for capsules, and require a smaller number of parameters than matrices. QCNs directly inherit the existing EM-Routing for a fair comparison of the benefits of using quaternions instead of matrices. Experimental results show that QCNs generalize better to novel viewpoints with fewer parameters, and achieve on-par or better performances with the state-of-the-art Capsule architectures on well-known benchmarking datasets. Building on this proposal, we aimed to reduce the computational burden and embed feature vectors to the capsules in addition to pose information. In this context we propose, Alleviated Pose Attentive Capsule Agreement (ALPACA) which is tailored for capsules that contain pose, feature and existence probability information together to enhance novel viewpoint generalization of capsules on 2D images. For this purpose, we have created a Novel ViewPoint Dataset (NVPD) a viewpoint-controlled texture-free dataset that has 8 different setups where training and test samples are formed by different viewpoints. In addition to NVPD, we have conducted experiments on the iLab2M dataset where the dataset is split in terms of the object instances. Experimental results show that ALPACA outperforms its capsule network counterparts and state-of-the-art CNNs on iLab2M and NVPD datasets. Moreover, ALPACA is 10 times faster when compared to routing-based capsule networks. It also outperforms attention-based routing algorithms of the domain while keeping the inference and training times comparable.
Serviks hücrelerinin öğreticisiz olarak bölütlenmesi ve sıralanması
Cervical cancer is the second most common cause of cancer death among women worldwide, and it can be prevented if it is detected and treated in the pre-cancerous stages. Pap smear test is a common, efficient and easy manual screening examination technique which is used to detect dysplastic changes in cervical cells. However, manual analyses of thousands of cells in Pap smear test slides by cyto-technicians is difficult, time consuming and subjective. To overcome these problems, we aim to automate the screening process and provide an ordered nuclei list to help the cyto-experts. Automating the screening procedure has been a longstanding challenge because of complex cell structures where current methods in the literature mostly consider the problem as the segmentation of single isolated cells and leave real challenges of Pap smear images such as poor contrast, inconsistent staining, and unknown number of cells unaddressed. We propose an unsupervised method to accurately segment the nuclei and order them according to their abnormality degree in Pap smear images. The method first uses a multi-scale hierarchical segmentation algorithm for accurate identification of the nuclei. The Pap smear images captured at high level magnification have more detailed texture but worse contrast. Contrast is an important property for segmentation and detailed texture is an important property for feature extraction. Therefore, as a solution to the segmentation problem, we proceed in two steps. First, we segment the Pap smear images at low (20x) magnification and eliminate non-nucleus regions based on several features. Then, we switch to high (40x) magnification and obtain a more detailed segmentation of the remaining nuclei. Following segmentation, we extract features for each resulting nucleus. Unlike related works that require a learning phase for classification, our method performs an unsupervised ordering of the nuclei based on features extracted at 40x magnification. We compare different ordering algorithms for ranking the nucleus regions according to their abnormality degrees. We evaluate our segmentation and ordering methods using two data sets. Our results show that the proposed method provides promising results for both segmentation and ordering steps.
Yardımcı teknoloji sistemlerinde aktivite analizi
Although understanding and analyzing human actions is a popular research topic in computer vision, most of the research has focused on recognizing "ordinary" actions, such as walking and jumping. Extending these methods for more specific domains, such as assistive technologies, is not a trivial task. In most cases, these applications contain more fine-grained activities with low inter-class variance and high intra-class variance. In this thesis, we propose to use motion information from snippets, or small video intervals, in order to recognize actions from daily activities. Proposed method encodes the motion by considering the motion statistics, such as the variance and the length of trajectories. It also encodes the position information by using a spatial grid. We show that such approach is especially helpful for the domain of medical device usage, which contains actions with fast movements Another contribution that we propose is to model the sequential information of actions by the order in which they occur. This is especially useful for fine-grained activities, such as cooking activities, where the visual information may not be enough to distinguish between different actions. As for the visual perspective of the problem, we propose to combine multiple visual descriptors by weighing their confidence values. Our experiments show that, temporal sequence model and the fusion of multiple descriptors significantly improve the performance when used together.
Çokkipli işaret ve imge çözümleme tabanlı yangın tespit algoritmaları
Dynamic textures are common in natural scenes. Examples of dynamic tex-tures in video include fire, smoke, clouds, volatile organic compound (VOC)plumes in infra-red (IR) videos, trees in the wind, sea and ocean waves, etc.Researchers extensively studied 2-D textures and related problems in the fieldsof image processing and computer vision. On the other hand, there is very littleresearch on dynamic texture detection in video. In this dissertation, signal andimage processing methods developed for detection of a specific set of dynamictextures are presented.Signal and image processing methods are developed for the detection of flamesand smoke in open and large spaces with a range of up to 30m to the camera invisible-range (IR) video. Smoke is semi-transparent at the early stages of fire.Edges present in image frames with smoke start loosing their sharpness and thisleads to an energy decrease in the high-band frequency content of the image.Local extrema in the wavelet domain correspond to the edges in an image.The decrease in the energy content of these edges is an important indicatorof smoke in the viewing range of the camera. Image regions containing flames appear asfire-colored (bright) moving regions in (IR) video. In addition to motion andcolor (brightness) clues, the flame flicker process is also detected by using a Hid-den Markov Model (HMM) describing the temporal behavior. Image frames arealso analyzed spatially. Boundaries of flames are represented in wavelet domain.High frequency nature of the boundaries of fire regions is also used as a clue tomodel the flame flicker. Temporal and spatial clues extracted from the video arecombined to reach a final decision.Signal processing techniques for the detection of flames with pyroelectric (pas-sive) infrared (PIR) sensors are also developed. The flame flicker process of anuncontrolled fire and ordinary activity of human beings and other objects aremodeled using a set of Markov models, which are trained using the wavelet trans-form of the PIR sensor signal. Whenever there is an activity within the viewingrange of the PIR sensor, the sensor signal is analyzed in the wavelet domain andthe wavelet signals are fed to a set of Markov models. A fire or no fire decision ismade according to the Markov model producing the highest probability.Smoke at far distances (> 100m to the camera) exhibits different temporal andspatial characteristics than nearby smoke and fire. This demands specific methodsexplicitly developed for smoke detection at far distances rather than using nearbysmoke detection methods. An algorithm for vision-based detection of smoke dueto wild fires is developed. The main detection algorithm is composed of foursub-algorithms detecting (i) slow moving objects, (ii) smoke-colored regions, (iii)rising regions, and (iv) shadows. Each sub-algorithm yields its own decision as azero-mean real number, representing the confidence level of that particular sub-algorithm. Confidence values are linearly combined for the final decision.Another contribution of this thesis is the proposal of a framework for activefusion of sub-algorithm decisions. Most computer vision based detection algo-rithms consist of several sub-algorithms whose individual decisions are integratedto reach a final decision. The proposed adaptive fusion method is based on theleast-mean-square (LMS) algorithm. The weights corresponding to individualsub-algorithms are updated on-line using the adaptive method in the training(learning) stage. The error function of the adaptive training process is definedas the difference between the weighted sum of decision values and the decisionof an oracle who may be the user of the detector. The proposed decision fusionmethod is used in wildfire detection.