Computer vision
Bu konu başlığı altında 80 tez
Lenf kanseri görüntülerinin makine öğrenmesi yöntemleri ile sınıflandırılması
Lenf kanseri veya diğer bir adıyla lenfoma, vücudun savunma hücrelerinin kanserleşerek kontrolsüz çoğalmasıdır. Lenfoma, kan kanserleri grubunda yer almaktadır ve bu grupta yer alan diğer kanserlere göre görülme sıklığı daha fazladır. Bu hastalıkta erken ve doğru teşhis çok önemlidir. Tehlikeli ve ciddi bir kanser türü olan lenfoma, duruma göre ölümle sonuçlanabilir. Uzmanların erken ve doğru teşhis yapabilmesine yardımcı olmak için uzman destek sistemleri geliştirilmektedir. Sağlık alanındaki uzman destek sistemler, belli bir hastalığa ait verileri makine öğrenmesi ve derin öğrenme yöntemlerini kullanarak sınıflandırılmasını sağlar. Literatürdeki çalışmalar incelendiğinde uzman destek sistemlerinin başarıları görülmektedir. Çalışmada lenf kanserine ait histopatolojik görüntüleri içeren bir veri setiyle çalışıldı. Veri setinde CLL, FL ve MCL türünde lenfomalara ait görüntüler bulunmaktadır. Veri setinde artırım yapmak için 90, 180, 270 ve 360 derecelik açılarda dönme işlemi yapılmıştır. Bu görüntülerdeki özellikleri çıkarmak için ilk yaklaşımda GLCM ve diğer yaklaşımlarda transfer öğrenme metoduyla derin öğrenme mimarileri kullanılmıştır. Özellik seçimi ve boyut azaltımı için PCA kullanılmıştır. Sınıflandırma aşamasında; makine öğrenmesi algoritmalarından RF, KNN, NB, DT ve derin öğrenme mimarilerinden VGG16, ResNet50 ve DenseNet201 kullanılmıştır. Model eğitimleri ikili ve üçlü sınıflar için ayrı ayrı yapılıp sonuçlar incelenmiştir. MCL ve CLL türündeki lenfomaları kendi içerisinde ayırt edilmeleri zordur. Bu yüzden bu lenfomanın sınıflandırma sonuçları diğer sınıflandırma sonuçlarına göre daha düşüktür. FL, diğer iki lenfomayla özellikleri ayırt edilebileceği için FL ile sınıflandırma sonuçları yüksektir. Çalışmada en yüksek başarıyı FL ve CLL'yi %94 doğrulukla sınıflandırarak DenseNet201 göstermiştir.
Bir insansız hava aracı için takipçi uçuş kontrolcüsünün uzun kısa süreli bellek tabanlı olarak geliştirilmesi
Bu tezde, simülasyon ortamında dört-rotorlu insansız hava araçları (İHA) kullanılarak lider-takipçi problemi üzerinde çalışılmıştır. Lider-takipçi problemi İHA'ların birlikte çalışmaları gereken senaryolar için oldukça önemlidir. Tez kapsamında, lider ve takipçi İHA'ların aralarında herhangi bir iletişim olmaksızın uçtukları durumda; takipçinin, lider İHA'yı takip etmesini sağlayan otonom uçuş kontrolcüsü, yalnızca takipçi üzerindeki kameradan alınan görüntüler kullanılarak geliştirilmiştir. Takipçi İHA'nın, lider İHA'dan herhangi bir şekilde konum, hız veya hareket yönü gibi bir veriyi iletişim kanallarıyla alamadığı bu durumda salt kamera görüntülerinin kullanımıyla bu kontrolcünün geliştirilebilmesi için; zaman serisi verilerini işleyebilen Uzun Kısa Süreli Bellek (LSTM) tabanlı bir çözüm önerilmiştir. Bu çözümde takipçinin lideri takip edebilmesi için sahip olması gereken yatış hızının, dalış hızının ve lider İHA'ya göre yükseklik farkının kamera görüntüleri kullanılarak tahmin edilmesi ve bu tahmin edilen bu bilgilere göre takipçi İHA'nın kontrolünün sağlanması hedeflenmiştir. Bu hedef doğrultusunda, LSTM tabanlı modelin eğitimi için gerekli olan veriseti Microsoft AirSim simülasyon ortamında lider ve takipçi İHA'lar çeşitli rotalarda, takipçi lideri takip edecek şekilde uçurularak hazırlanmıştır. Bu verisetinde, uçuş boyunca takipçi İHA'nın üzerindeki kameradan alınan görüntüler, takipçinin bu görüntülerle eş zamanlı yatış hızı, dalış hızı ve lidere bağıl olarak yükseklik farkı bilgileriyle birlikte kaydedilmiştir. LSTM tabanlı modelin performansını arttırmak amacıyla kameradan alınan görüntüler, LSTM katmanına beslenmeden önce zaman dağılımlı bir evrişimsel sinir ağından (CNN) geçirilmiştir. Bu kısımda düşük gecikme süreli bir model olması sebebiyle MobileNet tercih edilmiştir. Ayrıca, çözülmek istenen problemde görüntüler üzerinde işlemler gerçekleştirildiğinden dolayı uzamsal ilişkiler önemli olduğu için, LSTM katmanı normal LSTM'den farklı olarak literatürdeki Evrişimsel LSTM (ConvLSTM) katmanı olarak seçilmiştir. Hazırlanan veri seti ile takipçinin sahip olması gereken yatış hızını, dalış hızını ve lidere göre yükseklik farkını tahmin etmek amacıyla 3 ayrı model eğitilmiştir. Bu modeller, test aşamasında kullanılırken tahmin edilen yatış hızı ve dalış hızı bilgileri takipçiye hedef hız olarak beslenmiştir. Tahmin edilen yükseklik farkı bilgisi de takipçinin uçması gereken hedef yüksekliğin belirlenmesinde kullanılmıştır. Bu şekilde geliştirilen kontrolcünün performansı, lider İHA'nın (1) sağa ve sola manevralar yaparak sabit bir yükseklikte uçtuğu bir rotada, (2) üstten bakıldığında 8 şeklini çizecek şekilde sabit bir yükseklikte uçurulduğu bir rotada ve (3) spiral şeklindeki dairesel ve aynı zamanda yükselmeyi de içeren yörüngede uçurulduğu bir rotada test edilmiştir. Elde edilen sonuçlar, LSTM tabanlı kontrolcünün takipçinin hem yatay eksende ihtiyaç duyduğu yatış ve dalış hızlarını hem de dikey eksendeki yükseklik farkını başarılı bir şekilde tahmin edebildiğini göstermektedir. Böylece takipçi, liderin karmaşık ve dinamik hareketlerine güvenilir şekilde uyum sağlayarak takibini gerçekleştirmiştir. Bu çalışma, doğrudan iletişime ihtiyaç duymayan ve yalnızca görsel verilerle çalışan otonom lider-takipçi sistemiyle literatüre önemli bir katkı sunmaktadır. Bu yaklaşım, özellikle çoklu İHA sistemlerinde, iletişim kopukluklarına karşı dayanıklı bir çözüm sunmakta ve sahada uygulanabilirliği artırmaktadır.
Learning to reconstruct intensity images from events
The past decade has seen significant progress in computer vision, leading to diverse applications across various domains. However, today's artificial vision systems remain in their infancy compared to their biological counterparts in robustness to challenging real-world scenarios, real-time processing capabilities, and computational efficiency. These shortcomings can be attributed to the classical frame-based acquisition and processing pipelines, which suffer from low temporal resolution, low dynamic range, motion blur, and redundant information flow. A new class of visual sensory devices called event cameras offers promising solutions to these challenges. Instead of capturing frames collectively, the pixels of an event camera work independently and respond to local brightness variations by generating asynchronous signals called events. As a result, event cameras have many advantages over traditional frame-based sensors, such as high dynamic range, high temporal resolution, low latency, and minimal motion blur. This thesis focuses on reconstructing intensity images from events. Reconstruction of intensity information leverages the advantages of events for high-quality imaging in challenging scenarios. This enables the application of established methods developed for frame-based images and facilitates human-centered applications involving event data. We present three main contributions on this task: a novel method surpassing existing ones in terms of image quality and efficiency, a comprehensive evaluation framework, and a large and diverse benchmark dataset. First, we develop a novel dynamic neural network architecture based on hypernetworks, named HyperE2VID. HyperE2VID dynamically adapts to event data, unlike existing works that process events with static networks. Its context fusion module leverages complementary elements of event and frame domains, while its filter decomposition steps reduce computational cost. Thanks to this design, it surpasses existing methods in both image quality and computational efficiency. Our second contribution is an open-source library for evaluating and analyzing event-based video reconstruction methods, called EVREAL. EVREAL allows us to evaluate different methods comprehensively, considering diverse and challenging scenarios, employing extensive real-world datasets, measuring robustness to several key variables, and assessing performance through multiple metrics and tasks. This evaluation ensures generalizability to real-world scenarios, fair comparison, and reproducibility. Our third contribution is a new benchmark dataset, HUE. HUE has high resolution, contains numerous sequences taken in diverse scenarios, and focuses on low-light scenarios, a challenging but rewarding domain for event-based video reconstruction. Using EVREAL, we evaluate HyperE2VID via extensive experiments on several datasets, including our proposed dataset HUE. We use various metrics to assess the image quality under different conditions. We also analyze computational complexity and present a detailed ablation study to validate the design choices of HyperE2VID. Our experimental results demonstrate the success of the proposed dynamic architecture, generating higher-quality videos than previous state-of-the-art methods across a wide range of settings, while also reducing memory consumption and inference time. We expect the event-based vision literature to keep growing and event cameras to become more prominent in the coming years. We believe our method HyperE2VID, together with our evaluation framework EVREAL and benchmark dataset HUE, marks an important step towards enabling high-quality and robust imaging in a computationally efficient way.
Visual representation learning by exploring spatio-temporal consistency
Video representation learning is a fundamental area of research in computer vision. It focuses on developing methods and models to encode video data into definitive and discriminative representations that can be effectively utilized in downstream tasks, such as video classification, action recognition, video retrieval and video captioning. At the core of it, video representation learning seeks to understand scene, actor and actor's relationship with their surroundings, e.g. objects, and scene elements. In order to learn the transition of visual content over time, a model needs to capture temporal and spatial information inherently encoded in video sequences and to extract spatiotemporal representations that can be useful for downstream applications. This thesis addresses the problem of self-supervised video representation learning focused on motion features, aiming to capture features from foreground motion with reduced reliance on background bias. Recent successful methods often employ instance discrimination approaches, which entail heavy computation and may lead to inefficient and exhaustive pretraining. Moreover, proposed methods in this thesis do not require any additional computation for motion features, such as optical flow, H264 codec features or any motion descriptor. Although several works in literature incorporate two-stream networks to incorporate motion learning, this thesis work seeks for single network solutions for learning spatiotemporal features. To this end, we utilize the augmentation technique MAC: Mask-Augmentation TeChnique. MAC blends foreground motion using frame-difference-based masks and sets up a pretext task to recognize the applied transformation. By incorporating a game of predicting the correct blending multiplier at the pretraining stage, our model is compelled to encode motion-based features, which are then successfully transferred to downstream tasks such as action recognition and video retrieval. Moreover, we expand our approach within a joint contrastive framework and integrate additional tasks in the spatial and temporal domains to further enhance representation capabilities. We present experimental results on action recognition and video retrieval tasks to demonstrate that our method achieves superior performance on the UCF-101, HMDB51 and Diving-48 datasets under low-resource settings and competitive results with instance discrimination methods under costly computation settings. We carefully design ablation experiments to analyze learning behavior of proposed methods and contribution of each component. Lastly, we present qualitative results to further illustrate the benefits of presented methods. We anticipate that our augmentation technique, along with the associated pretext and contrastive learning objectives, will lay the groundwork for future advancements in self-supervised video representation learning.
Neural network based face detection
One of the challenging problems in computer vision is face detection. The goal of face detection is to locate all regions that contain a face regardless of any three dimensional transformation and lighting condition. There are lots algorithms which were proposed for a solution of face detection problem. In this thesis, I have implemented a neural network based face detection approach. The system detects upright frontal faces in a given image. Some heuristics were used in order to reduce the number of false detections. Also more than one neural networks are used in order to improve the detection capability. There are lots of neural network based face detection systems in the literature. Since these proposed systems in the literature are complex they cannot be used for real time applications. First and the most important difference between the proposed system in this thesis and the systems in the literature is simplicity of a network. Another major difference is size of a window which is used for face detection. In this thesis 10×10 pixel size window which is the smallest window size in the literature is used for detection. Furthermore simple system and small size window gives a faster training and running.
Visual obstacle detection and avoidance for indoor mobile robots
This study is a part of a joint team eort to transform a small-scale model carinto an autonomous moving robot. This transformation includes several routinesthat are essential and attached together. Integration of various equipment on themodel car is the rst step of that routine which is shared among dierent thesisstudies conducted at RAVLAB (Robotics and Autonomous Vehicles Laboratory)of Isk University. Hence, the resulting hardware system which is explained inthis thesis is mostly the co-produce of RAVLAB team.The integration is followed by implementing the software required to establishcontrol and communication links between dierent units. During this thesis, theauthor has developed a multi-threaded main control software to facilitate obstacleavoiding movements of the robot while reading and analyzing sensory inputs.This thesis study mainly focuses on detection of the obstacles with visual informationcollected from an ordinary color camera. The main obstacle detectionalgorithm that is proposed in this thesis is adapted from a powerful backgroundsubtraction algorithm ViBe [1] (Visual Background Extractor). The proposedalgorithm uses the model of the ground plane in order to detect obstacles. Adierent ground plane model is kept for each pixel location as in ViBe. Theproposed algorithm is robust against illumination dierences, shadows and thechanges in the appearance of the ground plane. A comparison is provided (usingground truth data) with another obstacle detection algorithm [2] which also usesa ground plane based model to detect obstacles. The results of the proposedalgorithm under dierent conditions compared to a counterpart.In addition to the obstacle detection, during this study two obstacle avoidancealgorithms are developed to facilitate navigation of the robot in indoor environments.The experiments show that the robot is able to move while avoidingobstacles by using ultrasonic sensors as well as using the visual camera input.
Bilgisayarlı görü tabanlı fosforesans işaretleme yöntemiyle karanlık ortamlarda sıvı seviye ölçümü ve kontrolü
Bu çalışmanın temel amacı kimya, ziraat ve biyoloji alanlarında kullanılan deneysel sıvı akış sistemlerinin, bilgisayar görüsü kullanılarak sıvı seviyesi ölçüm ve kontrol süreçlerini gerçekleştirmektir. Amaç kapsamında, depolama sıvı tankları, süreç tankı, pompalar, kamera ve elektronik devrelerden oluşan laboratuvar tipi sıvı akış sistemi tasarlanmıştır. Sistem aydınlık ve karanlık ortamlarda sıvı seviyesi ve pompa debilerini ölçmek için kullanılmıştır. Sıvı sıcaklık verisi, görünür ışığa dönüştürülerek verinin kamera tarafından alınması sağlanmıştır. Sıvı süreçlerine yönelik görüntü analizi, ölçme ve kontrol yazılımı geliştirilmiştir. Aydınlık ortamda yapılan seviye ölçümlerinde, görüntülerdeki ışık yansıması, paralaks etkisi ve sıvı lekeleri gibi bozucu etkiler hatalı ölçümlere neden olmuştur. Bu etkileri azaltmak amacıyla yeni bir yöntem önerilmiştir. Yöntem, sıvı yüzeyinin karanlıkta fosforesans şamandıra kullanılarak işaretlenmesidir. Ölçüm öncesinde, UV ışığıyla 5 saniye uyarılan şamandıra, karanlıkta parlayarak kamera tarafından 120 saniye algılanmaktadır. Bilgisayar görüsüyle parlamanın konumu belirlenerek sıvının seviyesi ve hacmi ölçülmüştür. Sıvı seviyesi, görüntünün RGB renk uzayı, satır profili ve eşikleme işlemleri kullanılarak ölçülmüştür. Ölçüm sonuçları, gerçek ölçüm sonuçlarıyla karşılaştırılarak ölçüm hatası ±3 mm ve doğruluğu %98.23 olarak hesaplanmıştır. Yöntem kullanılarak iki farklı sıvının belirli oranlarda karışım süreci uygulanmıştır. Yöntem, sıvı seviye tespitindeki karmaşık görüntü işleme algoritmalarını ve matematiksel işlemlerini basitleştirmiştir. Sıvı seviye ölçümünde görüntü işleme teknikleri kullanan FPGA veya mikrodenetleyici tabanlı yazılım geliştirme süreçlerini kolaylaştırmaktadır. Düşük maliyetli ve uygulaması basit bir ölçme yöntemidir. Sıvı seviye değişikliklerinin izlenmesi ve kontrolü amacıyla laboratuvar süreçlerinde geniş uygulama potansiyeline sahiptir.
Face recognition with local Walsh transform
Face recognition is automatically identifying or verifying a person from a still image or a video frame. The challenges in this area largely occur due to illumination, viewpoint, expression, and resolution variances. There is a wide range of information security, surveillance, law enforcement, and entertainment applications which use face recognition despite there being more accurate biometric indicators such as fingerprint or iris. However, these indicators require the cooperation of those being observed whereas face images can be taken without any cooperation. Face recognition systems generally have four main stages; face detection, alignment, feature extraction, and classification. In this dissertation, we focus on the feature extraction stage, which is probably the most challenging part of face recognition systems. Local approaches have been used frequently due to their success in handling variations such as illumination and expression. Local representations are categorized into two types as sparse and dense. In sparse local representations such as Scale Invariant Feature Transform, points of interest are detected to be used for object detection. In dense local representations, such as Local Binary Patterns and Gabor, features are extracted by applying the method to each pixel of an image. In this dissertation, firstly, we propose a dense local representation which localizes the global Walsh Transform. Secondly, we propose methods to use this representation effectively. The first contribution of this dissertation is a novel dense local representation called Local Walsh Transform (LWT). Walsh Transform (WT) kernel is defined as a set of orthogonal functions with values plus and minus ones. The dot product of any two distinct rows and columns of a WT kernel is zero. Transpose, conjugate, and inverse of a WT kernel are equal to itself. For the WT kernel of order N, if we denote rows by i from 0 to N - 1, the ith row has exactly i zero crossings. In the LWT method, we use this special WT matrix to create filters and apply these filters to each pixels of an image separately. Thus, for a N*N WT we create N*N filters and so N*N images, namely LWT components (y). Based on the fact that using phase information makes the recognition method somewhat more invariant to uniform illumination changes and blurring, we propose an approach to create complex images from LWT components. To this end, we utilize the symmetry between the LWT components with respect to the diagonal. By using this symmetrical relationship, we pair the symmetrical LWT components to create LWT complex images. LWT components which are on the upper side of the diagonal are considered as real part of the complex components, while the components which are on the lower side of the diagonal are considered as imaginary parts of complex images which are paired symmetrically with respect to the diagonal. In addition to the LWT, we propose some additional methods to improve the performance of a face recognition system. The LWT is enhanced with some approaches such as Cascaded LWT (CLWT), dividing image into subregions, weighting, and reducing dimension of features by block-based dimension reduction method. In addition, LWT complex images are converted to grayscale images by XOR approach. For face verification problem, SVM is used for classification, while L2ML is used for dimension reduction. Among the proposed LWT-based methods, Patch-based LWT (PLWT) method enlightens the abilities of the LWT most. In PLWT, we take the advantage of both sparse and dense local representations by applying the LWT method to salient points of face images. In feature extraction stage of the PLWT, first, landmarks of images are detected and some of them are selected. Then, the images and their landmarks may be scaled for once or twice. For each selected landmark at different scales of an image, a patch is created around the landmarks. Following this, the LWT method is applied to all patches of the image and LWT complex images are created. Each complex image is divided into non-overlapping subregions and Phase Magnitude Histogram (PMH) of each subregion is calculated. The PMHs of the subregions are concatenated to create the features of complex images and these features are concatenated to create the features of the patches. Dimensions of the features of the patches are reduced by Whitened Principal Component Analysis method. We choose an unsupervised dimension reduction method to make our methods completely unsupervised and be operable on the databases which do not contain class labels of images. For a test image, the same algorithm is applied to the image and dimensions of the patches are reduced by projection matrices learned in the training stage. Identity of the image is determined according to the similarity between the features of the test image and that of the training set images. The proposed PLWT method is further improved by the CLWT approach. In the CLWT, we apply LWT again to both real and imaginary parts of the LWT complex images. In other words, we once more apply the LWT to sharpened images in which shape information is extracted by the first application of the LWT. This approach gives a depth to the method and increases success rate especially on low resolution images in which shapes and edges are blurred. To use this approach in the PLWT method, all needed is to apply the CLWT instead of the LWT. When the proposed method is carried out with the CLWT approach, we call this method Patch-based CLWT (PCLWT). We show the performance of the proposed methods, by applying them to challenging, widely known, and popular benchmark databases. Specifically, for the face identification problem the Face Recognition Technology (FERET) and the Surveillance Cameras Face (SCface) databases are used, for the face verification problem the challenging Labeled Faces in the Wild (LFW) database is used. The FERET is one of the most widely used benchmarks in the evaluation of face recognition methods. This database gives an opportunity to evaluate methods with various facial expressions, lighting conditions, cameras, scale, and aging property. The images of SCface are taken in an uncontrolled indoor environment that mimics the real world conditions of the indoor face recognition problem. It contains very low resolution images which are taken in the dark. The LFW is a database designed to facilitate the benchmarking of unconstrained pair matching and is also intended to illustrate the problem of learning from one example. This database consists of images collected from the web which contain large pose, occlusion, and expression variations. For most of our experiments, we use the "unsupervised" protocol of the LFW since during both training and testing phases we do not use label information of the subjects, and not access to whether any pair of images is of the same subject. For methods which include SVM or L2ML methods, we use "image restricted with no outside data" protocol of the LFW. In the preprocessing step, images of databases are normalized and aligned by the frontalization method, a similarity transform or the High-Fidelity Pose and Expression Normalization (HPEN) with a similarity transform. The landmarks of the face images are detected by using the Supervised Descent Method (SDM) or Dlib. To the best of our knowledge, the PLWT and PCLWT method achieve the best performance on both the FERET and the SCface databases, and the second best unsupervised category result on the LFW database. Although the other proposed methods are also successful, they are below the state-of-the-art results. In conclusion, the LWT is a strong image descriptor which reveals the shape characteristics of images. The CLWT is especially effective on low resolution images where shape characteristics are blurred. Experimental results show that both the PLWT and PCLWT are robust in terms of illumination, expression, occlusion, and low resolution. The high performances of the proposed methods show that these methods are effective on both wild and low resolution images, and are good alternatives to unsupervised hand-crafted methods.
Generating illustrations for children books using generative adversarial networks
This thesis presents a very first method to create children illustration book images. Our method takes edge maps or sketches as input and generates images and/or videos stylized by the selected illustrator. To achieve this, we developed three novel models; an image colorization, an image stylization and a video translation model. Our proposed sketch to image translation model integrates an adversarial segmentation loss to baseline methods which improves the FID and mIoU scores greatly. We show that although the current state-of-the-art image-to-image translation models successfully transfer either the style or the content, they fail to transfer both at the same time. We propose a new generator network to address this issue and show that the resulting network strikes a better balance between style and content. Current video-to-video translation methods build on an image-to-image translation model, and integrate additional networks such as optical flow, or temporal predictors to capture temporal relations. These additional networks complicate and slow down the model training and inference. We propose a new method for ensuring temporal coherency in video-to-video style transfer. We propose a new generator network with feature warping layers to overcome the limitations of the previous methods. Even though, current state-of-the-art image stylization models could generate highly artistic images, quantitative evaluation of them is still an open problem. We propose a new evaluation framework which considers both content and style transfer aspect of an image stylization model. To train these three models, we collected a unique illustration dataset. Our dataset contains more than 10,000 illustrations from 26 different illustrators. It also contains object level bounding box annotations. In its current form it is the first large scale illustration image dataset. We conduct in depth analysis to show that the dataset is challenging.
Yapay zekâ yöntemleri ile diz MRI görüntülerinden menisküs yırtıklarının tespiti
Menisküs diz ekleminde tibia ve femur arasında yer alan, eklem stabilitesini sağlayan, yük dağılımına yardımcı olan ve şok emilimi işlevi gören "C" şeklinde fibro-kıkırdak yapılarından oluşan bir dokudur. Menisküs dokusunun zedelenmesi veya dejenerasyonu; eklem stabilitesinin bozulmasına, yük dağılımının dengesizleşmesine ve uzun vadede kıkırdak aşınmasına bağlı olarak osteoartrit gelişimine yol açarak hareket kısıtlılığı ve kronik ağrı gibi ciddi problemlere neden olabilir. Menisküs yırtıklarının teşhisi genellikle manyetik rezonans görüntüleme (MRG) ile yapılmaktadır fakat bu yöntem uzman yorumuna muhtaçtır. Bu durum da teşhis sürecini olumsuz etkileyebilir. Bu çalışmanın amacı MRG üzerinden menisküs yırtıklarını tespit etmek ve menisküs bölgesinin hassas segmentasyonunu gerçekleştirmektir. Bu amaç doğrultusunda menisküs yırtıklarını tespit etmek için bir derin öğrenme modeli olan MOD-YOLOv8 geliştirilmiştir. Ayrıca topluluk metotlarına dayalı yeni bir segmentasyon yöntemi uygulanarak menisküs bölgesinin daha doğru ve güvenilir şekilde belirlenmesi hedeflenmiştir. Çalışmada YOLO serisi modelleri kullanılmış ve önerilen yöntemin başarımı dice similarity coefficient, precision, recall and positive predictive value gibi metrikler ile değerlendirilmiştir. Bulgular, önerilen modelin hem menisküs yırtıklarının tespitinde hem de segmentasyon sürecinde üstün performans gösterdiğini ve klinik uygulamalara entegre edilebileceğini ortaya koymaktadır.
Generating stories from large scale image collections
Making sense of ever-growing amount of visual data that is available on the web is one of the biggest challenges we face today. As a step towards this goal, this study tackles a relatively less-studied topic in the literature, namely generating structured summaries of large photo collections in a purely unsupervised manner. Our methodology relies on the notion of a story graph which captures the main narratives in the data and their complex relationships by means of a directed graph with a set of (possibly intersecting) paths. Our proposed method identifies coherent visual story lines and exploits submodularity to select a subset of these lines which have the maximum coverage. Various experiments and user studies demonstrate that the approach delivers better performance than the previous methods. Furthermore, this study explores the role of visual attention and image semantics in understanding image memorability. In particular, we present an attention-driven spatial pooling strategy and show that considering image features from the salient parts of images improves the results of the previous models. We also investigate different semantic properties of images by carrying out an analysis of a diverse set of semantic features which encode meta-level object categories, scene attributes, and invoked feelings. We show that these features which are automatically extracted from images provide memorability predictions as nearly accurate as those derived from human annotations. Finally, by incorporating the memorability property together with aesthetics into the story graph generation framework, the effects of intrinsic properties on story graphs are explored. Experiments utilizing these memorable and aesthetic story graphs as a prior knowledge base show further improvements.
Recognizing human interactions in still images
Recognizing human interactions in still images is quite a challenging problem since compared to videos, there is only a glimpse of interaction in a single image. In this thesis, we explore the role of two components that provide descriptive features upon recognizing interactions in still images: the role of human faces and poses. As for the role of human faces, we explore whether the facial regions and their spatial configurations contribute to the recognition of interactions. In this respect, our method involves the extraction of several visual features from the facial regions, incorporating scene characteristics and deep features to the recognition. Extracted multiple features are utilized within a discriminative learning framework for recognizing interactions between people. Our designed facial descriptors are based on the observation that relative positions, size, and locations of the faces are likely to be essential for characterizing human interactions. Since there is no available dataset in this relatively new domain, a comprehensive new dataset that includes several images of human interactions is collected. Our experimental results show that faces and scene characteristics contain vital information to recognize interactions between people. On behalf of exploring the role of human poses upon recognizing interactions, we propose a multi-stream convolutional neural network architecture, which fuses different levels of human pose information to recognize human interactions better. In this context, several pose-based representations are explored. Experimental evaluations in an extended benchmark dataset show that the proposed multi-stream pose Convolutional Neural Network successfully discriminates a wide range of human-human interactions. Moreover, when used in conjunction with the overall context, human poses provide discriminative cues about human-human interactions.
Kültüre edilen bazı balık türlerinde elektronik burun ve bilgisayarlı resim analizi kullanılarak soğuk muhafazada kalite takibi
Türkiye'de kültür su ürünleri üretimi TÜİK verilerine göre 2015 yılında 240.334 ton olarak gerçekleşmiştir. Kültüre edilmiş su ürünleri taze-soğutulmuş, dondurulmuş bütün balık; taze-soğutulmuş ve dondurulmuş fileto şekillerinde ihraç edilmekte ve aynı şekilde iç piyasada da tüketilmektedir. Bilgisayarlı resim, herhangi bir nesneye ait görüntüyü bir yazılım yardımıyla analiz ederek nesnenin renk değerlerini sayısal olarak verebilen bir tekniktir. Nesnenin tamamından yada kullanıcının istediği alanda renk ölçümü yapabilmektedir. Su ürünlerinde depolamaya bağlı olarak az miktarda renk değişimleri olabilmektedir. İnsan gözüyle tespit edilemeyen bu değişimler bilgisayarlı resim yardımıyla tespit edilebilir. Elektronik burun, yapısında kimyasal sensör dizisi barındıran ve sensörler sayesinde çok hassas ölçüm yapabilen bir cihazdır. Elektronik burunun hem bilimsel araştırmalar için hem de ticari kullanım için örnekleri mevcuttur. Strafor kutularda, doğrudan temas etmeden buzlanmış olarak laboratuvara getirilen kültür çipura ve levrek balıkları 0-4°C arasında depolanmıştır. Depolama süresince kalitenin ve raf ömrünün belirlenmesi amacıyla kimyasal analizlerden toplam uçucu bazik azot (TVB-N) ve trimetilamin (TMA-N) ile oksidasyona yönelik thiobarbuturic asit reaktif madde değeri (TBARS) analizi, mikrobiyolojik analizlerden toplam canlı ve psikrofil bakteri sayımı gerçekleştirilmiştir. Eş zamanlı olarak, duyusal analiz ve doku profil analizi uygulanmıştır. Enstrümental analiz uygulaması olarak bilgisayarlı resim ve elektronik burun analizi gerçekleştirilmiştir. Tez bulgularının değerlendirilmesi sonucu, soğukta depolanan, kültür balıklarının kalite takibinde bilgisayarlı resim analizi ve elektronik burunun kullanıma uygun olup olmadığı tespit edilmiştir.
Semantic interest point detection
In this thesis, the problem of constructing a generic model-driven visual dictionary that is adequate for a variety of image understanding applications is investigated. The proposed dictionary based scheme that we call Symbolic Patch Dictionary (SymPaD), follows the steps of Bag of Visual Words (BoVW) paradigm in which, pixels are visited on a dense grid, local image characteristics are extracted in terms of shape similarity scores to the dictionary atoms, the scores are pooled, and finally an image signature is obtained. We differ from BoVW schemes in the literature in the generation of our shape dictionary. These shape patterns are generated by mathematical formulae encoding qualititative image characteristics. Compared with the existing model-driven schemes our method is able to represent images of a variety benchmark datasets of image understanding applications with better discrimination.
Place recognition with an attentive robot
This thesis is concerned with robotic place recognition. From the robot's perspective, the goal of place recognition is to determine its whereabouts - given its knowledge of places it has visited previously. This problem is broken into four stages: First, the problem of how the robot should look around in the current place is considered and a model of attentive visual behaviours based on a family of artificial potential functions is developed so that the robot is able to consider the interesting points in the scene. Next, the problem of place representation is considered. For this, a topological model referred to as bubble space is developed. Sensory features associated with all the interesting points are encoded as bubble surfaces - in a manner that is implicitly dependent on robot pose. For compact representation, bubble surfaces are transformed into bubble descriptors that are rotationally invariant with respect to heading changes while being computable in an incremental manner as each new set of visual observations is made. Bubble descriptors are used for supervised place learning and recognition with support vector machines. Following, the problem of integration of sensory and semantic cues is considered and a representation referred to as ``cue descriptor semantic forest'' is proposed. The integration of different feature and semantic cues becomes very simple regardless of their type or their number while allowing relative and possibly partial semantic expressiveness via cue weights. Finally, the problem of unsupervised place learning is considered. A novel approach for the incremental and autonomous construction of bubble descriptor semantic trees is proposed. Comparative experiments on benchmark datasets as well as real-time robotic experiments indicate high recognition rates, dynamic with low computation times.
Angioinspect: Image processing-based coronary angiography assistant
Patients with coronary artery blockage or stenosis require the placement of a stent. Determining the appropriate stent length often relies on the physician's experience and intuition. This circumstance can lead to the placement of stents that are either excessively long or short. The objective of this project is to develop software that calculates the stent length, which can be easily utilized by healthcare professionals. This way, errors during stent placement will be minimized, contributing to an improved quality of life for patients. The project facilitates access to the software for healthcare professionals in any setting with internet connectivity, utilizing image processing algorithms that analyze coronary arteries. The process begins with the healthcare professional enclosing a region with a clear catheter in a rectangle to accurately calculate the stent length. They must select the blocked region using Bezier curves. Subsequently, the software recommends the appropriate stent length by considering the catheter's diameter. Our image processing algorithms enable users to effectively outline the catheter diameter and the blocked coronary artery. Identification of pixels representing the blocked area within the image is enabled. These pixel data are utilized during image processing to calculate the correct stent length. In conclusion, the developed web-based software provides a reliable and user-friendly environment for calculating stent length based on visual assessments by physicians. The project has the potential to minimize errors in stent selection, thus contributing to the treatment outcomes of patients with coronary artery blockage or stenosis.
Öz denetimli yöntemlerle görsel özellik ayrıştırma
Bu çalışmada, öz denetimli bir yöntem kullanılarak, önceden eğitilmiş çekişmeli üretici ağların gizli uzaylarındaki temel anlamsal eksenleri belirleyebilen bir yaklaşım sunulmaktadır. Bu bağlamda, yenilikçi bir yaklaşım olan Yön-Ayrıştırıcı model önerilmektedir. Bu evrişimsel model ResNet18 öznitelik çıkarıcısı mimarisini ikiz ağ kurgusunda kullanmaktadır. Bir üretici ağ tarafından öz denetimli olarak oluşturulan görseller ile Yön-Ayrıştırıcı modelin eğitimi için veri kümesi oluşturulmaktadır. Oluşturulan verilerle eğitilen Yön-Ayrıştırıcı model, daha önce rastlamadığı iki verinin görsel özelliklerinin üretici ağın gizli uzayındaki farkını kodlayan yön vektörünü bulabilecek şekilde eğitilmektedir. MNIST ve FreyFaces veri kümeleri ile önceden eğitilmiş InfoGAN ve DCGAN modelleri kullanılarak yeni veri kümeleri elde edilmiştir. Çok modlu MNIST verilerinde tutarlı veri örnekleri oluşturabilmek için sezgisel bir benzerlik metriği kullanılmıştır. Bunun için önceden eğitilmiş birer değişimsel otokodlayıcı ve sınıflandırıcı ile gömme vektörleri oluşturulmuştur. Bu veriler ile elde edilen deneysel sonuçlar, Yön-Ayrıştırıcı model ile belirlenen yönler ile tayin edilen anlamsal özelliklerin farklı veri örneklerine uygulandığında verinin tutarlı bir şekilde değiştirildiğini göstermektedir.
Bilgisayarla görme ve giyilebilir çoklu sensör sistemi ile yürüyüş analizi
Bu projede, Fizik Tedavi Rehabilitasyon (FTR) alanında, hastalıkların tedavisi için, hastaların yapması gereken egzersizlerin, uzaktan kontrolü, takibi, gerekli olduğu taktirde uzaktan yönlendirilmesi ve daha ileri düzeyde çalışmalar için bir veri toplama sistem tasarımı vasıtasıyla mevcut sistemlere göre üstünlükleri bulunacak, özellikle yürüyüş bozukluklarını tespiti ile rahatsızlıkların tespitine yönelik çalışmalara imkan sağlayabilecek bir sistem tasarımı gerçekleştirilmesi amaçlanmıştır. Bu tez çalışması kapsamında, hem ayak tabanı haritası çıkarma, hem de yürüyüş esnasında gövde ve uzuvların duruşunu eşzamanlı olarak analiz etmeye yarayan, taşınabilir özellikte, gerçeklenen uzman ihtiyaçlarını karşılayan düzeyde bir donanım ve elde edilen verilerin işlenebileceği bir yazılım ortamının oluşturulmasına yönelik araştırma çalışmaları yürütülmüştür. Yapılan literatür çalışması neticesinde, mevcut ticari sistemlerin bilimsel araştırmalara olanak sağlayan veri sağlamaması nedeniyle verilerin toplanabilmesini sağlayacak cihazlar üzerinde geliştirmeye ihtiyaç duyulmaktadır. Mevcut bilimsel araştırmalarda, görsel sistemlerin sadece gövde ve duruş analizine odaklı olduğu ve ayak tabanında oluşan değişimleri ölçmekten uzak olduğu görülmüştür. Giyilebilir sensörlerin veya ayakkabı tabanına monte edilen zemin sensörlerinin ise gövde duruşu hakkında bilgi sağlama konusunda eksiklikler içerdiği görülmüştür. Mevcut literatürde yürüyüş analizi için gerçekleştirilen çalışmalarda ise çözüm odaklı bir analiz yapan sistemin varlığı konusunda eksikler olduğu görülmüştür. Bu tez çalışmasında, yürüyüş esnasında ayağın konumunu, duruşunu ve ayaktabanı üzerine uygulanan kuvvetlerin tespitini gerçekleştirebilen, bu sayede yürüyüş bozuklukları gibi rahatsızlıkların tespitini gerçekleştirebilecek verileri işleyebilen, elde edilen verilerin analizlerini gerçekleştirebilen, bir tasarım ve uygulama gerçekleştirilmiştir.
Revisiting image captioning structures based on CNN and RNN, and improving the performance using modified decoders with residual connections
In this thesis, the image captioning structure consisting of a Convolutional Neural Network (CNN) as the encoder and a Recurrent Neural Network (RNN) as the decoder is visited by comparing and evaluating the effects of different image feature extractors, different RNN cells, different types of word embeddings, and the involvement of residual connections between the RNN cells. The famous ``Show, Attend and Tell" model is modified by adding residual connections between the RNN cells and adding other modifications on both the encoder and the decoder side, which improved the performance of the model on the image captioning task. Furthermore, models were trained by implementing 3 different pre-trained word embeddings and their benefits were explored. With the best model, 34 BLEU-4 points and 15 SPICE points improvement were achieved compared with the base model. The effects of training our best model with the images transformed into the frequency domain rather than the images represented in the spatial domain are investigated and it is concluded that this approach cannot enhance the performance of the model. The results of the experiments demonstrate the effectiveness of the proposed modifications and provide insights into the potential of residual connections.
Product recognition and counting in retail stores using computer vision
Retail business is a very competitive industry and retailers are using every possible means to maintain and grow their businesses. On the other hands, computers are available in almost every retail store, and are usually used to perform traditional tasks, such as sales and financial managements. Moreover, some more sophisticated methods are proposed to assist retailers offering better services to the customers in order to maximize the profits. Some of these methods are used to support the decisions made by the retailers, while other methods are used to monitor the execution of these decisions. The use of computer vision is found to be more cost efficient than other techniques, but it has its own limitation in classification, especially that most of the computer vision techniques convert the image to grayscale before any processing to detect shapes rather than colors. Thus, these techniques may be considered as color-blinded, while many products are different from each other mainly in color. In this study, computer vision is used to monitor the placement and number of products on the shelves of a retail store by combining the Speed Up Robust Features (SURF), which is used to detect the existence of one image into another, and the color average, to improve the classification performance, especially for products of same brands. The results of the conducted experiments show the huge improvement in products recognition when the color average is used alongside with the matching ratio resulted from the SURF method. In experiment (A), the accuracy is measured for products recognition using the SURF method only. The detected products are 95% of the total number of products in the images, 61% of these detected products are classified correctly. Then, the color average is used alongside the matching ratio, in experiment (B), and the number of products detected in this scenario is still 95%, because the detection task is achieved by the SURF algorithm only, and the color average has no role in this task. On the other hand, 88% of the detected product are classified correctly in this scenario, which means that the use of color average improved the results by 27%. In experiment (C), three model images per product are used for training, instead of one model image per product in the previous scenarios, to improve the recognition capabilities of the SURF method. The detected products in this scenario are 99% of the total number of products in the tested images, and 97% of these products are classified correctly into their corresponding classes. The results of these experiments show the huge improvement in products classification when the color average is used with the ratio of the matched interest points to the total number of interest points in the model image. This improvement is according to the fact that the SURF detects interest points regardless of the colors in that image, while the main difference among products of the same brand is usually the colors of these products. Moreover, the increment of model images per product in the training dataset results a better detection, as well as better classification, especially when model images taken for each product are in different lightings and view angles.
Pekiştirmeli öğrenme yöntemi ile poz tahmini ve insan hareket analizi
Ev ortamında fizyoterapi ve sağlık uygulamaları, teknolojinin gelişmesi ve dijital iletişim araçlarının yaygınlaşmasıyla birlikte hayatımıza girmiştir. Bu uygulamalar, daha erişilebilir, etkili ve kişiselleştirilmiş sağlık hizmetleri sunma amacıyla gelişmiş teknolojilerin entegrasyonunu temsil etmektedir. Günümüzde, özellikle pandemik koşullardan sonra, hastaların konforlu bir şekilde kendi evlerinde tedavi görmelerine ve sağlık durumlarını takip etmeye olanak tanımak önemli bir araştırma konusu olmaktadır. Tez çalışması kapsamında, tüm bu ihtiyacı karşılamaya yönelik sağlık ve teknoloji bir araya getirilerek uzaktan fizik tedavi sağlayan kamera tabanlı bir yaklaşım ile kullanıcılara düşük maliyetli ve pratik bir tasarım sunmak hedeflenmektedir. Bu amaçla, kullanıcılara tekrar etmesi istenen hareketlere ait eğitmen videoları gösterilmekte ve en benzer şekilde bu hareketi gerçekleştirmeleri beklenmektedir. Sistemde, çalıştırılacak vücut fonksiyonuna göre seçilmiş 11 hareket bulunmakta ve bu hareketler kullanıcılara gruplandırılmış şekilde sunulmaktadır. Gerçekleştirilen hareketler, Mediapipe ile analiz edilmekte ve eğitmen/kullanıcı benzerliğinde hareket özelinde çıkarılan açılar kullanılmaktadır. Bu açılar, dinamik zaman bükme algoritması ile karşılaştırılmakta dolayısıyla yapılan hareketlerin benzerliği zamandan bağımsız olarak değerlendirilebilmektedir. Sistemdeki çevre tasarımına göre kullanıcıya gösterilecek hareketin kararı pekiştirmeli öğrenme algoritmalarından biri olan politika iterasyonu algoritması ile verilmektedir. Pekiştirmeli öğrenme aracılığıyla kullanıcıya oyunlaştırılmış bir tasarım sunulmakta ve ödül/ceza sistemi ile kullanıcının motivasyonunu yüksek tutmak amaçlanmaktadır. Sistem, kavramsal olarak ortaya konması sebebiyle alanında uzman kişilerin önerileri ile şekillendirmeye uygun ve esnek olarak tasarlanmıştır. Çalışma kapsamında temel uygulama alanı fizik tedavi olarak belirlense de aynı mantık ile çalışan tüm alanlarda uygulanma imkânı bulunmaktadır.
Bulaşıcı hastalıkların eğitim üzerindeki etkilerinin azaltılması için derin öğrenme ve nesnelerin interneti tabanlı bir sistem önerisi
COVID-19 pandemisi, 2020 yılının başından beri dünya genelinde, çoğu alanda insanların hayatı olumsuz etkilemektedir. Eğitim alanı da yüz yüze eğitime getirilen kısıtlamalarla birlikte bu durumdan en çok etkilenen alanlardan biri olmuştur. Bu araştırmada hem COVID-19'un hem de ileride yaşanabilecek farklı bulaşıcı hastalık salgınlarının eğitim üzerindeki etkisini azaltmaya yönelik bir sistem sunulmuştur. Bu sistem, derin öğrenme yöntemleri ile sınıfa girecek olan öğrencilerin maske takıp takmadığının kontrolünü yapmaktadır. Beş farklı konvolüsyonel sinir ağı modeli, maskeli ve maskesiz yüz görüntülerini sınıflandırmak üzere aynı veri seti üzerinde eğitilerek karşılaştırılmıştır. Sistem aynı zamanda, bilgisayarlı görü teknikleri ile yüz tanıma yapmakta ve karantinada olması gereken öğrencilerin sınıflara girmesini engellemek için yoklama alma işlemi gerçekleştirmektedir. Yüz tanıma işleminin daha hızlı yapılabilmesi için üç farklı yüz tespit yöntemi karşılaştırılmıştır. Son olarak nesnelerin interneti yardımı ile, ders verilen sınıfa ait sıcaklık, bağıl nem ve hava kalitesi sürekli olarak ölçülmekte ve MQTT sunucu yardımı ile ana sunucuya iletilen veriler analiz edilerek virüsün yayılmasına elverişli ortam koşulları oluşmadan önce dersin sonlandırılması için uyarı yapılmaktadır. Oluşturulan sistem ile salgın dönemlerinde kısıtlamalara uyulup uyulmadığının verimli bir şekilde kontrolü yapılabilmektedir. Bu şekilde yüz yüze eğitim aksamadan okul gibi kalabalık ortamlarda hastalığın yayılmasının azaltılması hedeflenmektedir.
Otonom araçlarda yol ve trafik unsurlarının görsel algılaması için derin öğrenme tabanlı yöntemler geliştirilmesi
Dünya çapında trafik kazalarının önemli bir kısmı insan hatalarından kaynaklanmaktadır. Bu trafik kazalarını azaltma veya önleme, emisyonları azaltma, engelli kişileri taşıma, yolculara uygun maliyetli ulaşım hizmeti sunma ve sürüşle ilgili stresi azaltma gibi amaçlarla otonom sürüş sistemleri geliştirilmektedir. Araç dinamiğindeki biriken bilgi, derin öğrenmenin ortaya çıkışının neden olduğu bilgisayarlı görme alanındaki atılımlar ve çeşitli sensör teknolojilerinin mevcudiyeti, otonom sürüş sistemleriyle ilgili araştırmaları katalize etmektedir. Bununla birlikte, karmaşık trafiğe sahip kentsel ortamlarda emniyetli sürüş gerçekleştirilebilmesi için otonom sürüş sisteminin yazılım mimarisindeki konumlandırma, algılama, planlama ve araç kontrolü gibi modüllerin kusursuz bir şekilde tasarlanması gerekir. Özellikle, algılama modülü, aracın çevresi ile etkileşimi sağladığı ilk evre olması bakımından önemi bir kat daha artmaktadır. Bu modüldeki hatalı bir nesne tanıma ve izlemenin sonucu direkt diğer modüllere etki eder ve otonom aracın yanlış karar almasına ve dolayısıyla kaza durumlarına yol açabilir. Bu nedenle, bu tez çalışmasında, algılama modülünün görevlerinden yaya geçidi tespiti, yol yüzeyindeki çatlakların tespiti, trafik sahnesindeki nesnelerin tespiti ve sürülebilir yol bölgelerinin tespiti için doğruluk performansının arttırılmasına odaklanılmıştır. Her bir görev için evrişimsel sinir ağlarını temel alan yeni bir yöntem geliştirilerek önerilmiştir. Sürülebilir yol bölgesinin tespiti için literatürdeki veri seti eksikliğini gidermek için yeni ve özgün bir veri seti hazırlanmıştır. Deneysel testlerde her bir görev için önerilen yöntem ve sanat harikası yöntemler kendi içinde değerlendirildiğinde önerilen yöntemler sanat harikası yöntemlere göre doğruluk açısından daha başarılı olmuştur.
Simulation of airborne and UAV remote sensing data with computer graphics tools
Ground-truth data are an important need for researchers working in the field of remote sensing. Obtaining these data from residential areas, mountainous areas etc. are an expensive and time consuming process. In the scope of this study, 3-dimensional world creation tools and photo-realistic image production tools from this 3D world will be used to obtain images from many different geographical regions and different shooting conditions (such as sunny, slightly sunny, foggy, etc .). Some data will be generated by random and procedural methods, and some data will be sourced from existing open sources. With the blending of all these data, images from synthetically produced regions with very rich, realistic and terrestrial accuracy will be taken with different flight scenarios and will be presented to the service of researchers working in the field of remote research. Thanks to the high data volume that has become possible with this study, it will be more possible to train deep learning methods that need a lot of data and to provide a generalized learning.