Convolutional neural networks
131 theses under this subject heading
Akciğer bilgisayarlı tomografilerinden görüntü işleme ve derin öğrenme ile COVID-19 tespiti
Yeni koronavirüs hastalığı (COVID-19) SARS-CoV-2 virüsünün sebep olduğu bir salgın hastalıktır. Bulaşıcılığının çok yüksek olması sebebiyle hastalığın kontrol altına alınabilmesi için enfekte olmuş bireylerin hızlıca tespit edilip izole edilmesi gerekmektedir. Hastalığın tespit edilmesinde sıklıkla tercih edilen yöntem ters transkripsiyon-polimeraz zincir reaksiyonu (RT-PCR) testleridir. Bu testlerin sonuç verme sürelerinin uzunluğu ve başarım yüzdelerinin hastalığın evrelerine göre farklılık gösterebilmesi önemli dezavantajları olarak öne çıkmaktadır. Hastalığın erken evrelerinde hızlı ve doğru bir şekilde COVID-19 tanısı koyabilmek için tıbbi radyolojik görüntüleme yöntemleri de kullanılmaktadır. Bu yöntemler, hasta ile daha az temas gerektirdiğinden daha az bulaş riskine sahiptir. Özellikle, X-ışını (X-Ray) ve Bilgisayarlı Tomografi (BT) görüntüleri üzerinden derin öğrenme temelli yaklaşımlar ile COVID-19'un tespit edilmesini hedefleyen çalışmalar literatürde yoğun ilgi görmektedir. Bu çalışmada, akciğer BT görüntülerini içeren bir veri kümesi oluşturulmuştur. Bu veri kümesi üzerinde derin öğrenme temelli mimariler kullanılarak COVID-19'un tespiti gerçekleştirilmiştir. Derin öğrenme mimarileri kullanılırken iki farklı izlem takip edilmiştir. Birinci izlemde, Basit-CNN ve VGG16 mimarileri kullanılarak ağ derinliğinin başarım üzerindeki etkisi incelenmiştir. İkinci izlemde ise öğrenme aktarımı yönteminin derin öğrenme mimarilerinden VGG19, MobileNet ve DenseNet'in başarımları üzerindeki etkisi araştırılmıştır. Çalışmalar sonucunda DenseNet201 mimarisinin 0,99 test doğruluğu ile en yüksek başarıma sahip olduğu gözlemlenmiştir.
Pre-surgical device for correction of the cleft lip
The first object of this thesis is to propose a new architecture that can be utilized in the pre-surgical treatment of cleft lip and palate. The architecture consists of two main parts mechanical and electronic. The proposed architecture provides an external pressure applied directly to the cleft lip areas through an airbag placed on the mechanical part of the architecture. The amount of pressure applied to the cleft lip is controlled by the electronic part. FEA method was used to analyze the effect of pressure applied to the cleft lip and cleft bone regions. We analyzed the effect of displacement distributions, the tensile and compressive strengths, and von Mises stress distributions on the cleft areas. The results proved that the external pressure led to bringing the incisions closer to each other. External pressure has contributed to bringing the incisions closer to the target position of the plastic surgeons. The results have shown that the proposed architecture can contribute to the presurgical treatment of clefts in the mouth and palate as an alternative to the traditional method. The second object of our thesis is to detect the cleft lip and extract its features that provide a second opinion for plastic surgeons for a vision of the cleft lip features using the combined method. The combined method consists of three algorithms for cleft lip detection and feature extraction (face detection, cleft lip classification, and cleft lip detection). The results show that our method has the best efficiency and high accuracy in lip detection and optimal feature extraction. Moreover, the proposed method demonstrates its effectiveness with a limited set of cleft lip images.
Retinal blood vessel segmentation using transfer learning on unet
Manuel segmentation of the retinal blood vessel is time-consuming and there are different conclusions among the ophthalmologists hence creating an automated approach can improve the analysis of the images in order to detect diseases like hypertension. Deep Learning models have shown great performance in the last decade. In this thesis, we constructed the network with UNET, a Convolutional Neural Network-based architecture particularly efficient for medical images. Since the DRIVE dataset, which is freely available, comprises insufficient numbers of training and test samples, we created our method using Transfer Learning, a method that uses the weights from the previously trained network rather than starting the learning with random values. We used several state-of-the-art pre-trained network designs such as VGG, ResNet, and EfficientNet in two different sizes. With the VGG19 architecture, we were able to achieve 96.84% accuracy by freezing the top 12 layers of the network. This promising result shows that this approach can be used in real-world scenarios, with improved accuracy.
Deep learning based fabric defect detection
The use of deep learning approach in textile industry for defect detection purpose has become an increasing trend in the last twenty years. Majority of publications have investigated a specific problem in this field. Furthermore, many of published reviews or surveys articles preferred to investigate papers from a more general perspective. Compared with published review publications, this thesis is the first up-to-date study that investigates implementation of deep learning approaches for detection of fabric defects from 2003 to now. In this thesis, deep learning algorithms, VGG 19 and Capsule Networks, are also implemented. In addition, different variants of the auto-encoder method, which is a deep learning method, were also applied. As the main objectives of this thesis is to review deep learning based fabric defects detection and to implement deep learning, the publications regarding fabric defects detection by using deep learning are examined and experimental results are presented.
Classification of skin cancer with deep transfer learning method
Skin cancer is a significant threat to human health. The key solution to completely treating skin cancer patients is early detection of lesions, which are the basis of skin cancer. With the advancement of artificial intelligence technology, significant progress has been made in developing automated approaches to help dermatologists detect skin cancer. In this study, eight different transfer learning networks are examined on the International Skin Imaging Collaboration (ISIC) dataset (64000 images) for the classification of skin cancer. The models used in the study are DenseNet121, Xception, InceptionResNetV2, ResNet50, Inception, EfficentNetB6, VGG16, and MobileNetV2 which were successful in various studies recently. In the preprocessing part of the study, the dataset is split into three parts training, validation, and testing. The results of the study showed that some transfer learning models are appropriate for classification success, with high classification accuracies. With an accuracy rate of 99.6%, the finetuned DenseNet121 model outperformed all other pre-trained models used in the study. In addition, when the ensemble learning method was applied with the best three models (DenseNet121, MobileNetV2, and Xception), 99.96% accuracy was obtained.
Deep ensemble learning-based classification of stroke
Stroke is one sort of brain disease that profoundly impairs people's quality of life and health. The quantitative analysis of brain Magnetic Resonance (MR) images is crucial for both the diagnosis and treatment of strokes. The method of early diagnosis is crucial for preventing stroke instances. Deep neural networks, which have the capacity for vast data learning, enable stroke prediction. Therefore, in this study, several deep neural network models are proposed for transfer learning to classify MRI images into two categories (stroke and non-stroke), in order to study the characteristics of the stroke lesions and achieve full intelligent automatic detection. These models include MobileNet, EfficientNetB2, ResNet50, DenseNet121, and EfficientNetB2. 1901 training images, 475 validation images and 250 testing images make up the study dataset. Data augmentation was employed to increase the number of images on the training and validation sets, which helped the models to learn more effectively. Results from the experiment outperform those from all state of the art methods that used the same dataset. The top models of the study, which use the DenseNet121 and Xception models for transfer learning, obtained an overall accuracy of 98.4% with the same values for precision, recall, and F1-score. Additionally, ensemble learning method is used with the top three models of the study, EfficientNet, DenseNet, and Xception, and a 100% overall score is obtained.
Design of a new biometric system based on hand geometry images using deep learning methods
Dorsal hand vein patterns are unique to each individual, making them a promising tool for accurate identity recognition. This thesis focuses on biometric analysis of human identification. The tecnocampus hand image dataset is used to validate feature extraction methods on dorsal hand images. The study compares and analyzes three Convolutional Neural Network CNN architectures: ResNet-50, GoogleNet, and SqueezeNet, which offer distinct approaches to feature extraction. It evaluates the performance of each method by applying them to a dataset. Based on the analysis, the most effective features are selected from the respective architectures. By leveraging the robustness of assessed CNN architectures and harnessing the power of Euclidean distance, the proposed approach achieves remarkable outcomes in the realm of image recognition. It uses feature vectors to measure similarity between dorsal images, and uses Euclidean distance to measure the similarity between feature vectors. This allows the algorithm to accurately identify and match hand vein patterns with high accuracy. With an overall accuracy of 97.32%, this research has significant implications for the field of biometric identification and could serve as a valuable foundation for future advancements in this area.
Detection of faulty solar panels using artificial intellegence methods
Solar energy is gaining popularity as a renewable energy source, but maintaining the efficiency of solar panels poses challenges due to potential defects that can lead to significant energy production losses. The objective of this thesis is to develop an accurate and robust classification model using deep learning techniques to detect faulty solar panels. The proposed method relies on Convolutional Neural Networks (CNNs) and transfer learning techniques to achieve high accuracy, reaching 93% in accurately classifying faulty solar panels using the proposed CNN model. The transfer learning architectures are DenseNet121, ResNet50, MobileNetV2, and Xception models, were implemented with accuracies of 81.66%, 51.21%, 77.47%, and 90.31% respectively. This study demonstrates the effectiveness of employing deep learning techniques alongside suitable data preprocessing methods to develop the classification of defective solar panels.
Detection of phishing urls with deep learning based on the GAN-CNN-LSTM network and swarm intelligence algorithms
Phishing attacks are one of the challenges of the Internet and its users. Phishing attacks are an example of social engineering attacks based on deceiving users. In phishing attacks, fake pages that are very similar to legitimate pages are created on the Internet. In phishing attacks, the victim is directed to fake pages, and their valuable information is stolen. Most of the targets of phishing attacks include online payment services, banking, and online sales, so the losses of these attacks are significant. One way to detect phishing attacks is to use machine learning and deep learning methods. The challenge of machine learning and deep learning methods is intelligent feature selection. The lack of feature extraction and intelligent feature selection reduces the accuracy of learning methods in detecting phishing attacks. This paper presents a combined method with deep learning, machine learning, and swarm intelligence algorithms to detect phishing attacks. In the first phase, the dataset is balanced by deep learning based on the GAN network. In the second step, the convolutional neural network extracts the primary features from the links and code of web pages. In the third step, the White Shark Optimizer (WSO) algorithm selects the essential features. In the last step, the LSTM neural network classifies the samples. The proposed method has been evaluated on ISCX-URL-2016 and Phishtank datasets for feature extraction and selection. The proposed method's accuracy, precision, and sensitivity in the ISCX-URL-2016 data set are 97.94%, 97.82%, and 97.76%, respectively. In the Phishtank dataset, the proposed method has accuracy, precision, and sensitivity of 96.78%, 95.67%, and 95.71%. The proposed method is more accurate than LSTM, CNN, CNN-LSTM, CNN+GA, DNN, VAE-DNN, and AE-DNN methods in detecting phishing.
Cloud based veins recognition and authentication using CNN
In the current digital landscape, numerous systems require a reliable recognition method to verify the identity of individuals accessing their services. As technology continues to evolve, there's an escalating demand for robust and secure biometric identification. With increasing advancements in the interface between humans and computers, new biometric modalities have emerged and gained traction. Among these, the finger vein has emerged as a particularly compelling area of research. The underlying rationale for this heightened interest is the unique characteristic of the human finger vein, its intricate structure, and the inherent difficulty in counterfeiting or stealing this information. This thesis delves deep into proposing a finger vein-based recognition system tailored for individual identification. The finger vein stands out primarily because of its distinctiveness. Each individual's finger vein pattern is intricate and different, almost akin to the uniqueness of a fingerprint but concealed within the body, making it a challenging target for malicious intents. Unlike external features like facial structures, fingerprints, or iris patterns, which can be potentially copied, mimicked, or stolen, the finger vein remains protected inside the finger, making it an optimal choice for biometric identification. The methodology of the proposed recognition system is built on a series of sequential processes. First, the acquired finger vein image undergoes a preprocessing stage. This initial step is essential to refine the image by removing any superfluous details and enhancing its core features. The color image is transitioned into a grayscale format, streamlining the data and eliminating any color-based anomalies. To accentuate the details and improve clarity, histogram equalization is employed. This technique amplifies the contrast, ensuring that the vital vein patterns stand out prominently. Once the image is preprocessed and enhanced, the system shifts focus towards feature extraction. The choice of feature extraction method is pivotal, as it directly impacts the subsequent identification accuracy. This research leverages the acclaimed Linear Discriminant Analysis (LDA) for this purpose. LDA, being one of the most prominent feature extraction techniques, ensures that the extracted features are not only distinct but also optimal for classification. The heart of the recognition system lies in its classification model. This research proposes a deep Convolutional Neural Network (CNN), renowned for its capacity to discern patterns and classify with astounding precision. The advantage of employing a deep CNN in this context is its capability to deliver high accuracy without necessitating extensive datasets. A notable outcome of this research is the exemplary recognition performance yielded by the deep CNN model. When tested on the SDUMLA-HMT finger vein dataset, the model achieved an accuracy of 99.65%. Meanwhile, on the UTFVP finger vein dataset, it further exceeded expectations with an accuracy rate of 99.72%. These results are a testament to the efficacy of the proposed model, underscoring the potency of using a 1-dimensional convolutional network combined with dense layers. Another significant contribution of this thesis is the amalgamation of LDA with the deep model. This fusion has demonstrated superior prowess, not just in terms of recognition accuracy, but also in training speed, ensuring a swift and efficient system. Lastly, to bridge the recognition system with the cloud database, the TCP/IP protocol is employed. This ensures that once an individual is recognized, their pertinent information can be swiftly retrieved from the cloud database. This integration not only augments the recognition system's functionality but also elevates its application potential in real-world scenarios.
Fiziksel tabanlı işleme materyalleri için kabartı dokularının yapay sinir ağları ile sentezi
Prosedürel İçerik Üretimi (PİÜ), on yıllardır üzerinde çalışılan bir alandır. PİÜ, dijital ürünlerin maliyetlerini düşürmeyi mümkün kılabilir. Birçok dijital içerik, yaygın olarak kullanılan veya çok benzer olan varlıkları içerir. Bir varlık üretimi için uygun bir PİÜ fonksiyonu bulmak, üretim için gereken zamanı ve maliyeti azaltacaktır. Öte yandan, dijital varlıklar oluşturmak için işe yarar fonksiyonlar hazırlamak zordur. Bu tür fonksiyonlar, makine öğrenimi yöntemleri kullanılarak tahminlenebilir. Yeterli miktarda veri verildiğinde, belirli bir varlık türü üretmek için üretken bir yapay zeka modeli eğitilebilmektedir. Grafik İşlem Birimlerinde (GPU) yapılan iyileştirmeler sayesinde günümüzde yapay zeka modelleri oluşturmak daha kolay hale gelmiştir. Özellikle Yapay Sinir Ağları (YSA) popüler hale gelmiş ve yıllardır aktif olarak üzerinde çalışılmaktadır. Sınıflandırabilen veya örnek üretebilen modellerin eğitebilmesi, YSA'nın özelliklerindendir. Otokodlayıcılar ve Çekişmeli Üretici Ağlar (ÇÜA), üretken modellere örnektir. Üretken modelleri kullanarak, stilleri transfer etmek veya diğer karmaşık işlevleri tahminlemek de mümkündür. Fiziksel Tabanlı İşleme (FTİ) yöntemi, gerçekçi 3B modelleri ve sahneleri gerçek zamanlı olarak oluşturmanın bir yoludur. İyi sonuçlar elde edebilmek için çeşitli doku türlerinin kullanılması gerekmektedir. Kabartı dokuları, 3B model materyallerinde kullanılan doku türlerinden biridir. Yüzey normallerini ve yüksekliklerini simüle etmek için kullanılmaktadır. Normal dokuları, yüzey normal vektörlerini barındıran kabartı dokularıdır. Normal dokuları, otometrik stereo teknikleri kullanılarak veya yüksek detaylı modelin düşük detaylı versiyonuna yansıtılarak üretilebilmektedir. Söz konusu yöntemler zaman ve maliyet açısından pahalıdır. YSA ve PİÜ'yü birleştirmeye odaklanan birçok çalışma bulunmaktadır. Her ikisini de kullanarak, maliyetleri düşürürken makul kalitede malzeme dokuları üretmek mümkün olabilmektedir. Bu tezde, birkaç üretici yapay sinir ağı modeli eğitilmiştir. Sonuçları, ağ karmaşıklığı ile birbirleriyle karşılaştırılmıştır. Artan katman ve filtre sayılarının her zaman çıktı kalitesini yükseltmediği tespit edilmiştir. Karmaşık modellerde, kaybolan gradyan sorunu gözlemlenmiştir. Kaybolan gradyan problemi bir noktadan sonra modelin daha fazla gelişememesine ve eğitime devam etmenin faydasız olmasına sebep olmaktadır. Kalıntılı Sinir Ağları (ResNet) mimarisine sahip modellerin bu sorunu çözebileceği görülmüştür. Nihai sonuçlar ayrıca, veri artırmanın eğitim aşamasında büyük bir rol oynadığını göstermiştir.
Derin öğrenme yöntemleri ile görüntü sahteciliği tespiti
Sayısal görüntü işlemede kullanılan yazılım araçlarının ilerlemesinin neticesinde görüntüler üzerinde çeşitli manipülasyonlar yapılarak sahte görüntüler oluşturmak çok basit bir hale gelmiştir. Bu manipüle edilmiş görüntülerin hukuk, tıp ve haberleşme gibi önemli alanlarda kötü niyetli kişiler tarafından kolayca kullanılabileceği düşünüldüğünde görüntü sahteciliği tespiti konusunda yapılan çalışmalara büyük ihtiyaç duyulmaktadır. Görüntü sahteciliği tespiti alanında farklı teknikler ile pek çok yöntem geliştirilmiştir. Günümüzde, görüntü sahteciliği tespiti için geleneksel yöntemlerin yerine derin öğrenme yöntemleri yaygın bir şekilde tercih edilmektedir. Bu yöntemler, görüntüden karmaşık öznitelikleri elde etmeleri nedeniyle geleneksel görüntü sahteciliği tespiti yöntemlerinden daha iyi başarım sağlamaktadır. Sinir ağı teknolojilerinin gelişmesiyle birlikte, son zamanlarda üst düzey görüntü özniteliklerinin çıkarılması için görüntü sahteciliği tespitinde evrişimsel sinir ağları kullanılmaktadır. Bu çalışmada, görüntü sahteciliği tespitinde kullanılan tek tip derin öğrenme yöntemlerinden farklı olarak benzer üç derin sinir ağı yapısının paralel şekilde birleştirilmesiyle oluşturulan bir görüntü sahteciliği tespit sistemi önerilmiştir. Önerilen yöntem üç farklı veri seti üzerinde test edilmiş ve elde edilen sonuçlar önerilen ağ yapısının etkinliğini ve yüksek sınıflandırma doğruluğunu açıkça göstermiştir.
Development of counterfeit banknote recognition system using deep learning
Banknote counterfeiting undermines financial stability and public trust on the currency of a nation. Moreover, it also has various economic implications on financial institutions and businesses. The counterfeiters employ increasingly sophisticated techniques to mimic the genuine banknotes with the advancement of technology, which necessitates the development of fast and robust counterfeit banknote detection systems in order to ensure the integrity of financial systems as well as maintaining the public trust on currency transactions. In this thesis, a Turkish lira authentication system has been developed which locates the banknotes on images and classify the located banknotes as genuine or counterfeit as well as identifying their denominations. The localization part is developed using the classical and well-known digital image processing techniques, where a novel convolutional neural network architecture is developed for the classification part as the deep learning, which is a subset of artificial intelligence, has shown remarkable success in automated feature extraction and pattern recognition tasks. The conducted experiments shows that the proposed architecture outperforms some state-of-the-art deep learning algorithms in terms of accuracy, loss, inference speed, and file size.
A simple security application using real-time face recognition
Facial recognition is an important research problem that best fits the purpose of the image analysis research field, covering many fields and disciplines, including security applications and commercial applications. The fact that face recognition applications are subject to different disciplines increases the interest in the studies that have been done and will be done in this field. In this work, we present a new structure that uses deep convolutional neural network for realtime face recognition. The proposed structure will use a low number of layers to perform realtime face recognition. The proposed application is to achieve sufficient real-time performance using transfer learning techniques. This application can be realized in low-cost adaptive security systems in low-level systems. Keywords: Deep Learning, Convolutional Neural Networks (CNN), Real Time Face Recognition
Efficient image annotation and caption system using deep convolutional neural networks
In recent years, with the advances in the artificial intelligence field, image annotation also known as image description (IAC) has progressively attracted researchers' attention. IAC automatically creates natural text descriptions according to the image contents. IAC combines the knowledge of computer vision and natural language processing. In this research, a novel image annotation and description system was developed. The main parts of the developed system are Convolution Neural Network (CNN) and Long Short Time Memory (LSTM). Also, the developed system was enhanced by multiple steps such as adding regularizing to convolution layers, adding dropout layers to the fully connected layers, using genetic algorithms to find the most suitable batch size, and investigating the performance of multiple optimizers such as Adaptive Moment Estimation (Adam), Stochastic Gradient Descent(SGD), and Nesterov accelerated gradient to find the most suitable one for the developed approach. The developed system was validated by multiple experiments using one of the challenging datasets, i.e., the Flicker dataset. Overall, our improved model outperformed the existing state of arts using the BLEU metric. Also, results prove that the designed system can effectively describe images. Last but not least, this research help researchers by highlighting some open challenges in the field of image annotation.
Convolutional neural network design with new max pooling circuits
In this thesis, max pooling unit designs, which is an important process block of Convolutional Neural Networks (CNN), are presented. The max pooling layer is in the critical delay path of the CNN design and is important to influence the main conversion rate of a pipeline integrated circuit. The total frame processing times of the proposed designs are much shorter than the Standard Design. The proposed designs can be integrated into different pipeline structures. All designs are modeled with VHDL and synthesized on a current FPGA platform. The synthesis results show that the fastest of the proposed designs processes a 128x128 frame around 8.1 times faster than the Standard Design. The first max pooling circuit design presented in this thesis is used in the design of a fully functional pipelined CNN. The presented design has six layers. The main focus of the implementation is performance efficiency, to double the speed it divides the input images by half and simultaneously processes them in two data paths. The CNN design has reduced latency compared to a standard implementation. Also, the design fits on a medium size FPGA platform.
Depth from blur
The most accessible and appropriate approach to recording and storing the depth measurements collected from a scene is through a depth map; accurate depth maps are also essential in extended reality and movie production. This topic of study is both intriguing and beneficial, and lucrative. Several firms are developing depth estimates for a range of reasons. Some may use it to add effects (such as bokeh) to photos and selfies (portrait mode) based on distance from the camera; others, both aerial and terrestrial, may utilize it for replacing or supplementing existing sensors in autonomous vehicles. A depth map is a two-dimensional array with the x and y distance information corresponding to the array's rows and columns, as in a conventional picture. This study examines the single-image depth inference problem using focus and blur images. A comparative work that examines Carvalho's, Lee's and Laina's methods that produce a depth map from a single image is carried out in this thesis. Carvalho's method takes a single synthetic to defocus image as input, and the output is the depth map using D3-Net. Both Lee's and Laina's approaches build a depth map from a single image using encoder-decoder architecture and Residual Network (ResNet50), respectively. After that, the predicted depth maps were segmented into three classes (near, far, far away). This study aims to determine the best performing method for estimating the depth map using the New York University v2 dataset. Furthermore, we can use the segmentation results to navigate the cameras (drones, robots, autonomous vehicles, etc.). As the results show, Carvalho's method was the best in-depth map estimation because of the synthetic defocus image dataset. Nevertheless, Laina's method is the best segmentation in near and far areas. The experimental results demonstrate that the NYU v2 dataset used with these models achieved accuracy values of 99.8%, 99.0%, and 98.8% for Carvalho, Laina, and Lee, respectively, for the predicted depth map. For segmentation, the accuracy values were 77%, 55%, and 90% for Carvalho, Lee, and Laina, respectively. Keywords: Depth map, Blur, Recurrent Neural Network, Convolutional Neural Network, Deep Learning
Anomaly detection in network traffic using machine learning
A primary thematic of this study is centered on detecting anomalies and measuring the device health for Central Processing Unit (CPU), memory utilization, and allocation; for Key Performance Indicator (KPI) dataset which assembled throw twenty-one-day, by improving models using machine learning (ML) methods; namely, Convolutional Neural Network (CNN), and Long Short-Term Memory (LSTM), with Auto Encoders (AE), One-Class Support Vector Machine (Oc-SVM), also k-Nearest Neighbors (k-NN). The accuracy of all methods was measured by using a confusion matrix. According to the observed results, the deep learning methods yield great performance results compared to classification methods for all models. In general, CNN/AE and LSTM/AE models show higher accuracy than the other methods. The ranking of models from best to worst based on accuracy in the confusion matrix are; CNN/AE, LSTM/AE, as for the deep learning models, while for classification models the favorable order for the methods are; k-NN, and Oc-SVM.
Data mining based on regularized convolutional neural network for time series: Financial prediction algorithm
This thesis aims to design a generalizable distance-based moving average (DBEMA) method for predicting time series. In our study, we focused on a specific area of financial time series. In order to increase the performance of prediction accuracy, DBEMA was combined with features selected by Recursive Feature Elimination (RFE) by using Classification and Regression Tree (CART) estimators and sequential feature selection (SFS) by using Gradient Boosting Machine (GBM). Although many artificial neural networks (ANNs) have been applied to a number of time series predictions and modelling, convolutional neural networks (CNN) have not been used much for time series prediction directly in literature and are still open to improvement. For predicting the trend of time series with DBEMA, time series are defined in the form of different time-lagged moving average patterns to identify the relations between each of them. The distances between moving averages (MA) and changes in their positions towards each other are examined for predicting future trends of time series. First of all, time series are defined so as to cover different time lags of 9 days, 50 days and 200 days in exponential moving average (EMA) forms and the distances between each of them and positions between each of them are marked. To improve the performance of the distance-based moving average method, CART and GBM algorithms are used for selecting better financial features in with RFE and SFS models, respectively. The combination of distance-based features and selected financial features are converted into 2-D images which are then classified by CNN. According to the experimental results, the proposed algorithm, CNN-DBEMA, outperforms other classification techniques in literature. Key Words: Distance-Based Features, Moving Average, Financial Time series Prediction, Convolutional Neural Network
Süt keçilerinde vücut kondisyon skorunun evrişimsel sinir ağlarıyla saptanması
Hayvan yetiştiriciliğinde sürü üretkenliğinin bir göstergesi olarak Vücut Kondisyon Skoru (VKS), hayvanların kondisyon derecesini ölçmek için kullanılan bir puanlama yöntemidir. VKS puanlaması uzmanlık ve deneyim gerektiren, zaman alıcı ve maliyeti yüksek bir işlemdir. Bu işlemleri daha nesnel ve kısa sürede yapmak için makine öğrenmesi yöntemlerinden yararlanılabilir. Bu tez çalışmasında bu amaçla, keçi görüntülerinden derin öğrenme yoluyla öğrenen Evrişimsel Sinir Ağları (ESA) modelleriyle VKS belirlenmesi amaçlanmıştır. Çalışmada Alpin ve Saanen keçi ırklarından 111 keçiden önden, sırttan ve pelvik bölgesinden alınan görüntüler kullanılarak tanınan bazı ESA başarımları karşılaştırılmıştır. ESA modelleri olarak uygulamalarda yaygın kullanılan AlexNet, VGGNet, DenseNet, GoogleNet, Inception V3, MobileNet ve ResNet ve bunların bazı versiyonları gibi önceden eğitilmiş ağlar kullanılmıştır. Bu ağlar keçilerden alınan görüntülerden orijinal (VS1), normalleştirilmiş (VS2), arttırılmış (VS3), kenar-bölütleme uygulanmış (VS4) ve SMOTE ile arttırılmış (VS5) olmak üzere beş veri seti üzerinde eğitilmiş ve test edilmiştir. Elde edilen sonuçlara göre tüm veri setlerinde diğerlerine göre en yüksek doğruluk ve F1 ölçütleri sunan VGG-11 ağı en başarılı ağ olarak saptanmıştır. VGG-11 VS1, VS2, VS3, VS4 ve VS5 veri setlerinde sırasıyla %80,00, %81,02, %81,66, %84,34 ve %87,53 doğruluk ve yine aynı veri setlerinde %81,93, %81,98, %82,80, %84,16 ve %86,78 F1 düzeyinde test başarımı göstermiştir. Sınıflardaki görüntü sayılarını dengelemek ve eşitlemek için yapılan SMOTE uygulaması tüm modellerin başarımlarında artışa yol açmıştır. Bu sonuç, SMOTE uygulamasının ESA ağlarında başarımı yükseltmesi nedeniyle uygulanması gereken bir arttırma yöntemi olduğunu göstermektedir. Ağların eğitiminde ızgarama araması yapılarak öğrenme oranı, kayıp fonksiyonu vd. hiperparametrelerin optimal bir kombinasyonunun aranması da önemlidir. Bu çalışmada başarımı yüksek VGG-11 ile VS5 veri setinde yapılan ızgara araması ile 0.0001 öğrenme oranı ve NLLLoss kayıp fonksiyonu ile yapılan testte %88.81 doğruluk ve %87.90 F1 ölçütü başarımına erişilmiştir. Çalışmada elde edilen bulgular SMOTE uygulanmış keçi görüntülerinde VGG-11 ağı ile NLLLoss kayıp fonksiyonu ve 0.0001 öğrenme oranı uygulanan ESA modelinin başarıyla kullanılabileceğini göstermiştir.
Çocuklukta zatürre hastalığının göğüs röntgen görüntülerinden derin öğrenme ile tespiti
Hastalıkları otomatik olarak tespit etmeye yönelik çalışmaların popülaritesi her geçen gün artmaktadır. Son zamanlarda birçok araştırmacı, Derin Öğrenme (DL) kullanımının daha iyi algılama performansı ve daha kolay sınıflandırma süreci sergilediğini kanıtlamıştır. Bundan dolayı, DL tabanlı teşhis araştırma makalelerinin sayısı artmaya devam etmektedir. Bu çalışmada, solunum yolu hastalıklarından olan zatürre hastalığının erken tespiti için derin öğrenme modelleri önerilmektedir. Çocukluk çağı zatürresi, çocuk ölümlerinin önemli nedenlerinden biridir ve bu konuda doğru tespit kritik bir role sahiptir. Önerilen ağ modelleri, zatürre hastalığına sahip bireylerin ve sağlıklı bireylerin göğüs röntgen görüntüleri üzerinden eğitilmektedir. Böylece sistem Zatürre hastalığının erken teşhisine yardımcı olur. Bu modeller, iki sınıflı sınıflandırma modelini önermektedir. Modellerin eğitimleri öncesinde veri setine belirli ön işlem adımları uygulanmış ve SMOTE yöntemiyle veri arttırma işlemi gerçekleştirilmiştir. Bu yöntem ile her iki sınıfa ait eğitim veri setinin sayısı eşitlenmiştir. Böylece eğitimde sayıca fazla olan sınıfa eğilim azaltılmıştır ve aşırı uydurma önlenmiştir. Ağın eğitimi, derin öğrenme algoritmalarından CNN, RNN ve LSTM algoritmaları ile gerçekleştirilmiştir. Eğitimli modeller, zatürreyi CNN %97.23, RNN %89.23 ve LSTM %88.92 doğrulukla tespit etmiştir ve en son teknolojiden daha iyi performans gösterir.
Vücut benlerinin klinik görüntüleri üzerinde derin öğrenme tabanlı hastalık tahmini sisteminin geliştirilmesi
Bilimsel olarak Melanomlara diğer cilt kanserlerine göre daha az rastlanır. Ancak cilt kanserine bağlı ölümlerin yaklaşık olarak %75'i melanomlara bağlı olarak gelişir. Kanser hücreleri çok hızlı büyüyen ve sistemik olarak yayılan bir davranış sergiler. Tüm kanser çeşitlerinde olduğu gibi cilt kanserinin tedavisi için de erken tanı büyük önem taşır. Dolayısıyla ciltte meydana gelen kanser belirtilerinin erken fark edilmesi ve doğru değerlendirilmesi son derece önemlidir. Vücut benlerii üzerinde bir değişiklik fark edildiğinde renk ve şekil açısından takip edilmeli, ten renginde veya pembe tonlarında görülen kabartılar da dikkate alınmalıdır. Dermatologlar sıklıkla Melanom'u erken aşamalarında tanılamak ve ortadan kaldırmak için düzenli cilt muayenesi önermektedir. Bu çalışmada derin öğrenme teknikleriyle, hastanın vücudundaki renkli lezyon görüntüleri üzerindeki örüntüler incelenerek cilt kanseri tespiti yapılmıştır. Tıpta bu konuda erken teşhisin önemine defalarca vurgu yapılırken çalışmamız sayesinde ben üzerinde kanser riski varsa erken teşhis edilip, tedavi aşamasına geçilmesi hedeflenmektedir. Çalışmamızda, dermoskopik görüntüler kullanılarak patolojik doğrulamaları yapılmış açık kaynak bir veritabanı ile evrişimsel sinir ağları başarılı bir şekilde eğitilmiştir. Dermoskopik görüntü cihazlarında; vücuttaki benlerin haritası oluşturularak renkli görüntüleri kayıt altına alınmaktadır. Böylece bir sonraki kontrolde elde edilecek görüntüyle karşılaştırma şansı sağlanmaktadır. Bu tez çalışmasında; Uluslararası Cilt Görüntüleme Birliği tarafından açık kaynak olarak erişime sunulan bir veri setindeki renkli lezyon görüntüleri, şekil ve boyut farklılığı üzerinden 7 farklı hastalığa ayrıştırılmıştır. Yapılan bu çoklu-sınıflandırma uygulamasında yüksek oranda doğruluk elde edilmiştir.
Yol görüntüsü ve hareket duyarga verilerini kullanarakotomatik yol anormalliği tespiti
Köprüler, barajlar, betonarme yapılar ve karayolu gibi farklı yapılarda oldukça önemli olan çatlak tespitinin görüntü işleme ve sınıflandırma ile tespiti yapılabilir. Karayollarında oluşan çatlakların tespit edilmesi trafik yoğunluğunun azaltılmasını, kazaların önlenmesini, yol denetçilerinin iş yükünün hafiflemesini ve yol bakımının daha iyi yapılmasını sağlar. Asfaltlarda bulunan çatlakların ve kusurların manuel olarak incelenmesi, yorgunluk, sorumsuz denetim, zayıf göz görme gibi bir dizi nedenden dolayı insan hata olasılığı yüksektir. Çatlakların tespiti ve analizi için son yıllarda görüntü işleme ve makine öğrenmesi teknikleri kullanılmıştır. Bu teknikler belirleme ve sınıflandırma ile otomatik olarak gerçekleştirilmesine yoğunlaşılmıştır. Karayolu gerçek koşullarının sürekli haritalanması, tutarlı bir kaynak tahsisi ile birlikte yeterli altyapının bakım ve yönetim işlemlerine de izin verir. Bu nedenle, yol kullanıcılarını altyapı kalitesi konusunda bilgilendirmek ve aynı kullanıcılardan bilgi almak, güvenli bir sürüş için, navigasyon için mobil cihaz uygulamalarının (güvenlik yolu için özel bir sosyal ağ gibi) yeni sınırı haline gelmiştir. Bu çalışmada yol yüzey kalitesinin izlenmesi ve tam yol sahne envanter görüntüleri için kullanışlı bir otomatik algılama sistemini gerçekleştirilmiştir. Temel amaç karayolu ve beton yapılarda bulunan çatlakları tespit etmenin optimal yolunu bulmaktır. Yapılan uygulamalar VGG-16 mimarisi, Evrişimsel Sinir Ağı ve Gabor Filtresi gibi yapılar kullanılarak görüntülerden çatlak tespitine odaklanmaktadır.
An industrial internet of things application for real-time condition monitoring
In recent years, the production model has become widespread around the world. Smart technology and modern automation tools are increasingly changing the face of production and industry. The use of innovative maintenance techniques contributes to production by reducing disruptions and sudden stops in industry. The achievable production costs by reducing downtime and increasing maintenance performance is the most critical task. It can achieve these goals with the widespread use of low-cost smart devices that can provide a comprehensive online view of equipment operating conditions. For these reasons, an Internet of Things-based method is proposed for monitoring induction motors in this thesis. These devices analyze the vibration signals of the motor to provide conditional and continuous control of the tolerance of the motor after a fault. As a result of artificial intelligence, production and algorithms, it will be possible to remotely monitor the state of the motor using the methods of remote clouds of the Internet of things. The sound or vibration sensors that evaluate the stability of the machine help to reduce breakdowns and faults by issuing warnings and predicting whether the machine is stable, by informing monitoring centers before any fault occurs to the motor. For this purpose, it will be possible to measure vibration signals from the induction motors and make condition analysis remotely. The proposed approach is based on measuring vibration signals with a remote sensing kit and identifying faults based on artificial intelligence. The approach consists of two methods. The first method is based on the detection of shaft imbalances based on machine learning with vibration signals measured with the kit. For this purpose, the performance of different machine learning methods was compared. The second approach is to evaluate the diagnostic performance of three different one-dimensional convolutional neural networks on motor vibration signals. Obtained results show that methods can be used to detect motor faults in real environment and multiple motors can be easily monitored remotely.