Theses supervised by Prof. Dr. Mutlu Avcı
11 theses · Çukurova University
A new deep learning approach: Differential convolutional neural network
Deep learning structures have achieved unprecedented success rates in many scientific research areas. The well-known deep structure, convolutional neural network, is commonly used in pattern recognition studies. Convolutional neural network structures are composed of a feature extractor consisting of convolution and pooling layers and a fully connected network used as a classifier. In the first study of the thesis, GCNN, a strong kernel-based classifier, was adapted to CNN structure to increase the classification performance. This adaptation led a relative performance increase up to 44.45%, 39.69% and 43.57% for precision, recall, and F1-score, respectively. Although this adaptation yielded a significant increase in performance, it was observed that the convolutional part was weak in terms of representation. Therefore, the idea of developing a convolution technique with higher learning performance has emerged. A novel convolution technique named as Differential Convolution which considers directional changes among a pixel and its neighbors is proposed. Deep structures applying Differential Convolution are named as Differential Convolutional Neural Networks. These structures made a relative performance boost up to 55.29%, 58.43%, 41.75% and 56.43% for accuracy, precision, recall, and F1-score, respectively. Key Words: Deep learning, convolutional neural network, convolution techniques, general regression neural network, image classification, pattern recognition, artificial intelligence, machine learning.
Development of text synthesis software utilizing EEG signals
The brain-computer interface is one of the critical values that brings opportunities to understand human-computer interaction within a more direct approach. In Human Brain, there are discovered, and undiscovered mysteries exist. An electroencephalogram (EEG) is a type of signal that shows the numerical values electrical activity of the brain. One of the essential EEG standards that discovered in BCI systems is the P300 signal. Wearable BCI headsets technologies are growing day by day. Many wearable EEG headset technologies provide to discover human brain mysteries. OpenBCI is one of the low-cost EEG headsets that allows measuring EEG signals. Day by day, artificial intelligence is taking place in human life. There are many new methods, and Technologies are developed to make people's life easier. Artificial intelligence methodologies play a vital role during the development of BCI applications. The aim of this thesis, predicting mouse cursor movements of the computer via artificial intelligence methods using electroencephalogram signals which are provided by OpenBCI wearable headset.
An artificial neural network based nanoscale device modeling approach and tfet implemantation
Metal Oxide Semiconductor Field Effect Transistor (MOSFET) is a superior market position deal with telecommunications, analogue microelectronics, low-power portables, optoelectronics or other technological areas. The requirements as suggested from the Semiconductor Industry Association (SIA) roadmap may look at alternative routes to mainstream MOSFET that may become economically viable and physical restrictions in some areas of microelectronics in the longer term. Tunnel Field Effect Transistor (TFET) is one of the most important alternatives for MOSFET in The International Technology Roadmap for Semiconductors (ITRS) on the other hand, a combinatorial device to the MOSFETs. TFET is still in research and development process. While the dimensions of the devices decrease, the quantum effects increase. By decreasing the device size, to obtain more realistic device models, quantum effects must be included. However, adding quantum effects cause calculation burden. A modified version of General Regression Neural Network and Non-Equilibrium Green's Function hybrid modeling approach is proposed for accurate nanoscale device model and it is implemented to TFET. In the range of 55% to 67% simulation time decrease is obtained with respect to existing NEGF formalism based methods. In the future works, radiation effects must be added to the model in order to produce radiation hardened devices.
Design and simulation of carbon nanotube hybridized field effect transistor biopotential sensor
Standard biopotential electrodes in clinical applications, require the use of electrolytic gel and skin abrasion for better electrical interface between electrode and skin. Although the pre-gelled skin electrodes present good performance for short duration measurements, signal deterioration occurs on long-duration records, since the gel dries out over a period of time. The gel may also cause skin irritation or allergic reactions. Gel-free dry electrodes are a promising alternative for long-duration recordings. However, high contact impedance, high interface potential, and low signal quality problems appear in dry electrodes. This thesis aims to design a novel carbon nanotube and metal oxide semiconductor field effect transistor based dry electrode to measure biopotentials on the human skin with high signal-to-noise ratio. The vertically aligned multiwalled carbon nanotube arrays are grown on the gate terminal of the the transistor. The multiwalled carbon nanotubes penetrate the outer layer of the skin at the microscales. This penetration eliminates the high impedance and noise effects of electrode-skin contact. The simulation results demonstrate and prove the efficiency of the proposed electrode
Prosopagnozi hastaları için yüz tanıma özellikli bir tedavi ve destek sistemi tasarımı
Prosopagnozi (yüz körlüğü) dünya üzerinde çok seyrek görülen bir hastalık olmasına rağmen hastaların yüzleri tanıyamaması sebebiyle dramatik sonuçlar doğurur. Hastalar doğuştan veya travma sonucu oluşan bir lezyon nedeniyle yüzleri ayırt edemezler. Bu çalışma beynin plastisite özelliğinden faydalanır. Plastisite beynin yeni uyaranlar aracılığıyla nöronal bağlantılarının yeniden yapılandırılması anlamına gelir. Beyin yeni uyaranlar aracılığıyla sahip olduğu nöronal bağlantıları yeniden yapılandırabilir. Bu yeni uyaran türü beyinde plastisiteye neden olur ve sinyaller yeni oluşan bağlantılar aracılığıyla çalışmayan beyin bölgelerine ulaşır. Bu çalışmada prosopagnozi hastalarının yüzleri tanıyabilmesi için tedavi ve destek amaçlı, yüz tanıma özelliğine sahip bir sistem tasarlanmış ve bu sistemin tedavi amacıyla kullanılabilmesi için iki ayrı yöntem önerilmiştir. Tasarlanan sistemin ürettiği sinyaller hastaya yüksek maliyetli stimülatörlerin yerine baskı devre üzerinde gerçeklenmiş bir stimülatör devresiyle ve anot katot vazifesini yerine getiren elektrotlar ile derileri üzerinden gönderilmiştir
TSMC 180nm CMOS teknolojisinde özgün bir düşük gerilim pıng-pong-pang enstrumantasyon yükselteci tasarımı
Biyomedikal uygulamalarda kullanılmak için tasarlanan estrumantasyon yükselteci tasarımlarında ön plana çıkan detaylar yükseltecin düşük giriş gürültüsüne ve düşük giriş ofset gerilimine sahip olmasıdır. Günümüzde bu gereksinimleri sağlamak için çeşitli gürültü ve ofset azaltıcı (kesme, sıfırlama) teknikler kullanılmaktadır. Bu tez çalışmasında, bu yöntemlerden bazılarını tek bir yükselteçte birleştirerek daha iyi bir performansta yükselteç tasarımı yapmak amaçlanmıştır. Tasarıma başlamadan önce simülasyon sonuçları ile teorik sonuçların birbirine yakın olması amacıyla ACM parametre çıkarım yöntemi kullanılarak Mosfetin önemli tasarım parametreleri çıkartılmıştır ve yükselteç tasarımında bu parametreler kullanılmıştır. Gürültü ve ofset azaltıcı yöntemler kullanılarak Ping-Pong-Pang akım geri dönüşlü yükselteç (CFIA) tasarımı yapılmış olup, simülasyon sonuçları ile tasarımın etkinliği ve doğruluğu kanıtlanmıştır.
Cilt kanseri teşhisi için fpga üzerinde destek vektör makinesi tabanlı sınıflayıcı gerçekleştirilmesi
Dünya çapında her sene görülen melanom cilt kanseri vakası yüz otuz binleri aşmaktadır. Özellikle beyaz ırkın yaşadığı bölgelerde bu rakam çok dramatik artış gösterebilmektedir. Dünya sağlık örgütüne göre cilt kanseri her sene altmış beş binden fazla insanın kaybına sebep olabilmektedir. Uzmanlar erken teşhis ve müdahalenin hayat kurtarıcı olabileceğinin altını çizmektedirler. Bu nedenle cilt kanserinin teşhisini hızlandıracak otomatik veya yarı otomatik, makine öğrenimi tabanlı donanım mimarisinin önem arz etmekte olduğu ileri sürülebilir. Bu tez çalışmasında patolojinin tanılanmasını hızlandırarak yaygınlaştırabilecek bağımsız bir donanımın geliştirilmesi amaçlanmıştır. Buna göre FPGA teknolojisi kullanılmış, makine öğrenimi teknikleri uygulanarak hedeflenen tanılama yeteneğinin donanıma kazandırılması sağlanmıştır. Sonuçlar geliştirilen platformun bilgisayardan bağımsız olarak yüksek isabet yüzdesi ile kötücül olabilecek cilt lezyonlarını tanılayabildiğini göstermektedir.
Logarithmic learning differential Convolutional Neural Network
Convolutional Neural Networks (CNNs) have been instrumental in transforming the field of computer vision by their innovative design and training methodologies for image classification. The differential convolutional neural network with simultaneous multidimensional filter realization has been successful in improving the performance of the convolutional neural network, although it suffers from calculation cost drawbacks. This Thesis proposes a solution to the drawback by introducing logarithmic learning integration into the differential Convolutional neural network. The proposed approach employs LogRelu activation, a logarithmic cost function, and a unique logarithmic learning method for faster error minimization and convergence. The study evaluates the effectiveness of these proposed methods across multiple datasets and optimization algorithms, including SGD and Adam. The experimental findings show that integrating LogRelu leads to performance improvements ranging from 1.61% to 5.44% across convolutional neural networks, while the same integration on ResNet-18, ResNet-34, and ResNet-50 enhances top-1 accuracy in the range of 3.07% and 9.96%. Moreover, the Logarithmic Differential CNN consistently outperforms standard CNNs with an accuracy increase of up to 3.02% with the adaptation of the Logarithmic Cost Function. The study also evaluates various activation functions on Differential CNN models and pre-trained models using MNIST and Cifar10 datasets. Among the activations, LeakyReLU, ELU, SELU, and LogRelu consistently outperform ReLU, with LogRelu being particularly effective at lower learning rates. Although the differential CNN faces compatibility issues with certain optimizers, it displays adaptability and excels with an SGD rate of 0.01 and lower rates for Adam and RMSprop.The experimental results proved the efficiency of the proposed approach.
Artificial intelligence utilized ballistocardiography and phonocardiography based blood clot detection system
Heart attacks and strokes are some of the leading causes of death in the world. Both of these diseases are usually the outcome of blocked arteries caused by blood clots. The presented innovation is about using a set of sensors and a trained artificial neural network (ANN) to detect and locate the blood clots across the body. The mentioned sensors will be placed under the patient's bed, then ballistocardiography (BCG) signals will be measured and transferred to the phonocardiography (PCG) system, where they will be converted into sound signals. BCG and PCG graphics will be seen on the output display of the system; the obtained BCG and PCG signals will be fed into a trained artificial neural network, which will locate the locations of blood clots in the body's vessels.
Intergenerational interactive artificial neural networks
Derin öğrenme, aktarımlı öğrenme ve öğretmen-öğrenci modelleri gibi gelişmiş öğrenme teknikleri ve karmaşık ağ mimarilerinin etkisiyle çeşitli alanlarda giderek daha yaygın hale gelmiştir. Aktarımlı öğrenme, ilgili bir kaynak alandan elde edilen bilgiyi kullanarak hedef alanda yüksek performans sağlamayı amaçlar. Buna karşılık, öğretmen-öğrenci modelleri, büyük ve karmaşık bir öğretmen modelinden daha küçük bir öğrenci modele bilgi aktarımı yaparak, doğruluktan fazla ödün vermeden modelin karmaşıklığını azaltmayı sağlar. Görüntü tanıma alanında yaygın olarak kullanılan Konvolüsyonel Sinir Ağları (CNN'ler), verimlilikleri ve yüksek performansları nedeniyle bu tür modellerde kilit rol oynar. Ancak, karmaşık yapıları nedeniyle CNN'ler genellikle yüksek hesaplama kaynakları ve uzun eğitim süreleri gerektirir. Bu çalışma, yeni bir hibrit sinir ağı topolojisi olan Kuşaklararası Etkileşimli Sinir Ağları (Intergenerational Interaction Neural Networks IINNs)'nı tanıtmaktadır. Önerilen bu hibrit topoloji, Kuşaklararası Etkileşimli Sinir Ağları (IINNs) olarak adlandırılmaktadır. Bu yöntemin arkasındaki temel hipotez, "yol gösterici bir baba modelin varlığı, oğul modelin diğerlerinden daha hızlı ve başarılı şekilde öğrenmesini sağlar" şeklindedir. Bu felsefe, dede ve büyükbaba gibi ek ataların dahil edilmesiyle genişletilebilir. Geleneksel öğretmen-öğrenci modellerinden farklı olarak, IINNs mimarisi, eğitim sürecinde sabit kalan ancak oğul modelin öğrenmesini aktif şekilde yönlendiren, önceden eğitilmiş bir ata modeli (baba) kullanır. Bu yapıda, Kendini Örgütleyen Harita (Self-Organizing Map - SOM) önceden eğitilmiş baba model olarak görev yaparken, Farklılaştırılmış Konvolüsyonel Sinir Ağı (Differential CNN - DiffCNN) oğul modeli olarak işlev görür. SOM'un çıktıları, DiffCNN'in eğitim sürecine entegre edilerek yakınsama hızını ve doğruluğunu artırmakta, konvolüsyonel karmaşıklığı ise azaltmaktadır. Önerilen model, MNIST, FashionMNIST, Birds, STL10, CIFAR-100 ve CIFAR-10 olmak üzere altı veri kümesi üzerinde değerlendirilmiştir. Sırasıyla %98,58, %96,53, %87,49, %86,99, %86,78 ve %81,65 doğruluk skorları elde ederek; en güncel CNN, DiffCNN ve Derin Konvolüsyonel SOM modellerinden daha iyi performans göstermiştir. Ayrıca model, %84'e kadar daha hızlı yakınsama sergilemiş; CIFAR-10, Birds ve CIFAR-100 gibi daha karmaşık veri kümelerinde ilk 7 ila 10 epoch içinde %85 doğruluğa ulaşmıştır. Aynı zamanda, FashionMNIST gibi daha basit veri kümelerinde 7. epoch itibariyle %90 doğruluğa erişmiş ve %74 oranında daha hızlı yakınsama sağlamıştır. Bu sonuçlar, IINNs mimarisinin eğitim sürecini hızlandırmada, daha hızlı yakınsamayı sağlamada ve basit ya da karmaşık veri kümelerinde performansı artırmada etkili ve çok yönlü olduğunu göstermektedir. Bu yönleriyle, model tıbbi görüntüleme, otomotiv sistemleri ve otonom sürüş gibi gerçek zamanlı uygulamalar için uygun bir çözüm sunmaktadır. Anahtar Kelimeler: Derin öğrenme; Konvolüsyonel sinir ağları; Öz-örgütlenen haritalar; Diferansiyel konvolüsyonel sinir ağları; Görüntü veri seti.
Akciğer kanserinin CT görüntülerinden teşhisi için differansiyel konvolüsyonel yapay sinir ağı tabanlı görüntü tanıma yazılımı geliştirilmesi
Akciğer kanseri dünyada ölüm oranını artıran önemli nedenlerden biridir, çünkü her yıl diğer kanser türlerine kıyasla akciğer kanseri nedeniyle çok sayıda ölüm gerçekleştiği görülmektedir. Eğer ilk aşamada tespit edilir ve tanımlanırsa, çok sayıda hastanın hayatta kalma oranı artırılabilir. Bu nedenle, uygun ve anlık bir sonuç elde etmek için, tıbbi görüntü işleme alanında makine öğreniminin son tekniklerini kullanarak sınıflandırmanın doğruluğunu artırılabilir. Bu çalışmada, Diferansiyel Konvolüsyon olarak adlandırılan yeni bir konvolüsyon tekniği ve güncellenmiş hata geri yayılım algoritması kullanılmaktadır. DCNN yönsel aktivasyon farklılıklarını içeren özellik haritalarını bir sonraki katmana aktarmayı amaçlamaktadır. Bu uygulama, konvolüsyonlu özelliklerin özellik haritası üzerinde nasıl değiştiği fikrini dikkate almaktadır. Bu özellik, filtre sayısını değiştirmeden sınıflandırma performansını artırmaktadır. Anormal ve normal bilgisayar tomografi (BT) görüntüleri de dahil olmak üzere farklı akciğer kanseri türlerini sınıflandırmak için diferansiyel konvolüsyonel sinir ağı modeli önermektedir. Bu modelin performansını test etmek ve eğitmek için, anormal ve normal görüntüleri içeren 1.000 akciğer bilgisayarlı tomografi (BT) görüntüsünden oluşan bir veri kümesi kullanmıştır. Deneysel sonuçlar, önerilen modelin %96,25'lik bir doğruluğa ulaştığını göstermiştir. Bu çalışmada, önerilen diferansiyel CNN modelinin akciğer kanserinin otomatik sınıflandırılmasını kolaylaştırmak için kullanılabileceğini göstermektedir.