Prof. Dr. Hamit Erdem danışmanlığındaki tezler
10 tez · Başkent University
The Turkish lip reading using deep learning method
Automated lip reading is a research problem that has developed considerably in recent years. Lip reading is evaluated both visually and audibly in some cases. Detecting an unwanted word from a security camera is an example of a visual lip-reading problem. Audio-visual datasets are not applicable where such image-only data is involved. Therefore, we may not have audio input in all cases. In certain cases, it is not feasible to obtain the audio input of the spoken word. In this study, we have gathered a novel Turkish dataset consisting solely of images. The dataset was generated using YouTube videos, which constitute an uncontrolled environment. Consequently, the images present challenging parameters with respect to environmental factors such as lighting conditions, angles, colors, and individual facial characteristics. Despite the variations in facial attributes like mustaches, beards, and makeup, the visual speech recognition problem was addressed using Convolutional Neural Networks (CNN) without making any modifications to the data. The problem was formulated with 10 classes, comprising single words and two-word phrases. While developing the study, comparisons were made with LSTM, BGRU, and Dilated CNN. The proposed study using only-visual data obtained a model which is automated visual speech recognition with a deep learning approach. In addition, since this study uses only-visual data, the computational cost and resource usage is less than in multi-modal studies. Also, we introduce introduced a novel approach called Concatenated Frame Images, which involved combining image frames into a single large frame. It is also the first known study to address the lip reading problem with a deep learning algorithm using a new dataset belonging to the Ural-Altaic languages.
Akıllı batarya kapasitesinin derin öğrenme yöntemleriyle tahmini
Günümüzde lityum iyon bataryalar, verimli bir enerji depolama elemanı olarak üretimin ve yaşamın çeşitli alanlarında yeri doldurulamaz bir rol oynamaktadır. Lityum iyon bataryaların sağlık durumu (SOH), enerji depolama sisteminin güvenli çalışması için kritik öneme sahiptir. Lityum iyon bataryaların sağlık durumunun bozulması batarya performansının düşmesine, mevcut maksimum kapasitenin azalmasına, hizmet ömrünün kısalmasına, elektrikli araçların sürüş menzilinin azalmasına ve hatta elektrikli araç kullanımında güvenlik açıkları meydana gelmesine yol açabilmektedir. Bu tez çalışmasında batarya yönetim sisteminden gelen, yaşlanmaya bağlı olarak değişen gerilim, akım ve sıcaklık profilleri gibi ölçülebilir veriler kullanılmış bu veriler ile kapasite değişim vektörü elde edilmiş ve Dikkat Mekanizmalı Geçitli Tekrarlayan Birim yöntemi ile bir kapasite tahmin çerçevesi önerilmiştir. Bu verilere dayanarak kapasite ile şarj profilleri arasındaki ilişki sinir ağları tarafından öğrenilir. Bu çalışmada ulaştığımız deneysel sonuçlar hem soğuk hem sıcak hem de oda sıcaklığı koşullarından NASA lityum iyon batarya veri setlerine dayanır. Önerilen dikkat mekanizmalı GRU yöntemi, bataryanın sağlığının tahmininde ortalama mutlak yüzde hata açısından derin öğrenme yöntemlerinden olan LSTM, GRU, BiLSTM, LSTM-AM ve BiLSTM-AM yöntemlerine kıyasla sırasıyla %35, %27, %20, %16 ve %10'a kadar daha başarılı olduğu görülmüştür. Yapılan benzetim çalışmaları MATLAB ortamında derin öğrenme toolbox'ı kullanılarak gerçekleştirilmiştir. Son yıllarda dikkat mekanizmaları, zaman serisi tahmin modellerinin performansını artırmak için güçlü bir araç olarak ortaya çıkmıştır. Bu çalışmada, zaman serisi problemlerinin çözümlerinde kullanılan LSTM, BiLSTM ve GRU aynı NASA veri setleri üzerinde denenmiş ve her biri dikkat mekanizması ile birleştirilerek performansları ölçülmüştür. Bu üç yöntemden daha hızlı ve basit olmasıyla GRU tercih edilmiştir. Bu çalışmada önerilen mekanizma GRU ile Dikkat Mekanizmasını birleştirerek oluşturulmuş SoH öngörüm mekanizmasıdır.
Robust keyword spotting in noisy environments based on deep learning
The present thesis introduces a novel keyword spotting (KWS) system aimed at enhancing performance under adverse noisy conditions by integrating supplementary acoustic information through a transformer-based meta-classifier framework. To accomplish this, KWT-1—a variant of the Keyword Transformer family introduced by Berg et al.—is reimplemented as the base KWS component. This model is applied without the use of knowledge distillation and is trained on the Google Speech Commands v2 dataset for a 12-label classification task. Extensive data augmentation strategies are employed in alignment with the original study to ensure robust model performance. To extract complementary acoustic features, two additional modules are integrated: a noise type classifier and a signal-to-noise ratio (SNR) prediction model. The noise classifier is implemented as a one-dimensional convolutional neural network informed by the methodology of Abdoli et al. and trained on the UrbanSound8K dataset to recognize ten distinct environmental noise classes. The SNR prediction model adopts a novel hourglass-style convolutional architecture to perform continuous SNR regression. During its training, clean speech samples from the Google Speech Commands v2 dataset are mixed with noise from UrbanSound8K at random SNR levels ranging from 0 to 20 dB, simulating realistic acoustic environments. The outputs from the three branches—keyword prediction, noise type, and estimated SNR—are fused at the decision level using a transformer-based meta-classifier. In this configuration, each model output is treated as a discrete token, projected into a shared embedding space, and processed by a transformer encoder block. This design is intended to capture the complex interdependencies between semantic, environmental, and acoustic factors. Although the proposed fusion model did not surpass the performance of the standalone KWT-1 baseline in terms of keyword classification accuracy, the work contributes to the academic literature by introducing an hourglass-style CNN for SNR level estimation that outperforms existing neural network-based approaches. Evaluation is conducted using classification accuracy for keyword and noise type detection tasks and mean absolute error (MAE) for the SNR regression task.
Türkiye'de konuşulan dillerin derin öğrenme yöntemleriyle sınıflandırılması
Günümüzde konuşan dil tanıma sistemleri; insan-makine etkileşimi, robotik uygulamalar, çok dilli iletişim ve güvenlik gibi çeşitli alanlarda yaygın olarak kullanılmaktadır. Bu sistemler, otonom robotik etkileşim, çok dilli müşteri hizmetleri ve otomatik çeviri gibi uygulamalarda etkin rol oynamaktadır. Ayrıca, güvenlik ve adli bilişimde anonim ses kayıtlarının dilini belirlemek; göçmen profilleme ve istihbarat analizleri açısından önem taşımaktadır. Bu tez çalışmasında, Türkiye'de yaygın olarak konuşulan diller olarak, Türkiye'ye yerleşen ve Türkiye'yi sıkça ziyaret eden yabancı uyruklu bireylerin konuştukları diller esas alınarak bir veri seti oluşturulmuştur. Bu kapsamda hazırlanan veri setinde; Türkçe, Kürtçe, Arapça, Rusça, Farsça ve Almanca dillerine ait ses kayıtları yer almaktadır. Konuşulan dili otomatik olarak tanıma problemi, bir sınıflandırma problemi olarak ele alınmıştır. Bu problemi çözmek amacıyla farklı derin öğrenme mimarileri kullanılmıştır. İlk olarak, spektral özelliklerin zamansal örüntülerini yakalamada etkili olan İki Yönlü Uzun Kısa Süreli Bellek (BiLSTM) ağları uygulanmıştır. Ayrıca, mekânsal örüntüleri çıkarmada başarılı olan Evrişimsel Sinir Ağları (CNN) ile birlikte, dil tanıma problemlerinde son yıllarda dikkat çekici başarılar gösteren Transformer tabanlı Encoder mimarisi de değerlendirilmiştir. Bunun yanı sıra, CNN ve self-attention mekanizmalarını aynı yapıda birleştirerek hem yerel hem de küresel bağlamı yakalayabilen Conformer Encoder mimarisi de çalışmada uygulanmış ve karşılaştırmalı analiz yapılmıştır. Modelin performansını değerlendirmek amacıyla doğruluk (accuracy), duyarlılık (sensitivity/recall) ve diğer ilgili performans metrikleri kullanılmıştır.
Zırhlı kara araçlarında kara kutu uygulaması
Kara kutu, araçlarda gerçekleşen olayları ve kritik parametreleri sürekli kaydeden, özellikle kaza sonrası analiz için tasarlanmış bir elektronik kayıt cihazı olup; araç performansının ve operasyonel güvenliğin artırılması için gerekli verileri sağlayarak potansiyel riskleri belirlemeye yardımcı olan cihazlardır. Zırhlı kara araçları ise yüksek teknolojiye dayalı güvenlik ve kontrol sistemleriyle donatılarak kritik görevlerde operasyonel verimliliği artırmak üzere sürekli olarak geliştirilmektedir. Bu kapsamda, araçların performansını izlemek, verimliliğini artırmak ve arıza durumlarında detaylı inceleme yapmak için kara kutu uygulamaları savunma sanayisinde giderek daha önemli bir gereksinim haline gelmiştir. Bu çalışmada, zırhlı kara araçlarında kara kutu sistemlerinin tasarımı, uygulanabilirliği ve veri toplama (Data Acquisition) süreçleri detaylı bir şekilde ele alınmıştır. Kara kutuların temel işlevleri arasında sürüş dinamiklerinin izlenmesi, sensörlerden alınan verilerin kaydedilmesi, çevresel koşulların sürekli olarak takip edilmesi ve olası kazaların neden-sonuç ilişkilerinin analiz edilmesi yer almaktadır. Ayrıca, kara kutu uygulamaları sayesinde araçların uzaktan takibi ve gerektiğinde müdahalesi mümkün hale gelmektedir. Tez kapsamında, bir zırhlı kara aracına entegre edilen kara kutu sisteminin donanım ve yazılım bileşenleri oluşturulmuştur, farklı sensörlerden elde edilen verilerin işlenmesi ve analizi için bir tasarım geliştirilmiştir. Bu tasarım aracılığıyla, arıza tespiti, bakım planlaması ve operasyonel güvenlik alanlarında sağlanan iyileştirmeler detaylandırılmıştır. Ayrıca tüm veriler ve çalışmalar hazır olarak satılan 3. parti iki üreticinin ticari bir ürünü ile karşılaştırılarak yerli bir muadilinin olması sağlanmıştır. Sonuçlar, geliştirilen kara kutu sisteminin, zırhlı kara araçlarının performans ve güvenlik parametrelerini artırmada etkili bir araç olduğunu göstermektedir. Çalışma, aynı zamanda savunma sanayisinde kara kutu uygulamalarının potansiyel kullanım alanları ve bu teknolojinin stratejik önemi üzerinde durarak geleceğe yönelik öneriler sunmaktadır.
Gezgin satıcı probleminde genetik algoritmalar için yeni seçilim operatörlerinin geliştirilmesi
Gezgin satıcı problemi (GSP) rota planlama, baskı devre kart tasarımı, bilgisayar kablolama, üretim planlama gibi birçok gerçek hayat problemlerinde kullanılmaktadır. GSP'nin çözümü için meta-sezgisel algoritmalar yani, Tavlama benzetimi, karınca kolonisi, sinir ağları, tabu arama, parçacık sürüsü optimizasyonu ve genetik algoritma kullanılmaktır. Son yıllarda, araştırmacılar genetik algoritması üzerinde keşif ve sömürü arasındaki dengenin iyileştirilmesi amacıyla, seçilim, mutasyon ve çaprazlama operatörleri önermişlerdir. Literatürde yer alan 6 seçilim operatörü, 6 mutasyon operatörü ve 11 çaprazlama operatörü uygulanmış ve yöntemlerin performansları yakınsama oranları ve hesaplama süreleri açısından değerlendirilmiştir. Ayrıca keşif ve sömürü dengesini iyileştirmek amacıyla, Keşif-Sömürü Denge Seçim (KSDS) ve Hibrit Seçim operatörleri (HS) önerilmiştir. Yöntemler, 30 farklı TSPLIB veri setinde ve çelik üretim verilerinde test edilmiş ve kritik fark diyagramları kullanılarak yöntemler arasındaki istatiksel farklar görselleştirilmiştir. Ayrıca yöntemlerin birbirinden ne derece iyileştirilmiş olduğunu gözlemlemek için t-test istatiksel testleri yapılmıştır. Sonuçlar önerilen seçim operatörlerinin literatürdeki diğer yöntemlere kıyasla daha etkili performans gösterdiği görülmüştür. Mutasyon yöntemlerinde Değişim Mutasyon (DM) operatörü en etkili sonuçları verirken, çaprazlama yöntemlerinde ise Geliştirilmiş Açgözlü Çaprazlama (GAÇ) yöntemi en iyi sonuçları vermiştir.
Elektrik güç sistem harmoniklerinin yapay arı kolonisi algoritmasıyla kestirimi
Elektrik enerjisi talebi gün geçtikçe artmaktadır. Kullanılan doğrusal olmayan yüklerden dolayı güç kalitesi problemleri oluşmaktadır. Güç kalitesi problemlerinden en önemlisi harmoniklerin oluşmasıdır. Harmoniklerin genlik, frekans ve faz açısından doğru tahmini ve engellenmesi, güç kalitesini ve verimi artırır. Yapay zeka ve akıllı sistemlerin gelişmesiyle harmoniklerin tahmini için Fourier dönüşümü temelli algoritmaların yanısıra akıllı yöntemler de kullanılmaktadır. Bu tez çalışmasında harmoniklerin genlik ve faz kestirimi için küçük kareler yöntemi ile yapay arı kolonisi algoritmasından oluşan hibrit bir algoritma geliştirilmiştir. Harmoniklerin genliği en küçük kareler yöntemiyle hesaplanırken faz açıları global optimizasyon algoritması olan yapay arı kolonisi algoritması ile tahmin edilmiştir. Önerilen algoritmanın başarısını benzetim ortamında test etmek için literatürde önerilen iki farklı harmonikli sinyal kullanılmıştır. Geliştirilen algoritma payton yazılımı ortamında denenmiş ve sonuçlar, standart ölçütlere göre, benzer çalışmalarla karşılaştırılarak tartışılmıştır.
Türkçe otomatik konuşma tanıma ve işaret diline çevirme
Bu tezde, işitme engelli insanlar ile işitme engelli olmayan insanların aktif iletişimine yardımcı olabilecek bir sistem üzerinde çalışılmaktadır. Sistem genel olarak, iki adımda çalışmaktadır. İlk olarak konuşma metne çevrilir. Daha sonra metnin karşılık geldiği işaret dili videosu gösterilir. Metne çevrim aşamasında, Türk Dili incelenmiş olup fonem tabanlı bir dildir. Endüstri, güvenlik, iletişim ve robotik sistemlerin gelişmesiyle Otomatik Konuşma tanıma (ASR) tabanlı uygulamaların kullanımı gün geçtikçe artmaktadır. Teknolojik gelişmelerle beraber, birçok dilde ASR uygulamaları sıkça yaygınlaşırken, Türkçe, Fince ve Macarca gibi sondan eklemeli dil gruplarında bu uygulamalar çok fazla değildir. Türkçe hece yapısı olarak sondan eklemeli bir morfolojiye sahiptir. Bu yapısı sözcük dağarcığında büyük bir artışa neden olmaktadır. Sistem ileriye dönük olarak, veri tabanı haricindeki kelimeleri de yaklaşık olarak tespit edebilsin diye fonem ve alt kelime tabanlı bir tanıma sistemi tasarlanmıştır. Klasik yöntemlerin yanı sıra, akıllı ve öğrenebilen yöntemler de bu alanda sıkça kullanılmaktadır Bu çalışmada, Türk dilinde ASR problemi çözümüne yönelik güncel Derin Öğrenme kapsamlı uygulamalar geliştirilmiştir. Çalışmamızın, Konuşma Tanıma adımında klasik yöntemlerle beraber, Derin İnanç Ağları (DBN), Uzun-Kısa Vadeli Hafıza Ağları (LSTM) ve Geçitli Tekrarlayan Birimler (GRU) Derin Öğrenme teknikleri uygulanıp performansları karşılaştırılmıştır. En başarılı yöntemin dil modellemenin de Derin öğrenme ile yapıldığı GRU metodu ile olduğu görülmüştür. Yöntemlerin performansı, standart ölçütlere göre karşılaştırılmıştır. Yapılan çalışma, ASR uygulamaları ile ilgili bir taraftan konuyu detaylı araştırırken, yöntemin uygulama biçimi hakkında da detaylı bilgi vermiştir. Konuşma tanımda adımında Türkçe için yapılan iyileştirmeden sonra, konuşmanın yazıya dönüştürülmesi ile elde ettiğimiz kelimenin İşaret Dilinde hangi işarete karşılık geldiği bulunarak ve bu işaret videolarıyla Türk İşaret Diline çevrimi de gerçekleştirilmiştir. Türkçe için literatürde görünmeyen, Türkçe Konuşmayı Türk İşaret Diline çeviren bu çalışma, Türkçe konuşma tanıma sistemlerinde performans artırma ve işitme engelli insanların hayatını kolaylaştırmak için öncü bir çalışma olduğu düşünülmüştür.
CAN bus sistemi için FPGA tabanlı saldırı tespit sisteminin geliştirilmesi
Günümüz araç sistemleri teknolojik açıdan hızla gelişmektedir. Gelişen araç sistemlerindeki elektronik ünitelerin sayısı da git gide artmaktadır. Araç içi elektronik birimlerin farklı iletişim ağları ile dış dünya iletişimime açılması ile bu birimlerin veri iletişiminin güvenliği araştırma konusu olmuştur. Günümüz araçlarda araç içi iletişimde CAN veri yolu kullanılmaktadır. CAN veri yolu bit hatası açısından güvenilir bir veri yolu olsa da birçok güvenlik açığını da barındırmaktadır. CAN veri yolunun güvenlik açıklarını kapatmak için birçok saldırı tespit sistemi geliştirilmektedir. Saldırı tespit sistemleri ile CAN veri yoluna yapılabilecek saldırıların tespiti ve karşı önlemlerin alınması hedeflenmektedir. Bu tez kapsamında araç içerisindeki CAN veri yoluna fiziksel olarak yapılacak bir saldırıyı tespit edebilen bir saldırı tespit sistemi gerçeklenmiştir. Bu gerçeklemede elektronik birimlerin veri transferi sırasında, CAN veri yolunda oluşturdukları sinyaller incelenmiştir. İncelenen CAN sinyallerinden, sinyallerin parmak izlerinin çıkarılabileceği kanıtlanmıştır. Sinyallerin parmak izlerinin çıkarılması için FPGA üzerinde bir CAN IP çekirdeği geliştirilmiştir. Çıkarılan sinyal özellikleri MLP ve LSTM olmak üzere iki farklı tür yapay sinir ağlarının eğitiminde kullanılmıştır. Eğitilen yapay sinir ağları ile CAN veri yoluna fiziksel olarak saldırı gerçekleştiren bir elektronik cihazın bıraktığı sinyalin parmak izlerinden saldırı tespiti yapılmıştır.
Türk işaret dili alfabesinin derin öğrenme yöntemi ile sınıflandırılması
Günümüzde işitme engeli olan insanların, kendi aralarında anlaşmak için kullandıkları işaret dilinin çok az insan tarafından biliniyor olmasından dolayı günlük yaşantılarında iletişim kurmak konusunda bir takım sıkıntılar yaşadıkları bilinmektedir. İşitme engeli olan insanlarla duyabilen insanların arasındaki bu iletişim engelini azaltmak için pek çok akademik çalışma yapılmıştır ve günümüzde bu konuyla ilgili çalışmalar hala sürmektedir. Son zamanlarda makine öğrenmesi, derin öğrenme alanında da bu konuda çalışmalar yapılmaktadır. Bu tez çalışmasında, 29 Türkçe işaret dili alfabesi karakterleri ve metin yazmak için tanımlanmış 3 karakterden oluşan veri seti, her bir sınıf için 1500 adet görüntü kaydedilerek oluşturulmuştur. Önceden eğitilmiş bir konvolüsyonel yapay sinir ağ modeli kullanılarak transfer öğrenme metodu ile sistem, Türkçe işaret dili alfebesinden ve özel karakterlerden oluşturulan veri seti ile eğitilmiştir. Eğitim sonrası web kamera ile seçili alanda gösterilen işaretin gerçek zamanlı olarak tanımlanması ve bu yol ile bir kelime ya da cümle oluşturup kaydedilmesi sağlanmıştır. Bu çalışmada kullanılan model, eğitim ve tanımlama işlemleri python dili kullanılarak yazılıma dönüştürülmüştür. Kullanılan önceden eğitilmiş konvolüsyonel sinir ağı modelinin başarısı test edilip yorumlanmıştır. Performans kriterlerine göre başarı %90 olarak elde edilmiştir.