Theses supervised by Doç. Dr. İlhan Aydın
10 theses · Fırat University
Internet of things based intelligent facial expression monitoring using EMG signals
Facial expressions are important aspects of human behaviors used to develop automated tools to assess anger, smile, fear, or surprise. These tools are effective to replace self-reporting methods, suitable for patients who are incapable to report their health status, especially patients in critical situation or under intensive care unit (ICU) and minors. In this thesis, we propose a wearable device with a bio-sensing mask to monitor the intensity of the human status of a patient using facial surface electromyography (sEMG). Wearable devices are the wireless sensor nodes, integrated into the Internet of Things (IoT) systems for remote monitoring of patients. At 1000 Hz sampling frequency, approximately nine sEMG channels are sampled for transmission to the cloud server and cover the entire frequency range through the gateway. We also consider low energy consumption wearing devices in the design process to carry out long-term monitoring. We develop a mobile web application to transmit large amounts of real-time sEMG data. We also perform digital signal processing, visualization, and interpretation to explain real-time sick situations such as angry, fear, surprise or smile data to caregivers. The cloud platform is a bridge between the web browser and sensor nodes. It helps to manage the wireless intercommunication between the web application and server. This study proposes a real-time scalable IoT system for bio-potential monitoring, a solution that is wearable to automatically assess situation using classification and facial expressions to assess fear, surprise, anger, or smile.
Derin öğrenme tabanlı çok modlu duygu analizi yöntemlerinin geliştirilmesi
Sosyal medya uygulamalarının toplum tarafından geniş kullanımı, insanlara bir durum, olay, hizmet veya ürün hakkında hızlıca geri bildirim sağlamalarına olanak sağlamıştır. Duygu analiziyle insanların sosyal medya paylaşımlarından bir konu veya ürün hakkındaki duygu ve düşüncelerinin tespit edilmesi mümkündür. Temel duygu analizi yaklaşımları genellikle tek tip veri tipi üzerinde gerçekleştirilmektedir. İnternetin ve akıllı cihazların yaygın kullanımı ve sosyal medya uygulamalarının çeşitliliği sonucu günlük üretilen veriler metin, görüntü, video veya ses formatlarında olabilmektedir. Çok modlu duygu analizi, farklı türdeki verileri bir bütün olarak analiz edilerek, kullanıcı paylaşımının duygusunun ortaya çıkarılması sürecidir. Bu tez çalışmasında sosyal medya uygulamalarından toplanan kıyaslama veri kümeleri üzerinde çok modlu duygu analizi yapılmıştır. Çok modlu duygu analizi için iki yaklaşım ele alınmıştır. Bu yaklaşımlardan birincisi çok modlu derin öğrenme modellerinin kullanımı dayalı yöntemdir. Bu yaklaşımda stratejik olarak farklı metin temsillerini (Karakter-tabanlı, Word2vec, FastText), farklı derin öğrenme yöntemleriyle (LSTM, GRU, BiLSTM, CNN) birlikte kullanan yeni bir hibrit derin öğrenme modeli geliştirilmiştir. Bu yaklaşım için önerilen model farklı veri temsilleri üzerinde farklı derin öğrenme yöntemleriyle öznitelik çıkarmakta, bu öznitelikleri birleştirerek metinleri duygu bakımından sınıflandırmaktadır. İkinci yaklaşımda, çok modlu veri kümeleri üzerinde duygu analizi gerçekleştirmeye dayalı yöntemdir. Farklı sınıflandırıcıların farklı veri türlerindeki etkin performansından yararlanan yumuşak oylamaya dayalı bir topluluk modeli önerilmiştir. Yapılan deneysel çalışmalarla önerilen yöntemlerin duygu analizi sonuçları doğrulanmıştır.
Endüstri 4.0 için derin öğrenme kullanan durum izleme ve kestirimci bakım yöntemlerinin geliştirilmesi
Endüstri 4.0, endüstriyel alanda kullanılan cihazların ve nesnelerin interneti olarak tanımlanan birbiriyle haberleşen bilişim elemanlarının bir araya getirilmesini hedeflemektedir. Cihazların düşük enerji tüketimi ve büyük veri üretme kapasitesi sayesinde endüstriyel alanda kullanılan cihazlarda durum izleme yöntemleri geliştirilebilmektedir. Geleneksel yöntemle yapılan bakım çalışmaları periyodik veya arızanın ortaya çıkmasından sonra gerçekleştirilmektedir. Bu tarz yaklaşımlarda arızalanmamış bir parçanın rutin olarak değiştirilmesi veya arızalanma sonrası değişim sebebiyle zaman ve üretim kaybı gibi sorunlar oluşmaktadır. Bu nedenle derin öğrenme algoritmalarının kullanılmasıyla arıza tespiti ve durum izleme yapabilen bir çalışma sunulmuştur. Derin öğrenme yaklaşımı elde edilen büyük verilerden anlamlı sonuçlar çıkarabilmektedir. Bu yöntemde büyük miktarda etiketlenmiş eğitim verileri kullanılarak özellik çıkarımı yapılır. Derin öğrenme olarak adlandırılmasının sebebi ise çok katmanlı sinir ağının kullanılmasından dolayıdır. Bu yöntemin pek çok faydası bulunmaktadır. Önleyici bakım türünden olan arıza teşhis yöntemi, sistem henüz arızalanmadan ve periyodik bakıma ihtiyaç bırakmadan, anlık olarak izlenen sistemde parçaların kalan ömürlerini tespit edebilir. Makine öğrenmesi yöntemi görüntü tanıma, sınıflandırma gibi problemlerde başarılı sonuçlar vermektedir. Bu yöntemin endüstri ortamında elde edilen sinyallerin analizinde ve sınıflandırılmasında kullanılması arıza tespitinde modern bir yaklaşım sunmaktadır. Titreşim sinyallerinin makine öğrenmesi veya derin öğrenme yöntemi kullanılmadan analiz edilmesi ve rulman arıza tespiti yapılması mümkündür. Önerilen metotlar arasında titreşim sinyallerinin genlik oranlarından faydalanılarak bir sınıflandırma yöntemi uygulanmıştır. Tez çalışmasında; makine öğrenmesi yöntemi, titreşim sinyali genlik oranları ile sınıflandırma ve farklı derin öğrenme algoritmalarının kullanılmasıyla kestirimci bakım yöntemleri oluşturulmuştur. Kullanılan veri setleri üzerinde farklı algoritmalar uygulanarak verilerin doğru sınıflandırılması hedeflenmiştir. Çalışmada AlexNet, SqueezeNet, Resnet50 ve GoogleNet algoritmaları kullanılmış ve performansları kıyaslanmıştır. Ayrıca makine öğrenmesi ve titreşim sinyallerinin genlik oranlarına göre arıza sınıflandırma yöntemleri uygulanmıştır. Sunulan tez çalışmasının geleneksel bakım yöntemlerine göre daha az maliyetli olduğu ve yüksek doğrulukla arıza tespiti yaptığı görülmüştür.
İnsansız Hava Aracı tespiti ve sınıflandırılması için derin öğrenme tabanlı tekniklerin geliştirilmesi
Günümüzde İHA'lara ilgi artması uygulama alanlarının artması ve yanında otonom uçuş kabiliyetleri nedeniyle oldukça artmaktadır. İHA'ların kullanım alanlarının artması aynı zamanda bu aygıtların birtakım güvenlik sorunlarını da beraberinde getirmektedir. Güvenlik konuları da içyapısı itibarı ile çeşitlendirilebilir. Bu alanlara insan, hayvan, doğa gibi canlıların güvenliği, her türlü askeri güvenlik ve çevresel güvenlik gibi sıralanabilmektedir. Genel olarak kamu veya ulusal güvenlik olarak adlandırılabilmektedir. Dolayısı ile İHA kaynaklı tehditlerin erken tespiti için önlem alınabilmesi önem arz etmektedir. Bu çalışma, kamu güvenliği ile ilgili uçuş halinde olan bir İHA'nın tespitine yönelik yöntemleri incelemek ve yeni yöntemler geliştirmek üzere deneyler ile desteklenmektedir. Bu bağlamda çok yönlü olarak akuistik ve görüntü tabanlı iki yöntem incelenmektedir. Görüntü tabanında You Look Only Once (YOLO) modellerinin karşılaştırılması yapılmaktadır. Literatür taramalarında İHA tespitine yönelik You Look Only Once Representation (YOLOR) ile ilgili her hangi bir çalışmanın ve üretilen bir sonuç olmadığı görülmektedir. Test edilen modeller arasında en etkili sonucun YOLOR ile sağlandığı tespiti sunulmaktadır. YOLOR, çalıştırılan veri kümesi üzerinde %95.6 başarı oranı sağlamaktadır. Diğer bir yaklaşım türü olan akuistik tabanına bağlı olarak İHA'ların seslerini ayırt etmek için gereken ses özelliklerini çıkarmak için Mel Frekans Spektrum katsayıları teknikleri uygulanmaktadır. Özellikleri belirlenen sesler 6 sınıf olmak üzere bu kümelerin sınıflandırılması için hafif ağırlıklı bir evrişimsel sinir ağı modeli önerilmektedir. Önerilen yöntem ile İHA'ları tespit etmek ve uçmakta olan bir İHA'yı kuş, uçak, helikopter, arka plan gürültüsü, fırtına gibi seslerden ayırt etmek mümkün olmaktadır. Deneysel sonuçlar, önerilen yöntemin %98.78 oranında başarılı olduğunu ve literatürde önerilen diğer yöntemlere göre daha iyi sonuçlar elde edildiğini göstermektedir.
An industrial internet of things application for real-time condition monitoring
In recent years, the production model has become widespread around the world. Smart technology and modern automation tools are increasingly changing the face of production and industry. The use of innovative maintenance techniques contributes to production by reducing disruptions and sudden stops in industry. The achievable production costs by reducing downtime and increasing maintenance performance is the most critical task. It can achieve these goals with the widespread use of low-cost smart devices that can provide a comprehensive online view of equipment operating conditions. For these reasons, an Internet of Things-based method is proposed for monitoring induction motors in this thesis. These devices analyze the vibration signals of the motor to provide conditional and continuous control of the tolerance of the motor after a fault. As a result of artificial intelligence, production and algorithms, it will be possible to remotely monitor the state of the motor using the methods of remote clouds of the Internet of things. The sound or vibration sensors that evaluate the stability of the machine help to reduce breakdowns and faults by issuing warnings and predicting whether the machine is stable, by informing monitoring centers before any fault occurs to the motor. For this purpose, it will be possible to measure vibration signals from the induction motors and make condition analysis remotely. The proposed approach is based on measuring vibration signals with a remote sensing kit and identifying faults based on artificial intelligence. The approach consists of two methods. The first method is based on the detection of shaft imbalances based on machine learning with vibration signals measured with the kit. For this purpose, the performance of different machine learning methods was compared. The second approach is to evaluate the diagnostic performance of three different one-dimensional convolutional neural networks on motor vibration signals. Obtained results show that methods can be used to detect motor faults in real environment and multiple motors can be easily monitored remotely.
Görüntü işleme ve derin öğrenme yöntemleri ile çelik yüzey kusurlarının tespiti ve sınıflandırılması
Metaller hayatımızda vazgeçilmez konuma gelmiş unsurlardır. Metaller gündelik hayatta sanayi, ulaşım, teknoloji, inşaat sektörü, enerji sektörü gibi birçok alanda kullanılmaktadır. Metallerin bu kadar çok kullanılmasının sebebi ise dayanıklı ve uzun ömürlü olmasıdır. Ancak, metallerde belirli bir müddet kullanıldıktan sonra kısmi olarak veya tamamen kullanılmaz hale gelebilir. Bu durumda, hemen hemen her alanda kullanılan bu maddenin büyük sorunlara sebep olacağı gerçeğini meydana çıkarmaktadır. Oluşabilecek sorunların önüne geçmek için insanlar bu metalleri yüzyıllarca kendileri kontrol ederek gerekli gördükleri yerlere müdahale ettiler. Bu işlem hem zaman alıcı, pahalı hem de insandan insana değişen bakış açısı yönünden tehlike arz etmekteydi. Bu konuyu ele alan bilim insanları görsel denetim başlığı altında metal yüzeylerde oluşabilecek sorunlara bilimsel yaklaşımlarla hızlı, ucuz ve değişmeyen bir bakış açısıyla çözümler üretmeye başladılar. Görsel denetim için bilim insanları görüntü işleme yöntemlerine başvurmuşlardır. Burada bilim insanları girdap yöntemi, lazerle teşhis gibi yöntemleri kullanmışlardır. Gelişen yöntemlerle derin öğrenme yöntemleri ortaya koyulmuştur. Bu çalışmada derin öğrenme yöntemleri kullanılarak metal yüzeyler üzerindeki arızaları teşhis edebilmek için arıza sınıflandırma ve arıza tespit çalışmaları yapılmıştır. Sınıflandırma için VGG-16 modeli temel alınarak yapılan ince ayarlamalar sonucunda yüksek başarı oranlarıyla arıza sınıflandırılması sağlanmıştır. Nesne tespit çalışmasında ise farklı YOLO modellerin metal yüzeyler karşısındaki karşılaştırılması sağlanmış olup en doğru ve en hızlı sonuç veren modelin YOLO-V5 olduğu tespit edilmiştir.
The detection and recognition of faces in the internet of things for security applications
In recent years, the security constitutes are the most important section of human life. Security of the house and the family is important for everybody. Automation of a home is an exciting field for security applications. This area has developed with new technologies such as the Internet of things (IoT). In IoT, each device behaves as a small part of an internet node and each node communicates and interacts. Currently, security cameras are used in order to construct safety in areas, cities and homes. The camera records the events, and when a problem occurs, it will detect by monitoring the old recording. At this time, the cost is the greatest factor. This system is very helpful to reduce the cost of monitoring the movement from outside. The purpose of this thesis is to describe a security alarm application by utilizing low preparing power chips and Internet. Also, a new online method is proposed to detect and recognize faces on Raspberry Pi in the IoT. Raspberry Pi operates and controls movement detectors. It will monitor and record the motions for future playback. This thesis proposes an analysis of images via computer vision to detect and recognize faces in the analyzed images. If these frames contain a face, the system will detect and recognize the face. This system is appropriate for small personal range surveillance, as, in personal office security, home, parking entrance and bank locker room. The face detection and recognition in the IoT is a very important problem for a security and surveillance system. Also, face detection and recognition is presently a very active research area. The proposed system is very helpful to reduce the cost of monitoring the movement from outside. On the other hand, in this research, an IoT-based system is combined with computer vision in order to detect human's body. A Raspberry Pi 3 cards with the size of a credit card is used for this purpose. A motion is detected by the PIR sensor mounted on the Raspberry Pi. PIR sensor helps to monitor and get alerts when a movement is detected. Afterward, the human's body detects in the captured image and is sent to a smartphone by using telegram application.
Sosyal medyada sahte hesap ve hesap gruplarının tespiti için özellik çıkarımı ve yapay zeka temelli tekniklerin geliştirilmesi
Teknolojinin gelişmesiyle beraber sosyal ağlarda gelişmiştir. Evde, işte, yolculukta, hayatın her anında sosyal ağlara erişim sağlanabilmektedir. Yalnızca haberleşme ve sosyalleşme için değil, alışveriş, bilgi erişimi gibi birçok aktivite sosyal ağlar üzerinden yapılmaya başlanmıştır. Twitter'da bu sosyal ağların içerisindedir. Twitter'da bazı kötü niyetli hesaplar yanlış bilgi ve gündem oluşturma işlemi yapmaktadır. Bu durum sosyal ağlardaki temel problemlerden biridir. Bu nedenle kötü niyetli hesapların tespitinin önemi artmaktadır. Bu tez çalışmasında insanları bu yanlış bilgilerden uzak tutmak için zararlı ve zararsız hesapların sınıflandırılması öngörülmektedir. Bunun için oluşturulan veri kümesini ileri makine öğrenmesi algoritmalarıyla sınıflandırılıp, problemi çözmek amaçlanmaktadır. Bu amaçla insan ve bot hesaplarda özellik çıkarımı yapılmıştır. Elde edilen özellikler farklı makine öğrenme algoritmalarıyla eğitilmiş ve performansları karşılaştırılmıştır. Ayrıca özellik arttırma ve çoklu makine öğrenme yöntemlerinin performans üzerindeki etkileri araştırılmıştır. Bot gruplarının davranışları için çoklu dizi hizalama yöntemi kullanılmıştır. Farklı veri setlerine makine öğrenme algoritmaları uygulanarak farklı sonuçlar elde edilmiştir. Kullanılan öznitelikler değiştiğinde sonuçların değiştiği gözlemlenmiştir. Elde edilen sonuçlar birbirleriyle karşılaştırılmıştır. Sonuç olarak %99'luk başarım oranı elde edilmiştir.
İvme ve derinlik sensör verilerini kullanarak işbirlikçi hareket ve düşme tanıma için akıllı tekniklerin geliştirilmesi
İnsan hareketlerinin daha iyi anlaşılabilmesi için bu hareketlerin doğru ve verimli bir şekilde tespit edilmesi, tespit edilen hareketlerin de doğru bir şekilde tanımlanması ve sınıflandırılması gerekmektedir. Özellikle yaşlılarda ciddi sağlık problemlerine sebep olabilen düşme eyleminin doğru ve erken tespit edilmesi ve gerekli acil ilk yardımın yapılması gerekir. Bu amaçla bu tez çalışmasında, insan hareketlerinin tespit edilmesi ve özellikle düşen bireylere acil ilk yardımın yapılması için düşme olayının doğru ve verimli bir şekilde tespit edilmesi konularında akıllı teknikler geliştirilmiştir. Çalışmada, Kinect derinlik verileri ile ivme verileri kullanılmıştır. Uygulamalar, MATLAB platformu üzerinden yapılmıştır. İvme verileri kullanılarak insan hareketleri ve düşme olayı tespit edilmiştir ve sınıflandırılmıştır. Zıplama gibi ani hareketler ile düşme eyleminin birbiri ile karıştırılmaması ve düşme olayının daha doğru bir şekilde tespit edilmesi için Kinect derinlik verileri, düşmenin doğrulanması için kullanılmıştır. Öncelikle ivme verilerinden insanın günlük aktivitelerinin tespiti konusunda makine öğrenmesi teknikleri kullanılmıştır. Ek olarak Uzun Kısa Süreli Bellek (UKSB) tabanlı derin öğrenme yöntemi ile ivme verilerinden hareket tespiti yapılmış ve bu iki yöntemin sonuçları karşılaştırılmıştır. Hareket tespiti için bir sınıflandırıcıdansa birden fazla sınıflandırıcı uygun bir şekilde seçilirse daha iyi sonuçların alınılabileceği düşünülmüş, bu yüzden parçacık sürü optimizasyonu tekniği de uygulanmıştır. İvme verilerinden, Bir Boyutlu Yerel İkili Desen (1B-YİD) ve Aşırı Öğrenme Makinesi (AÖM) tabanlı düşme tespiti yöntemi önerilmiştir. Aynı zamanda, kontrol grafiğinin ve Kinect derinlik görüntülerinin kullanıldığı düşme tespiti tekniği geliştirilmiştir. Sonuç olarak hareket tespiti için makine öğrenmesi algoritmaları, UKSB tabanlı derin öğrenme tekniği ve parçacık sürü optimizasyonu tekniği kullanılmıştır. Düşme tespiti için de 1B-YİD ile AÖM metotları ve kontrol grafiği metodu kullanılmıştır, etkili sonuçlar alınmıştır.
Kısa metinlerden sosyal duygu sınıflandırma için makine öğrenmesi tabanlı yöntemlerin geliştirilmesi
Teknolojinin gelişmesiyle, insan hayatı sanal dünyaya daha çok girmektedir. İnternetin gelişmesiyle birlikte ise Twitter, Facebook, Instagram, Tumblr, Google+, vb. gibi sosyal medya ağları insan hayatının vazgeçilmez parçası olmuştur. Bir günde milyonlarca mesajın dolaştığı bu ağlarda, insanlar hayatlarını arkadaşlarıyla, aileleriyle ve hatta tanımadığı insanlarla paylaşmakta ve bundan memnuniyet duymaktadırlar. İnsanların belli konular ve ürünler hakkında neler düşündüğünü ve nelerden hoşlanıp nelere ihtiyaç duyduğunu sosyal medya ortamlarında paylaşması ticaret, üretim ve hizmet sektörleri için ilgi çekici olmaya başlamıştır. Bu durum, Duygu Analizi konusunun ve bunu destekleyen Metin madenciliği ile Metin Sınıflandırma alanlarının önem kazanmasını sağlamıştır. Bu çalışmada yapılan ilk uygulama, makine öğrenmesi teknikleri ile haber metinlerinin farklı öznitelik ve terim ağırlıklandırma yöntemleriyle sınıflandırılması, yöntemlerin verimliliğinin ve başarısının test edilmesi açısından önem arz etmiştir. İkinci uygulama ile yine makine öğrenmesi teknikleriyle duygu analizi çalışması yapılarak, Twitter gönderilerini içeren farklı iki veri seti pozitif, negatif ve nötr sınıflarla etiketlenmiş ve Parçacık Sürü Optimizasyonu tabanlı K-En Yakın Komşu Algoritması ile sınıflandırılmıştır. Daha önce aynı veri kümeleri üzerinde önerilen guguk kuşu algoritması ile karşılaştırıldığında önerilen yöntemin daha başarılı sonuçlar verdiği gözlemlenmiştir.