2,815
Archived Theses
0
DOIs Assigned
0%
DOI Rate
Discipline
Face recognition with local Walsh transform
Face recognition is automatically identifying or verifying a person from a still image or a video frame. The challenges in this area largely occur due to illumination, viewpoint, expression, and resolution variances. There is a wide range of information security, surveillance, law enforcement, and entertainment applications which use face recognition despite there being more accurate biometric indicators such as fingerprint or iris. However, these indicators require the cooperation of those being observed whereas face images can be taken without any cooperation. Face recognition systems generally have four main stages; face detection, alignment, feature extraction, and classification. In this dissertation, we focus on the feature extraction stage, which is probably the most challenging part of face recognition systems. Local approaches have been used frequently due to their success in handling variations such as illumination and expression. Local representations are categorized into two types as sparse and dense. In sparse local representations such as Scale Invariant Feature Transform, points of interest are detected to be used for object detection. In dense local representations, such as Local Binary Patterns and Gabor, features are extracted by applying the method to each pixel of an image. In this dissertation, firstly, we propose a dense local representation which localizes the global Walsh Transform. Secondly, we propose methods to use this representation effectively. The first contribution of this dissertation is a novel dense local representation called Local Walsh Transform (LWT). Walsh Transform (WT) kernel is defined as a set of orthogonal functions with values plus and minus ones. The dot product of any two distinct rows and columns of a WT kernel is zero. Transpose, conjugate, and inverse of a WT kernel are equal to itself. For the WT kernel of order N, if we denote rows by i from 0 to N - 1, the ith row has exactly i zero crossings. In the LWT method, we use this special WT matrix to create filters and apply these filters to each pixels of an image separately. Thus, for a N*N WT we create N*N filters and so N*N images, namely LWT components (y). Based on the fact that using phase information makes the recognition method somewhat more invariant to uniform illumination changes and blurring, we propose an approach to create complex images from LWT components. To this end, we utilize the symmetry between the LWT components with respect to the diagonal. By using this symmetrical relationship, we pair the symmetrical LWT components to create LWT complex images. LWT components which are on the upper side of the diagonal are considered as real part of the complex components, while the components which are on the lower side of the diagonal are considered as imaginary parts of complex images which are paired symmetrically with respect to the diagonal. In addition to the LWT, we propose some additional methods to improve the performance of a face recognition system. The LWT is enhanced with some approaches such as Cascaded LWT (CLWT), dividing image into subregions, weighting, and reducing dimension of features by block-based dimension reduction method. In addition, LWT complex images are converted to grayscale images by XOR approach. For face verification problem, SVM is used for classification, while L2ML is used for dimension reduction. Among the proposed LWT-based methods, Patch-based LWT (PLWT) method enlightens the abilities of the LWT most. In PLWT, we take the advantage of both sparse and dense local representations by applying the LWT method to salient points of face images. In feature extraction stage of the PLWT, first, landmarks of images are detected and some of them are selected. Then, the images and their landmarks may be scaled for once or twice. For each selected landmark at different scales of an image, a patch is created around the landmarks. Following this, the LWT method is applied to all patches of the image and LWT complex images are created. Each complex image is divided into non-overlapping subregions and Phase Magnitude Histogram (PMH) of each subregion is calculated. The PMHs of the subregions are concatenated to create the features of complex images and these features are concatenated to create the features of the patches. Dimensions of the features of the patches are reduced by Whitened Principal Component Analysis method. We choose an unsupervised dimension reduction method to make our methods completely unsupervised and be operable on the databases which do not contain class labels of images. For a test image, the same algorithm is applied to the image and dimensions of the patches are reduced by projection matrices learned in the training stage. Identity of the image is determined according to the similarity between the features of the test image and that of the training set images. The proposed PLWT method is further improved by the CLWT approach. In the CLWT, we apply LWT again to both real and imaginary parts of the LWT complex images. In other words, we once more apply the LWT to sharpened images in which shape information is extracted by the first application of the LWT. This approach gives a depth to the method and increases success rate especially on low resolution images in which shapes and edges are blurred. To use this approach in the PLWT method, all needed is to apply the CLWT instead of the LWT. When the proposed method is carried out with the CLWT approach, we call this method Patch-based CLWT (PCLWT). We show the performance of the proposed methods, by applying them to challenging, widely known, and popular benchmark databases. Specifically, for the face identification problem the Face Recognition Technology (FERET) and the Surveillance Cameras Face (SCface) databases are used, for the face verification problem the challenging Labeled Faces in the Wild (LFW) database is used. The FERET is one of the most widely used benchmarks in the evaluation of face recognition methods. This database gives an opportunity to evaluate methods with various facial expressions, lighting conditions, cameras, scale, and aging property. The images of SCface are taken in an uncontrolled indoor environment that mimics the real world conditions of the indoor face recognition problem. It contains very low resolution images which are taken in the dark. The LFW is a database designed to facilitate the benchmarking of unconstrained pair matching and is also intended to illustrate the problem of learning from one example. This database consists of images collected from the web which contain large pose, occlusion, and expression variations. For most of our experiments, we use the "unsupervised" protocol of the LFW since during both training and testing phases we do not use label information of the subjects, and not access to whether any pair of images is of the same subject. For methods which include SVM or L2ML methods, we use "image restricted with no outside data" protocol of the LFW. In the preprocessing step, images of databases are normalized and aligned by the frontalization method, a similarity transform or the High-Fidelity Pose and Expression Normalization (HPEN) with a similarity transform. The landmarks of the face images are detected by using the Supervised Descent Method (SDM) or Dlib. To the best of our knowledge, the PLWT and PCLWT method achieve the best performance on both the FERET and the SCface databases, and the second best unsupervised category result on the LFW database. Although the other proposed methods are also successful, they are below the state-of-the-art results. In conclusion, the LWT is a strong image descriptor which reveals the shape characteristics of images. The CLWT is especially effective on low resolution images where shape characteristics are blurred. Experimental results show that both the PLWT and PCLWT are robust in terms of illumination, expression, occlusion, and low resolution. The high performances of the proposed methods show that these methods are effective on both wild and low resolution images, and are good alternatives to unsupervised hand-crafted methods.
Konu tabanlı sosyal topluluklar için etkili kullanıcı ağırlıklandırılmış duygu analizi yöntemi
Günümüzde sosyal mikroblog servisleri insanların düşüncelerini diğer insanlara aktarmak için kullandığı popüler bir anlatım biçimi haline gelmektedir. İnsanlar bu platformları farklı konu başlıklarında içerik üretmek ve paylaşmak için gerçek zamanlı olarak kullanmaktadırlar. Sosyal mikroblog alanlarının yaygınlaşmasıyla birlikte, sayısız yazılı metin dijital formda araştırmacıların erişimine sunulmaktadır. Bu dönüşüm ile, farklı sosyolojik alanlarda daha derin ve detaylı duygu analizi araştırmaları gerçekleştirilmektedir. Böylece politika, ekonomi, siyaset ve finans gibi birçok farklı sosyolojik alan bu araştırma sonuçlarından beslenmektedir. Mikroblog servisleri üzerine gerçekleştirilen önceki duygu analizi araştırmaları, genellikle servisler üzerinden bireyler tarafından gerçekleştirilen paylaşımlarına ait olan metinleri bilgi kaynağı olarak kullanmaktadırlar. Bu araştırmalar sosyal mikroblog servislerindeki topluluk bireylerini tanımlamak için kullanılan bilgileri çok dikkate almamaktadır. Bunun yanı sıra günümüze kadar gerçekleştirilen sosyal ağ analizi araştırmalarında ve duygu analizi çalışmalarında, bir topluluktaki insanlara duyulan güvenin o topluluğun bir konu hakkındaki duygu seviyesinin belirlenmesinde önemli bir yer tuttuğu belirtilmektedir. Literatürdeki sosyoloji alanında yapılan çalışmalar incelendiğinde, bir topluluktaki güven duyulan kullanıcının aslında etkili kullanıcı olduğu görülmektedir. Dolayısıyla, bu tez kapsamında önceki gerçekleştirilen duygu analizi çalışmalarının başarımını arttırmak için etkili kişilere ait olan tanımlayıcı bilgileri de dikkate alan yeni bir duygu analizi yaklaşımı önerilmektedir. Ayrıca bu çalışmada topluluk içerisindeki etkili kişilerin konu tabanlı bir mikroblog topluluğunun duygu polaritesi üzerindeki etkisine konsantre olunmaktadır. Tez kapsamında gerçekleştirilen çalışmada ilk olarak literatürdeki sosyoloji alanında gerçekleştirilen etkili kullanıcı çalışmaları detaylı bir biçimde ele alındı. Sonra bu literatür taramasından ortaya çıkan bilgi birikimi yardımıyla mikroblog servislerindeki etkili kullanıcıların sahip olması gereken özellikler ve hangi tür paylaşımların mikroblog servislerinde daha etkili olduğu tanımlandı. Bir sonraki adımda bu özellikler göz önünden bulundurularak literatürde tanımlanan etkili kullanıcı yöntemleri değerlendirilip eksiklikleri belirlendi. Etkili kullanıcı yöntemlerinin değerlendirilmesinden sonra önerilecek yeni yöntemde kullanılmak üzere literatürde başarımı yüksek çalışmalarda çokça kullanılan PageRank yaklaşımı seçildi. Daha sonra bu yöntem belirlenen etkili kullanıcı özellikleri göz önünde bulundurularak genişletildi ve eksiklikleri giderildi. Tez çalışmasının ikinci aşamasında mikroblog servisleri üzerinde gerçekleştirilen duygu analizi çalışmaları incelendi. Bu inceleme sonucunda konu tabanlı sosyal ağlarda topluluk üyelerinin paylaşımlarının kalitesini ölçmek için bireylere ait özelliklerin tam anlamıyla göz önünde bulundurulmadığı görüldü. Bu problemi çözmek için bu tez kapsamında önerilen PageRank tabanlı yöntem ile bireylerin etkileme seviyesi belirlendi ve paylaşımları bu değere göre ağırlıklandırıldı. Böylece önceki gerçekleştirilen yalnızca metin içeriğini dikkate alan duygu analizi çalışmaları genişletildi. Sonuç olarak bu tez çalışması kapsamında konu tabanlı topluluklardaki etkili kullanıcıları duygu analizi yöntemlerine tam anlamıyla dâhil eden yeni bir duygu analizi çalışması tanımlandı. Çalışmanın deneysel kısmı finans alanı üzerinde gerçekleştirildi. Gerekli verinin toplanması için Twitter mikroblog servisi seçildi. Seçilen mikroblog servisinden alan doğrultusunda iki sosyal topluluk ve bu topluluklara ait veri kümeleri oluşturuldu. Kümelere ait veriler normal dağılım gösterdiği için deney kısmında Pearson korelasyon katsayısı metodu kullanarak finansal sosyal topluluğun duygu polaritesi ile BIST100 olarak adlandırılan, Türkiye merkezli en iyi 100 kamuya açık şirketi içeren ve bu şirketlerin borsadaki bileşik değerini bildiren Türkiye'nin borsa endeksi ile arasındaki ilişkiyi analiz eden kapsamlı bir deneysel çalışma yapıldı. Deneysel kısmın çıktıları incelendiğinde bu tez çalışması kapsamında önerilen duygu analizi yönteminin konu tabanlı mikroblog topluluğunun duygu polaritesini bulmada literatürdeki diğer yaklaşımlara göre daha etkili olduğu kanıtlandı.
Nesneye yönelik sistemlerde kusurlu sınıfların öngörülmesi için makine öğrenmesi temelli bir yöntem oluşturulması
Bugünün gelişmiş yazılım sistemlerinin boyutundaki ve karmaşıklığındaki artış nedeniyle, gerekli tedbirler alınmadığı zamanlarda projelerde yapısal kusuru bulunan sınıfların sayısı da artmaktadır. Yapısal kusuru olan sınıflar, iç uyumları düşük, karmaşıklıkları yüksek, diğer sınıflara bağımlılıkları fazla olan sınıflardır. Kötü tasarlanmış sınıfları değiştirmek, test etmek ve düzeltmek zaman aldığından, bakım maliyetleri de yüksek olur. Bu çalışmada, testlerdeki hataların çoğunu üreten, yapısal kusurları bulunan sınıfları saptamak için bir makine öğrenmesi tabanlı yöntem oluşturma yaklaşımı amaçlandı. Bu amaç ile yazılım geliştiricilere ve test uzmanlarına hata eğilimli sınıfları öngörme, hataların kaynaklarını hakkında bilgi vererek tasarım kusurlarını ortadan kaldırma ve bakım maliyetlerini azaltma konularında yardımcı olmak hedeflendi. Öğrenme tabanlı yöntemlerde, modeli eğitmek için kullanılan veri kümesi, tahmin modelinin doğruluğunu kuvvetle etkiler. Bu nedenle, mevcut yazılım projelerinden toplanan verileri ve farklı metrikleri kullanarak doğru veri setini oluşturmak hedeflendi. Veri kümelerini oluşturmak için yazılımlar belli sayıda sürümler (version) boyunca gözlemlenerek üç farklı gruptan metrik değeri toplanır. Birinci grupta evrimsel (tarihsel) metrikler yer alır. Örneğin refaktör sayısı, revizyon sayısı ve hata düzeltme sayısı gibi metrikler tarihsel metriklerdir. İkinci grupta yazılımın yapısı hakkında bilgi veren kod metrikleri bulunur. Örneğin kod satır sayısı, bağlama (coupling) ve birleşme (cohesion) gibi metrikler kod metrikleridir. Üçüncü grup metrikler ise yazılım geliştiricilerinin etkileşimleri hakkında bilgi içeren mikro etkileşim metrikleridir. Örneğin, bir sınıf üzerinde değişiklik yapan geliştirici sayısı, bir geliştiricinin aynı anda sahip olduğu görev (task) sayısı gibi metriklerdir. İkinci adım, etiketleme adımı modelin performansını etkileyen çok önemli bir adımdır. Bu çalışmada, sınıf üzerinde gerçekleştirilen hata düzeltme sayısının sınıfın geçirdiği reviyon sayısına oranına bakılarak etiketleme yapıldı. Bu oran önceden belirlenmiş olan eşik değerinden yüksek olursa sınıf "Buggy" olarak, küçük olursa "Clean" olarak işaretlenir. Bu yöntemin dayandığı düşünce; yapısal kusurları olan sınıfların herhangi bir değişime (revizyon) uğradıktan sonra hata çıkarma olasılıklıklarının sağlıklı sınıflara göre daha yüksek olduğudur. Bu nedenle etiketleme yapılırken mutlak hata sayısı değil, hata sayısını revizyon sayısına oranı dikkate alınmaktadır. Sık hata çıkaran sınıflar "kusurlu" olarak işlaretlenirken, az hata üreten veya hiç hata üretmeyen sınıflar ise "sağlıklı" olarak işaretlenmektedir. Üçüncüsü, ilgisiz metrikleri kaldırarak en uygun metrik alt kümesini elde etmek için CFS (Korelasyon Temelli Özellik Seçimi) ve PCA (Temel Bileşen Analizi) yöntemleri kullanıldı. Bu özellik seçimi işlemi, modelin anlaşılabilirliğini ve hata algılama performansını artırır. CFS, öznitelikler ile sınıfın etiketinin öngörülebilirliği arasındaki korelasyonu dikkate alarak metrik seçimi yapar. CFS ile seçilen metrikler sınıfların etiketiyle yüksek korelasyona sahipken, metrikler arası korelasyon düşük olur. CFS adımında belirlenen bazı metrikler, PCA yöntemiyle kolayca toplanıp yorumlanabilecek daha anlamlı metriklerle değiştirildi. Metrik sadeleştirmesi yapılırken elde edilmesi kolay ve çıkarım yapılabilecek anlamlı metriklerin seçilmesine dikkat edilmelidir. PCA kullanarak, aynı temel bileşende bulunan metrikler arasından toplanması ve yorumlanması daha kolay olan metrik seçildi. Bunu yaparken proje liderlerine, test uzmanlarına ve yazılım geliştiricilerine sağlıklı bilgi vermek amaçlandı. Dördüncü olarak veri kümeleri dengesizliğini gidermek amacıyla çoğunluk sınıflar üzerinde, projelerin özellikleri de değerlendirilerek sadeleştirme yapıldı. Genellikle, toplanan eğitim verileri, kusurlu olanlardan (azınlık) çok daha fazla sağlıklı sınıflar (çoğunluk) içerir. Bu dengesiz dağılım neticesinde makine öğrenme yöntemlerinin azınlık sınıflarını öğrenme performansları düşük olmaktadır. Veri kümesi dengesizliği giderilerek sınıflandırma performansının arttırılması amaçlanmıştır. Son olarak model oluşturma yaklaşımımızda Rastgele Orman sınıflandırma yöntemi olarak seçildi. Yaklaşımımız çeşitli açık kaynaklı Eclipse alt projelerinden toplanan verileri içeren beş farklı veri kümesini kullanarak değerlendirildi. Veri kümeleri, Eclipse alt projeleri olan Mylyn, Team, Jdt ve birçok küçük projeden oluşan Etc'dir. Ayrıca bu dört veri kümesinin birleşimi olan All veri kümesi vardır. Herbir veri kümesi 81 metrikten oluşmaktadır. Sonuçlar, yaklaşımımızın, kusur eğilimli sınıfları saptamak için öğrenme tabanlı modeller oluşturmada başarılı olduğunu gösteriyor. Önerilen yaklaşımlar, sistemdeki hataya eğilimli sınıfları %70'ine kadar bulabilmektedir. Bununla birlikte, hataya yatkın sınıfların belirlenmesinde hangi metriklerin etkili olduğu incelendi, bunların projelere göre farklılıklar göstediği görüldü. Bu sebeple farklı yazılım sistemleri için farklı modellerin oluşturulması gerektiği sonucuna varıldı, çünkü her proje kendi karakterine sahip olduğu görüldü. Mylyn projesinde, belirli bir görev üzerinde çalışan yazılım geliştiricinin, çalışırken çalışmasının kesilme sıklığını gösteren "NumInterruptions" metriğinin etkili olduğunu görüldü. Bu metriğin belirli bir değerin (<7.65) altında olduğu sınıflarda hata oluşmamıştır. Bu, bir görevle uğraşırken proje çalışanlarının sıklıkla kesintiye uğramamaları gerektiği anlamına gelir. Mylyn projesinde başka bir etkili metrik "NumEditEvent" dir. Sınıflar, bu metrik değeri sıfır olduğunda J48 sınıflandırıcısı tarafından "Clean" olarak etiketlenmiştir. Bir sınıfın değiştirilmemesi durumunda bir hata üretmediğini gösterir. Bu, sınıfların etiketlenmesi ile ilgili fikrimizi desteklemektedir. JDT projesinde "RatioCodeUnderstandingEffort" metriği etkili oldu. Bu metrik, doğrudan sınıfın anlaşılabilirliği ile ilgilidir. Bu metriğin belirli bir değerin (<0.835) altında olduğu sınıflarda hata çıkmamıştır. Düşük karmaşıklığı olan sınıfların daha az hata ürettiği anlamına gelir. Etc projesinde tek başına etkili olan bir metrik bulunmamaktadır. Fakat "TimeSinceLastTask" değeri "NumMultiTask" ve "NumInterruptions" değerleri ile birlikte değerlendirildiğinde; bu metrikler belirli bir değerin altında kaldığı zaman sınıfların "Clean" olduğu görüldü. Yani çalışanlar aynı anda birden fazla iş yapmaya çalıştıklarında "NumMultiTask" değeri ve "TimeSinceLastTask" değeri beraber artacaktır. Bu projede çalışanlara aynı anda çok fazla iş verilmemesi gerekmektedir. Ayrıca yazılım geliştiricilerin çalışması yarıda kesilmemelidir. Team projesiyle ilgili elimizde yeterli veri olmadığı için bu projeyle ilgili yorum yapmamak daha doğru olur. Ama yinede analiz etmemiz gerekirse, bu proje için "RatioCommentToCode" oranı belirli bir değeri (0,21) geçtiği zaman sınıflarda hata çıkmadığı gözükmektedir.
Arama sorguları üzerinde görev tabanlı kümeleme
Sorgu metinleri üzerinden görev çıkarımı, arama motorlarında ve birçok arama tabanlı uygulamalarda kullanılan önemli ve ilgi çekici konulardan birisidir. Kullanıcılar günlük aktivitelerinde ve kişisel planlarını yaparken sıklıkla internet arama motorları üzerinden sorgulama yaparlar. Metin madenciliği yöntemleriyle işlenen sorgu metinleri, popüler konu başlıklarının belirlenmesinde ve kullanıcı özelliklerinin keşfedilmesinde kullanılmaktadır. Kullanıcılar tarafından girilen benzer sorgular çeşitli özniteliklerine göre bir araya getirilerek anlamlı görevler çıkarılabilir. Arama yapılan alana yönelik doğru sonuçların döndürülmesinde, arama metni tamamlamada, kullanıcı amacı doğrultusunda öneriler sunulmasında görev çıkarımının önemli rolü vardır. Mevcut yaklaşımlarda kullanıcının oturum bilgisi, tıklanan doküman içerikleri ve sorgu öğeleri kullanılarak görev çıkarımı yapılmaktadır. Kullanıcının arama motorunu açtığı andan kapattığı ana kadar geçen süre kullanıcı oturumu olarak nitelendirilir. Bu süre zarfında yapılan sorgulamalar belirli bir göreve yönelik olabileceği gibi, birden fazla görev de paralel sorgulanıyor olabilir. Sorgu metinlerinin anlamsal özelliklerini temel alan çalışmalarda sorgu sonucu tıklanan doküman içerikleri, makale başlıkları önem kazanmaktadır. Önceki çalışmalarda kullanılan sorgu öğeleri ise, arama metninde geçen özel isimler, yer adları ve sözcük öbekleridir. Öğeler, sorgu içerisinde tek başına kullanıldığında bir anlam ifade ederken, bir araya geldiğinde farklı anlamlara gelen kelimelerin doğru görev kümelerine atanmasında başarımı arttırmaktadır. Son çalışmalarda, öğe kategori ilişkilerini gösteren Wikipedia kategori hiyerarşileri ve Probase taksonomi bilgileri kümeleme aşamasında kullanılarak görev kümeleri oluşturulmaktadır. Bu çalışmada, öğe kategorileri kümeleme aşaması yerine öznitelik çıkarımı için kullanılmıştır. Böylece, arama sorguları arasındaki anlamsal benzerliğin kategoriler üzerinden daha hassas ölçümlenmesi amaçlanmıştır. Sorgular arasındaki benzerlik hesaplamalarında sorgu öznitelik vektörleri kullanılmaktadır. Diğer çalışmalardan farklı olarak, öğe ve kategori gibi sözel özniteliklerin vektörel hale getirilmesi için n-gram ve word2vec yöntemlerinden yararlanılmaktadır. Yapılan çalışmada URL, oturum, kullanıcı, öğe ve kategori öznitelikleri farklı kombinasyonlarla birleştirilerek merkezi ve yoğunluk tabanlı kümeleme yöntemleriyle sorgular kümelenmiştir. Böylelikle, farklı öznitelik setlerinin kümeleme başarımındaki etkisi ölçümlenmiştir. Kümeleme aşamasında sayısal ve sözel öznitelikler bir arada kullanıldığı için, merkezi kümeleme yöntemi olarak K-Means algoritmasının özelleştirilmiş hali olan K-Medoids algoritması kullanılmıştır. Merkezi kümeleme yöntemlerinin gürültülü verilerden etkilendiği deney sonuçlarında görülmektedir. Bu çalışmada, gürültülü verilerin etkisini minimum seviyeye indirgemek için yoğunluk tabanlı kümeleme yöntemi olan DB-Scan algoritması da öznitelikler üzerinde çalıştırılmış ve sonuçlardaki başarım arttırılmıştır. Arama sorgularını temsil etmek üzere oluşturulan farklı öznitelik vektörleri elde edilen kümeleme sonuçlarının başarımı ile değerlendirilmiştir. Bir görev kümesi içerisindeki elemanların benzerliği ve görev küme merkezleri arasındaki uzaklık ölçümlenerek kümeleme sonuçları karşılaştırılmıştır. Küme içi değerlendirmede, aynı kümeye atanan elemanların birbirlerine ne kadar yakın olduğu bilgisi (Sıklık değeri) kullanılır. Kümeler arası değerlendirmede ise, her bir sorgu bir kümeye atandıktan sonra elde edilen küme merkezleri arasındaki mesafenin ne kadar uzak olduğu bilgisinden (Ayrışma değeri) faydalanılır. Bu çalışmanın sonucunda, sorgulardan elde edilen öğe ve kategori bilgileri anlamsal öznitelikler olarak bir arada ele alınıp word2vec yöntemiyle vektörel hale getirilmiş ve yoğunluk tabanlı kümeleme yöntemi kullanılarak görev tabanlı kümeleme başarımı arttırılmıştır.
Audio visual attention for robots from a developmental perspective
Developmental robotics is associated with embedding a human-like behavior in a developmental manner within the robot. The field takes inspiration from the human cognitive model for the syntheses of a cognitive-like decision-making model. The key concepts associated with the topic are hierarchy of the system, incremental learning and multi-sensory cooperation. To achieve a developmental like structure, the system has to be hierarchical in nature. Specifically, the perception level has to be separated from (and put beneath) the decision level. The cognitive-like structure is achieved by ascending from the lower-level to the upper level. The ascension should entail a reduction in the engagement of processing resources and a suppression of response to stimuli of lower priority. The process is similar to filtering where only important information propagated further in the model. Not only that, but it is also modified so that the meaning is conveyed in a symbolic manner rather than transporting the raw information itself. However, for the establishment of such hierarchy to be truly developmental in essence, incremental learning is a crucial factor. After all, the human cognitive model achieves its highly complex dynamics through a lifetime of evolution. As a matter of fact, incremental learning seems to offer, in this case, more than a way out of the scarcity of data at time zero of the experiment dilemma. But it also offers an opportunity of allowing a unified gradual growth of multiple prospective cognitive -functions embedding on a larger scheme and over the long run of the field's research. The multi-sensory cooperation comes then naturally in the picture because the majority of cognitive functions feed on the fused information provided by the different lower level sensory. Among the highly hierarchical cognitive functions, attention is one that has been heavily addressed by the literature. More specifically, audiovisual attention relies heavily on the concept of fusing multi-sensory information. In order to design an audiovisual attention system within a developmental framework, the nature of the attention phenomenon found in the human model has to be understood and translated into the machine learning and artificial intelligence view. Concepts related to attention like "audiovisual objects" and "binding" found in the neuroscience literature seem to provide key insight to how audiovisual attention occurs. "Audiovisual objects" are the cognitive-association representative of an auditory quantity emitted by a visual object perceived by both eyes and ears. The "binding" concept is the one responsible for creating this symbolic association. Examining these concepts for design inspiration, and taking into account that visual and auditory quantities are perceived through "features" from the scope of Artificial intelligence, a system-design that attempts to replicate such concepts can be established. The audiovisual attention system introduced here is of a two level hierarchy. The low level modules are auditory and visual perception modules; the second-level module fuses the information provided in the low level ones to achieve a higher-order cognitive like behavior. The auditory module relies heavily on the concept of incremental unsupervised learning, where the classifier labels the incoming new data instances, assumes the label to be true, append the instance to its past knowledge and retrains again. Three classification model structures that make use of a support classifier (which can be thought of as a short term auditory memory) are introduced to attempt to decrease the drop down of accuracy overtime. These models are Shared base-knowledge life-long model, Separate base-knowledge life-long model, Separate base-knowledge epoch-based model. The models investigate the accuracy behavior of unsupervised learners. Six different classifier algorithms are monitored for their behavior and the results of the models are compared to the offline learning case for the same algorithms. The performance in terms of accuracy and training time of each classifier is also compared within different feature set frames and different amount of data per training set frame. Audiovisual attention is then introduced through a two level architecture and three phases of learning. The first level of the architecture is comprised of the auditory module and the visual module. The auditory module operates with the Separate base-Knowledge life-long model suggested for incremental learning. The visual model uses a pre-trained (in an offline manner) object recognition model of deep neural network with a Single Shot Multi-Box Detector (SSD) architecture with the tensorflow object detection API. The second level module makes use of a meta classifier that operates on the classes labels probability of the low level modules in order to fuse the audiovisual information. The meta classifier is evolved developmentally in three phases. The first phase (Exposure) establishes the base knowledge for the meta classifier and realizes the audiovisual "binding" concept. In this phase the symbolic representation of an audiovisual object is realized through concatenating the label probability vectors of the auditory and visual modules to make up a meta feature vector. This way the association is introduced via correlation between label probability (low level modules decisions) values of the two sensory models. The meta classifier is trained with the meta feature vectors in an offline manner at this stage. The second phase (Expansion) attempts to expand and change the nature of a pre-established class in the first phase through enumerations of mismatched audio visual information. Mismatch events are not forced on the system but are rather taken when the meta classifier makes a false classification of a meta audiovisual instance. Therefore, learning at this stage is supervised by the caregiver, where the system is told of its false labeling and informed of the true label in order to enumerate the instances correctly. The last phase (Reappraisal) attempts to equip the system with the ability to correct its false guess of an instance through previous knowledge of related instances and via storing the wrong guessed instances in memory to go back to later after more knowledge has been obtained. For this phase two methods (subroutines) for correction are used. The first subroutine looks at the past instances in the stream of which the instance at hand was labeled falsely. It takes the maximum vote over the labels of these instances and applies it to the instance at hand. If the first subroutine fails (or if the instance in question is the first in the stream) then the second subroutine tries to infer the label by looking only at the audio meta information or the visual meta information. The subroutine tries first to decide which of these two information vectors is more likely to be accurate (or less noisy). Then, it picks the label whose audio/visual association (that was established in the exposure phase) is voted by the more likely to be accurate among the two types of meta information. The communication mechanism by which the low level modules and the second (meta) module communicate and broadcast information is maintained by the topic/message architecture of ROS. The timestamp feature is utilized for audio and visual capturing to avoid synchronization issues between all modules and insure that all audiovisual information being fed to the system correspond to each other. The system was tested in two parts. The first part addresses the audio classification by incremental learning problem. The second part addresses the audiovisual integration and audiovisual object classification problem. First, for the incremental learning models test, the auditory data were tested with different feature sets that consist of Mel Frequency Cepstrum Coefficients (MFCC), delta MFCC, energy filter banks and a range of other features that include spectrograms and Chroma-grams. Of those, the performance accuracy and training time were compared. Single MFCC features were found to be efficient since they train the fastest and their accuracy is comparable to a more complex feature set. Then, the support based incremental learning models were tested for their behavior. Results showed that most of the classifier such as support vector machines and random forests experienced a lift in performance accuracy with models introduced as opposed to regular incremental learning or even offline learning in the case of multilayer perceptron. Both the Shared Base-Knowledge lifelong model and Separate Base-Knowledge lifelong model performed well and obtained good results. The Separate Base-Knowledge epoch-based model however failed to achieve a good performance except for the case of k nearest neighbor algorithm. As for the audiovisual integration problem, the learning phases were tested with a custom made test set that includes the fused auditory and visual features obtained (as the labels probability ) from the lower level auditory and visual modules. The exposure phase achieved an accuracy of 89% on the test set. The expansion phase failed however, to achieve a good performance and the accuracy fell down to 7% because the meta classifier classified all incoming instances as a "don't-care" class after expanding said class. The reappraisal phase was thus mounted on the exposure phase directly. Its defined subroutines and behaviors managed to correct the false label estimations on the test set and the end accuracy was lifted to 100%.
Fault tolerant virtual machine consolidation for energy-efficient cloud systems
The requirement of optimizing large hardware and reducing their costs while considering the demand of software infrastructure organizations contributes Cloud computing to get more popular. Besides, automatic scaling, virtualization of hardware and guaranteed service performance features of Cloud computing increase the ease of adoption.On the other hand, the rise of Cloud computing applications may cause enormous energy consumption. Therefore, while satisfying the Cloud computing features, Virtual Machines (VMs) may be consolidated based on their utilization in order to balance the load or optimize energy consumption of physical machines.Since, these physical resources are vulnerable to system failure or in the need of maintenance, the probability of unavailable physical resources and coordination of the VMs over physical machines should be considered by a proposed optimization model.Otherwise, it is possible to encounter adverse results such as various unnecessary application migrations and consolidations of VMs that may easily lead to Service Level Agreement (SLA) violations and inefficient use of energy. In this study, a new model is suggested to decrease energy consumption and decrease number of application migration without violating SLA, while considering the fault occurrence possibilities in the cloud environment. Simulation software is developed by using Java 8 for this study. The main flow of the simulation could be separated as two main parts; application assignment to VM and VM consolidation on a physical machine.In the first part of the simulation, the applications are placed to VMs by using Round Robin algorithm. After that, the second part of the simulation checks all the VMs for consolidation; according to the selected algorithm. In the simulation, there are three types of algorithms could be selected; no-consolidation algorithm, consolidation by threshold algorithm and Fault Tolerant Consolidation (FTC) algorithm. Comparison of energy consumption on different threshold values, changes of energy consumption and number of application migrations during the simulation, by using different Guaranteed VM (GVM) selection policies and comparing application lifetime in the case of cold migration there are four different experiments has done to prove the performance of the FTC algorithm.Experiment results show that proposed approach decreases energy consumption by approximately 37% and the number of application migration by approximately 9%. Furthermore, when the fault occurs, the rise of energy consumption is less than 11% with the help of proposed model.
Distributed bipartite graph clustering
Bipartite graphs are graphs whose vertices can be divided into two independent sets (X and Y) such that no two graph vertices within the same set are adjacent. There are many real-world examples which display natural bipartite structure. For instance, a bipartite graph where the distinct set of vertices are people and books and edges represent buying relationship between them. Another prominent example is a bipartite graph where the vertex sets are candidates and jobs and if a candidate applies to job, there is an edge between the corresponding vertices. In this thesis, we implement a distributed bipartite clustering method for large and sparse data. There are several approaches to cluster data which is bipartite in nature. For example k-means clustering method can be applied to the both sides of the graph separately. But bipartite clustering requires a clustering method that clusters data simultaneously. Spectral clustering is a way to cluster bipartite data simultaneously which means assigning vertices from both sides into the same coherent cluster. We use multi bipartitioning clustering algorithm which is based on spectral clustering in this thesis along with some other bipartite partitioning algorithms such as Bifennel, Aweto and etc. There are some steps that need to be done before bipartite graph is clustered. Firstly, bipartite graph is converted into adjacency matrix where rows represent one set of vertices of bipartite graph and columns represent the other set of vertices. If there is an edge between two vertices, then the value of the corresponding cell of the adjacency matrix is assigned to 1, otherwise it is assigned to 0. After having the adjacency matrix, the Laplace form of the adjacency matrix is created. This matrix is also known as degree matrix. Degree matrices namely D1 and D2 are constructed for X and Y respectively. Then adjacency matrix is multiplied with D1 and D2. Lastly, the spectral algorithm runs Singular Value Decomposition (SVD) on the formed adjacency matrix and finds second singular left and right vectors. After finding second singular right and left vectors, k-means clustering algorithm is run on these vectors to cluster data. This method only partitions the data into two cluster. But finding other singular vectors (2.,3.,...) other than only the second one, more clusters can be obtained. In this thesis, we used distributed SVD algorithm to find singular left and right vectors of adjacency matrix when the matrix is large and sparse. Distributed SVD algorithm divides the matrix into column-wise sub matrices and calculates SVD on these sub matrices independently. It is capable of finding the singular values, left and right vectors when the matrix is rectangular (number of rows are much more smaller than number of columns or vice versa) and dense. In other words, the rank of the sub matrices must be equal to the rank of the adjacency matrix itself. Because of the sparsity of the data, the rank that is less in sub matrices than the adjacency matrix xxi causes to find singular values and vectors with high error. We proposed an algorithm, called Ranky, to handle this problem. Ranky algorithm detects the rows which cause the rank of the sub matrices less then the rank of the adjacency matrix and fills accordingly in order to make them equal. Despite the Ranky algorithm can handle this problem, balanced clusters can not be obtained because of the sparse matrix. After that, we used partitioning algorithms to compress the adjacency matrix into dense matrix and then applied spectral clustering. There are several partitioning algorithms such as Hash, Grid, Aweto, Bifennel etc. But only Aweto and Bifennel take the advantage of bipartite graphs as we know. We use Bifennel partitioning algorithm and Distributed Bifennel algorithm to compress the data due to their efficiency and less replication factor. Lastly, we decompress the partitions to get final clusters. The evaluation criteria is the replication factor that measures partitioning algorithm performance in terms of the number of replicated vertices. The experimental results on a real world data set show that Distributed Bifennel algorithm has outperformed Bifennel algorithm in terms of execution time, while both algorithms produce equally likely replication factor, using different datasets. Each algorithm is run on the same datasets with different partitioning numbers (500 and 1000). Distributed Bifennel algorithm has partitioned the data 10 times faster than Bifennel using at most 28 threads. The algorithm was implemented in C++ and run on a 28 cores and 128 GB RAM machine running Linux. More experimental results with different settings are given in chapter 5.
Emotion recognition on static images using transfer learning and ensembling
Emotion recognition may be useful in any area where human and computer interacts. CNNs are known to be good at computer vision tasks. However, CNNs are difficult to train, especially when the amount of data and computation power is limited. Transfer learning emerges as a cheap and efficient way of making use of pre-trained CNN classifiers. Our work has two contributions. Firstly, different CNN architectures and models trained using different datasets are investigated to find a suitable model to use in emotion recognition. Secondly, expert models for each emotion are trained. The Base model is ensembled with expert models to create a better classifier. Experiments show that our use of ensembling together with transfer learning helps to create a good classifier. Best classifier shows 69.49% accuracy on FER13 validation set.
Nesneye dayalı yazılımların bakım kolaylığı karakteristiğinin ölçülmesi
Yazılım projelerinin gün geçtikçe kullanımının artması ve sürekli değişime ihtiyaç duyması sebebiyle yazılımda kalite kavramı önemli hale gelmiştir. Yazılım kalitesinin analiz, tasarım, geliştirme ve test süreçlerinin her biri için değerlendirilmesine ihtiyaç duyulmaktadır. Günümüzde yazılım projeleri için müşterilerin sürekli değişen istekleri, teknolojik gelişmeler ve yazılımdaki hataların giderilmesi şirketler için yüksek miktarda zaman ve kaynak maliyetine neden olmaktadır. Bu gereksinimleri karşılamak için şirketler farklı proje yönetim metodolojileri aracılığıyla yapılacak işleri alt parçalara bölerek sürekli olarak müşteriye proje hakkında bilgi vermeyi ve değişen müşteri isteklerine kolay adapte olarak maliyeti düşürmeyi amaçlamaktadır. Bu sebeple sürekli güncellenmesi gereken yazılımların bakım maliyetini düşürmek için kalite ölçüm metodolojileri yazılım dünyasında önem kazanmaktadır. Yazılım ürün kalitesini artırmak için yazılımın bakım kolaylığını ölçmek oldukça önemlidir. Bakım maliyeti azaltmak için yazılım geliştirme döngüsünde bir yazılım kalite modeli kullanılarak sistemin kalitesi sürekli olarak değerlendirilebilir ve geliştirilebilir. ISO / IEC 25010 Yazılım Kalite Modelleri Standardına [1] göre, yazılım ürün kalitesinin bakım kolaylığı özelliği beş alt karakteristikten oluşur; modülerlik, değiştirilebilirlik, yeniden kullanılabilirlik, analiz edilebilirlik ve test edilebilirlik. Bu çalışma, yazılım sistemlerinde bakım kolaylığını, yeniden kullanılabilirlik ve değiştirilebilirlik karakteristikleri bakımından değerlendirmek için bir kalite ölçüm modeli önermektedir. Model, boyut, karmaşıklık, uyum, bağımlılık ve kalıtım gibi yeniden kullanılabilirlik ve değiştirilebilirlik ile güçlü bir şekilde ilişkili yazılım özelliklerini içermektedir. Bu çalışmada, önerilen kalite modeli özellikle büyük ölçekli nesne yönelimli yazılım sistemlerinin bakım kolaylığını değerlendirmek amacıyla geliştirilmiştir. Yazılım geliştiriciler, projelerin farklı aşamalarında veya başka projelerde hangi sınıfların yeniden kullanılabileceğini bilmeye ihtiyaç duymaktadır. Benzer şekilde, projeye yeni özellikler eklemek, yazılım sınıflarını yeniden düzenlemek veya hata düzeltmek için sınıfların değiştirilme maliyetini bilmeleri gerekir. Hiyerarşik modelimizde yeniden kullanılabilirliği ve değiştirilebilirliği ölçmek için boyut, uyum, bağımlılık, karmaşıklık ve kalıtım gibi nesne yönelimli sistemlerin özellikleri kullanılmıştır. Her özelliğe uygun olarak yazılım kod metrikleri tanımlanmıştır. Metrikler, incelenmesi istenen programlardan kolaylıkla elde edilebilir. Metrik değerleri kullanılarak bir yazılımın bakım kolaylığını ölçülmesi ve sonuçlar doğrultusunda yazılımın iyileştirilebilmesi sağlanmaktadır. Modelimizde öncellikli olarak, test sistemindeki yazılım sınıflarının metrik değerlerini düşük, orta ve yüksek olarak sınıflandırılır. Bu sınıflandırma, referans yazılım sistemlerinden elde edilen metriklerin ortalama ve medyan değerlerine dayanılarak yapılır. Her metriğin karşılık geldiği özelliğin artması durumunda yazılımın negatif mi yoksa pozitif mi etkileneceğine karar verilir. Daha sonra, önerilen ölçüm yöntemi, sistemdeki her bir sınıfın yeniden kullanılabilirlik ve değiştirilebilirlik puanlarını hesaplamak için metriklerin seviyelerini kullanır. Toplam puanlama sonucunda yazılım sınıfları beş kategoriye ayrılır; Çok düşük, düşük, orta, yüksek ve çok yüksek. Yazılım geliştiricileri, düşük ve çok düşük puanları olan sınıfları inceleyebilir ve gerekirse bunları yeniden düzenleyebilir. Bu sürekli değerlendirme ve geliştirme sırasında yeniden yapılanma, sistemin kalitesini artırabilir ve bakım maliyetlerini azaltabilir. Modelimiz iki büyük ölçekli endüstriyel mobil uygulama üzerine uygulanmıştır ve sonuçlar yazılımı geliştirme ekipleriyle tartışılmıştır. Değerlendirmeler sırasında geliştirme ekiplerinin görüşlerini almak için modelde değerlendirilen her bir özelliğin birbiri ile karşılaştırıldığı bir anket hazırlanmıştır. Anket ve model sonuçlarının tutarlılığı istatistiksel olarak karşılaştırılmıştır. Karşılaştırma sonucunda yaklaşımımızın, yeniden kullanılabilirlik ve değiştirilebilirlik özellikleri hakkında sınıfları uygun olarak sınıflandırabildiği görülmüştür. Gelecek aşamalarda bakım maliyetinin azalmak için yazılımın farklı özellikleri incelenerek önerilen modelin geliştirilmesi planlanmaktadır.
Türkçe eşgönderge çözümlemesi
Bu çalışmada Türkçe Eşgönderge Çözümleme (EÇ) problemi üzerinde veri öğrenmesine dayalı farklı algoritmik yaklaşımlar incelenmiştir. Literatürde sıklıkla geçen ifade-çifti ve varlık-ifade modelleri yaklaşımlarıyla, önerilen yeni öznitelik değerleri kullanılarak iki farklı sistem mimarisi oluşturulmuştur. Etiketli veri kümesi olarak, Türkçe EÇ çalışmaları için yakın geçmişte oluşturulan Marmara Türkçe Eşgönderge Derlemi (MTED) (Schuller, 2017) kullanılmıştır. İfade-çifti modelleri temelde ifade ikilileri üzerinde çalışır ve mevcut çifti oluşturan ifadelerin birbirleriyle eşgöndergesel olup olmadığına, daha önce verdiği kararlardan bağımsız olarak karar vermektedir. Bu model, sonişleme aşaması olarak bir kümeleme mekanizmasına ihtiyaç duymaktadır. Bu sonişleme sırasında, ifadelerin eşgönderge durumları hakkında sınıflandırıcının ürettiği çıktılar üzerinden ilgili ifade kümeleri oluşturulmaktadır. Bu tez çalışmasında, öğrenme tabanlı bir ifade-çifti modeli oluşturulmuştur. İlk aşama olan ifade çiftlerinin eşgönderge durumlarının saptanması işlemi için iki farklı sınıflandırıcı (Karar Ağacı (KA) ve Destek Vektör Makinesi (DVM)) ile çalışılmış, ifade kümelerinin oluşturulması aşamasında ise kural tabanlı bir sonişlemciden yararlanılmıştır. İlk olarak, farklı negatif örnekleme yöntemi ve kullanılan DVM algoritmasının çekirdek fonksiyonunun parametrelerinin etkileri araştırılmıştır. Bu incelemeden elde edilen sonuçlar kullanılarak, farklı öznitelik seçimlerinin problem üzerindeki etkileri incelenmiş ve ortaya çıkarılan ifade-çifti modeli yaklaşımıyla Türkçe EÇ üzerinde en başarılı sonuçlar elde edilmiştir. Varlık-ifade modelleri, bir ifade ile ifade kümesinin eşgönderge ilişkisi üzerinde bir karar vermektedir. Bu modelde ifade kümelerinin oluşturulması için bir sonişlemciye ihtiyaç duyulmamaktadır; çünkü ifade kümeleri modelin tahmin aşamasında dinamik şekilde artarak oluşturulmaktadır. Tez çalışması kapsamında bir varlık-ifade modeli geliştirilmiş, ifade-çifti modelinin geliştirilmesi aşamasında elde edilen en iyi öznitelikler bu modele aktarılmış ve etkileri incelenmiştir. Sistemin değerlendirilmesi, referans ifadeler üzerinde MUC, $B^3$, BLANC ve LEA değerlendirme ölçütleri kullanılarak yapılmıştır. İfade-çifti modelinde elde edilen %90.68 (MUC), %86.89 (B3), %85.13 (BLANC) ve %78.34 (LEA) F1 ölçütüyle, mevcut Türkçe EÇ sistemi (Schuller, 2017) üzerinde sırasıyla 9.12, 16.06, 13.08 ve 12.57 yüzde puanlık bir gelişim sağlanmaktadır. Varlık-ifade modelinde ise sırasıyla %75.83 (MUC), %62.37 ($B^3$), %57.15 (BLANC) ve %50.69 (LEA) F1 ölçütleri elde edilmiştir. Gerçeklenen varlık-ifade modelinde elde edilen sonuçlar ile ifade-çifti modelinin başarısı geçilememiştir; ancak bu yöntemi kullanan Türkçe EÇ çalışmaları için temel bir sonuç oluşturulmuştur.
Automatic posture evaluation for professional voice users
Nowadays voice trainings are executed by therapists in the worldwide to their knowledge, experiences and skills. In these therapies, tension spots of a body are evaluated. A body is relieved with guidance of a therapist and applied physical exercises. Breathing exercises and implementations are executed. Breathing and body posture relation hybridization with voice resonance is carried out. Workouts are executed by combining breath, body posture and voice resonance. Trainings are conducted to help subjects improve their voice qualities and to feel correlation between body posture and voice. Enhancements are executed practically by talking or singing a song. In order to master the usage of muscle groups as confident as possible, breathing exercises are required. Afterwards, body locations with the lack of resonances are sought using subjective sense of a therapist and continue to treatment with a focus to chosen locations. After each therapy session, important points are highlighted and if it is needed a schedule of exercises are given to a patient. Voice recordings are saved for the assessment of voice both before and after the therapy. To sum up, weekly improvement of a patient is observed. So far, voice quality evaluation of professional voice users are carried out subjectively. However, classical voice evaluations cannot be done by an objective approach, yet done with therapists' intuition. In this thesis, a measurement system was proposed to evaluate voice quality objectively by the posture of a patient. In the first step, voice quality metrics were determined and it was defined as a human voice which propagates to significant distances without any deterioration. With respect of this, three level of voice quality hypothesis was created. In the first step, a voice which faded out in a patients' body and cannot be propagated to even close proximity points were labeled as low quality voice. In the second step, a voice which has a natural amplitude and reached to some extend distance without any deterioration was labeled as normal quality sound. In the last step, a voice which reached to great extent of distant points in big halls namely opera hall without any deterioration was labeled as high quality voice. In the first stage, in the presence of a professional sound therapist, five people were asked to voice ``aaaaa'' in all three levels. Sounds extracted by the subjective approach of the voice therapist were labeled according to the three classes identified. Thus, a sound quality data set was created. 26 different acoustic features have been extracted from the extracted audio data set. Some of the extracted features were created as features suggested by the voice therapist and voice therapist. Other attributes have been identified in the literature as attributes used to classify different sound properties. 57-dimensional feature array was created from each audio window received from the audio data using 26 attributes. The difference with the reconstructed system is that it can extract attributes in real time. It has been observed that by selecting 5 parameters which are most successful in classifying the sound quality classification of the extracted sound parameters, the feature size is reduced and the classification success is increased. In particular, it has been observed that the energy value of the mel-frequencies generated by the principle of transmitting the emitted energy values to the brain's hearing center by clustering the incoming sound of the human inner ear within certain frequency ranges and thus being audible is a very successful sound quality classifier parameter. The features extracted from voice data labeled by voice therapist were used for the training of an artificial neural network and the system was created to predict voice quality. In the second step, correlation between qualitative parameters of given voice and body postures were examined and results were obtained. In order to extract body posture data, Motion Capture Device(MOCAP) was used. It is a device that extracts angular position information of joints in body to calculate distances between neighboring joints and finds angles between them in real time. In the presence of a voice therapist, five users wearing the MOCAP device were asked to make an ``aaaa'' sound and voice and posture data were collected with eight static postures and two dynamic motions accompanying. The three-dimensional center of mass of the extracted postural data was calculated, and the correlation between each voice parameter and the center of mass of the body in terms of the distance from zero position in each dimension was inspected at and it was observed that some voice parameters are significantly related to the center of mass change of body. An interface was written on the Unity platform to simultaneously record posture data and audio data. The real time posture change at the interface can be observed using an avatar, and the sound data and posture data can be extracted and recorded to the computer at the desired time. The recorded postural data was again analyzed by a built-in function created on the Matlab platform to extract the three-dimensional center of mass deviation data of a body. In the third stage, an objectively sound focus was determined from the instantaneous changes in the body's postures. Thus, a system has been developed in which a wearer of a MOCAP device can sense, which predicts optimal posture. In order to be able to create this system, the audio features extracted during the experiments were fed into the artificial neural network model which was formed in the first stage, which determined the sound quality, and as a consequence the instantaneous sound data was labeled. In respect, the labels of the changing postural parameters were accepted as labels of the instantaneous voice data, and the changed postural parameters were trained in another artificial neural network model. Thus, by testing the changing postural parameters in the model, it is possible to predict what quality natural voice will be likely to emerge at the time of that posture. 10-fold cross-validation score of the artificial neural networks that predict the voice quality was found to be 85.19\% and the 10-fold cross-validation score of the model analyzing the possible voice quality of the postural parameters was found to be 81.33\%. In future work, the objective sound quality will be determined to have more classes than three, and a system will be developed that evaluates a closer objective sound quality to reality. By doing this, the possible sound quality of the posture that the person is in can be examined in more detail and the feedback given to the individual will be elaborated more. At this point, a subject will be able to better predict the possible optimal posture when trying different postures.
Bilgiişlem ortamı sunan bulut hizmetlerinde kötücül davranışların saptanması
Bulut bilişim kullanımı gittikçe artan bir bilgi teknolojisi alanıdır. Firmalar bulut bilişime geçerek sanal makinelerini, veri merkezlerini veya uygulamalarını müşterilerin hizmetine sunabilirler. Üç faklı bulut hizmeti bulunmaktadır. Bunlar; sanal makine sunan bulut (IaaS), bilgiişlem ortamı sunan bulut (PaaS) ve hazır yazılım sunan bulut (SaaS)'dur. PaaS sağlayıcılar, bilgiişlem ortamlarını en yaygın kullanılan teknolojilere göre düzenleyerek, aynı anda birden çok müşteri uygulamasını bu ortamda çalıştırırlar. Bu durum PaaS sağlayıcısının maliyetlerini düşürmekle birlikte, bazı güvenlik risklerini de beraberinde getirmektedir. Çünkü farklı müşteri uygulamaları aynı ortamı paylaşmaktadırlar ve birbirlerini etkileme olasılıkları vardır. Uygulamaların ve bilgiişlem ortamının güvenliği için farklı uygulamalar arasında bir yalıtım mekanizması gerekmektedir. Tez kapsamında aynı sanal makine üzerinde birden fazla uygulama çalıştıran PaaS sağlayıcıları için bir güvenlik ve yalıtım sistemi geliştirilmiştir. Önerilen sistemde izlekler üzerinden ölçümler yapılmış ve sonrasında makine öğrenmesi yöntemleriyle bulut uygulamalarına gelen isteklerdeki kötü amaçlı davranışlar saptanmıştır. Önerilen sistem izlekler üzerinden, bulut uygulamasına gelen her istek için anlık CPU paylaşımı, toplam CPU paylaşımı değerlerini ölçer. Bununla birlikte CRUD işlemleriyle eşleştiren kaynak erişim tipi, kaynak erişim süresi ve sırasıyla hangi işlemlerin yapıldığı kaydedilen diğer üç değerdir. Bu değerler bütün olarak öznitelik vektörünü temsil ederler ve makine öğrenmesi sürecinde kullanılırlar. Tez kapsamında ilk olarak Spring Boot ile bir web uygulaması yazılmış, PostgreSQL ilişkisel veritabanına bağlanmıştır. Bu uygulama basit bir e-ticaret uygulaması olarak da düşünülebilir. Uygulama Heroku PaaS sağlayıcısına yüklenerek, gerçekçi bulut uygulama verileri üzerinde çalışmak amaçlanmıştır. Sonrasında, yazılan uygulamaya önerilen güvenlik sistemi entegre edilmiş, uygulamaya güvenilir ve tehlikeli istekler gönderilerek, güvenlik sisteminin bu istekler üzerinden bulut ortamında ölçüm alması sağlanmıştır. Yapılan deneyde bulut uygulamasına 99000 güvenilir 1000 tehlikeli olmak üzere toplamda 100000 istek gönderilmiştir. Güvenilir istekler, e-ticaret uygulamalarının yaygın kullanım senaryolarını içerirken, tehlikeli istekler ise OWASP 2017 raporunda yer alan 2017 yılındaki en yaygın web uygulaması saldırı senaryolarıdır. Önerilen sistem tarafından ölçümler yapılıp, veritabanına kaydedildikten sonra, işlem sırası özniteliği üzerinde N-Gram algoritması çalıştırılmıştır. N-Gram işlemlerin sayısını ve işlemler arasındaki geçiş olasılıklarını hesaplayarak öznitelik vektörüne 57 adet yeni değer eklemiştir. Bu sayede zararlı davranışların saptanacağı makine öğrenmesi sürecinde başarıyı arttırarak amaçlanmıştır. Literatürde sıkça kullanılan topluluk sınıflandırması algoritmaları Random Forest, Bagging ve AdaBoost toplanan veri üstünde çalıştırılmış ve sonuçlar çapraz doğrulama tekniğiyle elde edilmiştir. N-Gram algoritması çalışmadan elde edilen sonuçlarda, en başarılı sınıflandırmayı Random Forest yapmış ve deneyde toplam 146 istek yanlış saptanmıştır. Bununla birlikte; N-Gram kullanılarak yapılan deneyde, yine Random Forest en iyi sonucu elde etmiş fakat bu sefer yanlış saptanan istek sayısı 22'ye düşmüştür. Bu deneyde elde edilen duyarlılık doğrulu değeri, bulut uygulamasına gelen zararlı bir isteğin önerilen sistem tarafından saptanma olasılığının %98 olduğunu göstermektedir.
Yazılım projelerinde iş gücü tahmini için makine öğrenmesi yöntemlerinin karşılaştırılması
Yazılım projeleri, sektörden bağımsız olarak neredeyse tüm şirketlerin operasyonlarını yürütmelerinde stratejik bir öneme sahiptir. Son 10 yılda bu önem giderek artmıştır. Hem yazılım şirketleri hem de temel iş alanı yazılım olmayan çeşitli boyutlarda birçok şirket kendi bünyesinde yazılımlar geliştirmekte ve yazılım evlerine yazılım projeleri yaptırmaktadır. Yazılım projelerinin planlanmasında iş gücünün doğru olarak tahmin edilmesi, proje maliyetlerinin doğru olarak öngörülmesi ve projelerin zamanında bitirilmesi açısından önemlidir. Yazılım efor tahmini alanında uzun zamandan beri çalışmalar yapılmaktadır. Yazılım efor tahmini yöntemleri algoritmik yöntemler, istatistiksel yöntemler, Makine Öğrenmesi tabanlı yöntemler gibi alt başlıklarda incelenmektedir. Tez kapsamında bu çalışmalar değerlendirilmiş ve literatür taraması yapılarak öne çıkan metodolojiler literatür araştırması bölümünde sunulmuştur. Tez konusu olarak Makine Öğrenmesi tabanlı üç farklı efor tahmin yöntemi seçilmiştir. Bu yöntemler Karar Ağacı, Naive Bayes ve Çoklu Regresyon analizi modellerini baz almaktadır. Modellerin çalıştırılması için Windows tabanlı bir masaüstü uygulaması geliştirilmiştir. Piyasada genel kullanıma açık olarak bulunan Makine Öğrenmesi bileşenleri seçilmiş ve modellerin yazılıma aktarılmasında kullanılmıştır. Modellerin eğitilmesinde ve test edilmesinde kullanılan parametrelerin seçiminde daha önceki birçok çalışma incelenmiş ve baz alınmışsa da bazı projelere ait tüm parametrelerin geçmişe dönük olarak elde edilememesinden ve bazı parametrelere ait değerlerin ayırt edici olmamasından dolayı parametrelerde eleme yapılmıştır. Her üç model aynı eğitim veri kümesiyle eğitilmiş ve aynı test veri kümesiyle test edilmiştir. Eğitim ve test verileri 10 yıldır ulusal yazılım piyasasında faaliyet gösteren bir yazılım evinden alınmıştır. 64 farklı yazılım projesine ait parametre verisi bulunmaktadır. Modellerin eğitilmesi ve test edilmesi için k-kat doğrulama yöntemi kullanılmıştır. Bu yöntemin kullanılmasıyla, veri kümesinde bulunan tüm verilerin hem eğitim hem test amacıyla değerlendirilmesi sağlanmıştır. Üç model için de algoritma test verileri üzerinde çalıştırıldıktan sonra elde edilen tahmini efor değerleri gerçek efor değerleriyle karşılaştırılarak Makine Öğrenmesi algoritmaları tarafından hesaplanan tahmini efor değerleri için hata katsayıları belirlenmiştir. Hata katsayılarının belirlenmesinde Bağıl Hata Büyüklüğü (MRE), Ortalama Bağıl Hata Büyüklüğü (MMRE) ve Tahmin Kalitesi (PRED(25)) değerleri kullanılmıştr. Elde edilen sonuçlar karşılaştırıldığında, Çoklu Regresyon Analizi modelinin en doğru tahminleme sonucunu elde ettiği görülmüştür. İkinci sırada Karar Ağacı, son sıradaysa Naive Bayes modeli yer almıştır. Bu durumun sebebinin, seçilen parametrelerin bir kısmının test kümesindeki değerlerinin yeteri kadar ayırt edici olmamasından kaynaklandığı düşünülmektedir. Sonuçların iyileştirilmesi için parametre setinin değiştirilmesi, modellerin farklı yazılım evlerinden veri toplanarak tekrar eğitilmesi, daha fazla proje verisi üzerinde eğitim ve test yapılması gibi yöntemler izlenebilir.
Türkçe'de varlık ismi tanıma
Uzun yıllardır insanoğlunun makineler ile kendi doğal dilini kullanarak etkileşime geçmek istemesi ve bu konuda yapmış olduğu araştırmalar yapılan en heyecanlı araştırmalar arasında yer almaktadır. Robotlarla ya da bilgisayar sistemleri ile konuşmak, onların bizi anlaması, bizim adımıza araştırmalar yapması yapılan birçok bilim-kurgu çalışmasının ana temalarından olmuştur. Makineler ile insanlar arasındaki etkileşimi doğal dil üzerinden yapılmasını sağlamak, doğal dilin anlamlandırılması, diller arasında otomatik çevriminin yapılması, doğal dil ile yazılmış metinlerden bilgi çıkarımı yapılması gibi görevler Doğal Dil İşleme (DDİ) araştırma alanın çalışma konularıdır. Yazılı metin içerisinden bilgi çıkarımı görevi ele alındığında metin içerisinde geçen tanımlı varlıkların tespit edilmesi önemli bir görev adımıdır. Metin içerisinde geçen kişi, organizasyon, yer adları, sayısal değerler, tarihsel ifadelerin tespit edilerek işaretlenmesi Varlık İsmi Tanıma (VİT) olarak adlandırılmaktadır. VİT görevinde tanınacak varlıklar ihtiyaçlara göre değişiklik gösterebileceği gibi VİT çalışmalarında genel olarak ENAMEX (kişi, organizasyon ve yer isimleri), NUMEX (sayısal eğerler, parasal ifadeler, yüzdeli ifadeler), TIMEX (tarih ve zaman ifadeleri) varlık kategorilerinin işaretlenmesi olarak değerlendirilmektedir. Bununla birlikte özelleşen sistemlerde e-posta adresleri, telefon numaraları, kitap başlıkları, proje isimleri gibi kategoriler de Varlık İsmi olarak ele alınabilmektedir. Örnekleri çoğaltmak gerekirse biyoinformatik ve kimya alanlarındaki metinlerden protein isimleri, RNA, DNA, hücre bilgileri, ilaç adları, kimyasal adlarının tespit edilmesi de Varlık İsmi Tanıma görevi olarak değerlendirilmektedir. VİT ile ilgili çalışmalar 1990'larda başlamış ve 1996 sonrasında hız kazanmıştır. Türkçe için ise bilinen ilk çalışma ise 1999 yılında gerçekleştirilmiş olup 2009 sonrasında bu alandaki çalışmalar ilgi görmeye başlamış ve hız kazanmıştır. İngilizce gibi dillerde hem çalışma sayısının fazla olması hem de İngilizce'nin Türkçe gibi dillere göre daha basit biçimbilimsel yapısından dolayı VİT genel olarak çözülmüş bir problem olarak görülmektedir. Öte yandan Türkçe, Fince gibi dillerde dilin ek yapısı VİT görevini karmaşık hale getirmektedir. Bu durum VİT konusunu Türkçe'de halen güncel bir problem haline getirmektedir. VİT alanında yapılan çalışmalar incelendiğinde ilk çalışmaların kural tabanlı sistemlerden oluştuğu gözlemlenmektedir. İlerleyen çalışmalarda örnek veri kümelerinin artması ile birlikte kural tabanlı geliştirilen sistemler yerlerini istatistiksel sistemlere bırakmışlardır. Türkçe'deki istatistiksel yöntemler ile geliştirilen sistemlerde özellikle makine öğrenmesi yöntemlerinden Koşullu Rastgele Değişkenler (CRF) yöntemi gerçeklenen sistemler ön plana çıkarken diğer dillerde Yapay Sinir Ağı temelli yöntemler sıklıkla kullanılmakta ve başarılı sonuçlar elde edildiği gözlemlenmektedir. Yapay Sinir Ağları (YSA) insan sinir ağları model alınarak tasarlanan bir makine öğrenmesi metodolojisidir. Yapay sinir ağlarının temel yapısı insan sinir hücresi, nöron, model alınarak gerçeklenen yapay nöronlardan oluşmaktadır. Yapay Sinir Ağı alanındaki çalışmalar incelendiğinde bu alandaki teorik çalışmaların 1960'larda başlamış olmasına rağmen birçok teorik çalışmanın uygulanması, donanımlardaki yeni gelişmelerle ile birlikte son yıllarda mümkün hale gelmiştir. Yapay Sinir Ağlarında nöronlar genellikle tekil olarak kullanılmazlar, problemin çözümüne bağlı olarak nöronlar farklı bağlantı modelleri ile birbiriyle ilişkilendirilerek kullanılırlar. Özellikle yapay sinir ağı yapılarının katman sayısı ve nöron sayılarının arttırılması ile birlikte oluşturulan Derin Öğrenme Sistemleri görüntü işlemeden, doğal dil işlemeye birçok araştırma alanındaki problemlerin çözümünde başarılı sonuçlar ortaya koymaktadır. Bu tezin amacı Türkçe'de dile özgü özellikleri de kullanarak yapay sinir ağı tabanlı bir Varlık İsmi Tanıma Sistemi tasarlamak ve gerçekleştirmektir. Tez çalışması kapsamında gerçeklenen VİT Sisteminin başarısının değerlendirilebilmesi için Türkçe'de birçok çalışmada kullanılan bir Türkçe VİT Derlemi kullanılarak öğrenme ve başarım ölçüm işlemleri gerçekleştirilmiştir. Önerilen yapay sinir ağı tabanlı Türkçe VİT sistemi en iyi modelde %93.69 F1 puanı ulaşılmıştır. Gözlemlediğimiz kadarıyla çalışma kapsamında önerdiğimiz en iyi modelde ulaşılan sonuç, literatürde en başarı sonuç olarak karşılaştığımız olarak ulaşılan %93.59 değerini az da olsa geçerek literatürdeki en başarılı Türkçe VİT sonucu haline gelmiştir.
Doku ve renk öznitelikleriyle tarla görüntülerinden bitki ve fenolojik evrelerinin çıkarımı
Günümüz dünyasında küresel ısınma, nüfus artışı, kuraklık, erozyon, tarım alanlarının farklı amaçlar için kullanılması gibi etkenler tarımsal verimlilik konusunu önemli hale getirmiştir. Tarımsal verimlilik konusunda ilerlemek için günümüz bilgi teknolojilerine ihtiyaç duyulmaktadır. Tarım alanlarının sensörler ve kameralar aracılığıyla izlenmesi sonucu toplanan veriler sayesinde tarımsal araziler üzerinde verimliliği artırıcı uygulamalar geliştirilebilmiştir. Dünyada pek çok ülkede ulusal tarım gözlemleme ağı bulunmaktadır. Türkiye'de de Tarım, Gıda ve Hayvancılık Bakanlığı tarafından kurulan ve desteklenen TARBIL, tarımsal gözlemleme ve bilişim sistemidir. Türkiye'nin birçok yerinde tarımsal alanlara çok sayıda sensörlerle ve kameralarla donaltılmış yer istasyonları kurulmuştur. Bu istasyonlardan toplanan meteorolojik ve görüntü verileri merkeze anlık olarak aktarılmaktadır. Mevcut sistemde, toplanan görüntülerden bitki türü ve fenolojik aşama bilgilerinin arşivleme amaçlı olarak etiketlenmesi ve sulama, gübreleme ve dezenfeksiyon rejimlerinin geliştirilmesi ile ilgili araştırmaların yapılması ve ekili ürünün tahmin edilmesi için manuel uzman insan iş gücü gerekmektedir. İnsanın olduğu yerde hatanın da olabileceği düşünülürse, fenolojik evrelerin saptanmasının otomatik hale getirilmesi, hem iş gücü kazancı hem de tarımsal verimliliğe hızlı çözüm üretmek anlamına gelecektir. Bu tez çalışmasında, 58 farklı TARBIL istasyonundaki 66 farklı gözlem aralığında arpa, ayçiçeği, buğday, mısır, nohut ve pamuk bitkilerine ait çekilmiş 1x ve 10x yakınlaştırma seviyelerindeki toplamda 13323 adet yakın plan görüntüler kullanılarak geliştirilen sistem ile bitki türü ve fenolojik evrelerinin otomatik tespit edilmesine çalışılmıştır. Bu problemin çözümüne ilişkin görüntülerin doku ve renk öznitelikleri kullanılmıştır. Kullanılan doku öznitelik çıkarma yöntemleri, Yönlü Gradyanların Histogramı (İng. HOG, Histogram of Oriented Gradients), Gri Seviye Eş Oluşum Matrisleri (İng. GLCM, Gray Level Co-occurence Matrices) ve Laws'ın Doku Enerjisi Ölçümleri (İng. LTEM, Law's Texture Energy Measures)'dir [6-9,12]. Kullanılan renk öznitelik çıkarım yöntemi ise renk momentleridir [11]. Yönlü Gradyanların Histogramı (HOG), görüntülerdeki nesnelerin kenar bilgisi ve gradyan değerine bakarak nesne ile ilgili öznitelik çıkarımı için kullanılan bir yöntemdir. Bu yöntem, görüntünün "hücre" denilen küçük yerel bölgelere bölünüp bu bölgeleri tanımlayıcılar olarak adlandırılan yerel histogramlar ile tanımlama esasına dayanır. Yerel histogram, hücreler için hesaplanan gradyan vektörlerin belirlenen yön aralığındaki oluşma sayısının dağılımını ifade eder. HOG tanımlayıcıları, yerel hücreler üzerinden hesaplandığı için objenin geometrik ve fotometrik değişimlerine karşı iyi sonuç verir. Bu çalışmada her bir görüntü verisi, 100 (10x10) adet hücreye bölünmüş ve her bir hücre için normalize edilmiş yerel histogram oluşturulmuştur. Sonuç olarak her hücre için normalize edilmiş 9 aralıklı bir yerel histogram olmak üzere toplamda 100 adet hücredeki histogramlar birleştirilerek (10x10x9) = 900 boyutlu HOG özniteliği hesaplanmıştır. HOG yöntemiyle elde edilen öznitelikler yüksek boyutlara sahip olduğu için yapılacak olan işlem sayısını ve bu işlemlerin çalışma zamanını azaltmak amacıyla elde edilen öznitelik boyutlarını indirgemek için Temel Bileşenler Analizi (PCA) yöntemi kullanılmıştır. Gri Seviye Eş Oluşum Matrisleri (GLCM), görüntülerin doku özelliklerinin çıkarılması için kullanılan istatistiksel bir yöntem olup aralarında belli bir geometrik uzaklık bulunan i ve j gri seviye değerine sahip piksel çiftlerinin belli bir yöndeki oluşum sıklıklarını ifade eden ve boyutu görüntüdeki farklı gri seviye değer sayısı (N) kadar olan bir kare matristir. Gri seviye eş oluşum matrisleri hesaplanırken iki piksel arasındaki ilişki, uzaklık ve yön bilgisine bağlı olarak belirlenir. Elde edilen eş oluşum matrisleri dokuyu tanımlamak için istatistiksel bilgiler elde etmek amacıyla kullanılmaktadır. Bu çalışmada bu istatistik bilgilerinden 0◦, 45◦, 90◦, 135◦ yönlerinde kontrast, homojenlik, entropi, enerji ve benzemezlik olmak üzere (4x5) = 20 adet öznitelik çıkarımı gerçekleştirilmiştir. Law's Doku Enerji Ölçümleri (LTE), görüntüdeki doku enerjilerini hesaplamak için görüntü üzerinde kullanacağı iki boyutlu konvolüsyon maskeleri oluşturmak için önceden belirlenmiş olan 4 adet tek boyutlu vektörlerin kullanılması esasına dayanır. Elde edilen iki boyutlu konvolüsyon maskeleri görüntüler ile konvolüsyon işlemine sokularak doku enerji haritaları elde edilir. Bu çalışmada 9 adet doku enerji haritası kullanılmıştır. Elde edilen 9 adet doku enerji haritalarından değerlerin ortalamaları alınarak 9 adet öznitelik çıkarımı gerçekleştirilmiştir. Renk öznitelik vektörleri çıkarımı için kullanılan ve görüntülerin renk dağılımlarının benzerliğini hesaplayan bir yöntem olan renk momentleri, görüntülerin tüm renk bilgisini dikkate almak yerine renklerin baskın özelliklerini dikkate almaktadır. Bu baskın özellikler, renklerin olasılık dağılımlarına ait ilk üç moment olan ortalama, standart sapma ve eğrilik momentleridir. Bu çalışmada, ışık, gölge, arka plan gibi çeşitli aydınlatma koşullarından etkilenilmemesi için görüntüler RGB renk formatından HSV renk formatına dönüştürüldükten sonra renk momentleri çıkarılması işlemi yapılmıştır. Her bir görüntüde, HSV renk formatında 3 adet kanalın her biri için 3 farklı moment toplamda 9 adet renk öznitelik çıkarımı gerçekleştirilmiştir. Bu çalışmada hesaplanarak elde edilen renk öznitelikleri, her bir doku özniteliği ile birleştirilerek Naive Bayes, k-en yakın komşu, destek vektör makineleri ve rastgele ormanlar sınıflandırıcılar ile sınıflandırılmıştır. Destek vektör makineleri ve k-en yakın komuşu sınıflandırıcıları için parametre optimizasyonu yapılarak sınıflandırma sonuçlarının başarısı artırılmıştır. Sınıflandırma işlemleri öncesinde sınıflandırıcının eğitilmesi için eğitim seti ile eğitim sonrası oluşturulan modelin test edilmesi için test seti oluşturulması gerekmektedir. Bu çalışmada eğitim ve test setlerinin oluşturulması için 5-tabakalı çapraz doğrulama (İng. Stratified 5-fold cross validation) ve birini dışarıda bırakarak çapraz doğrulama (İng. Leave-one-out cross validation) yöntemleri kullanılmıştır. Renk analiz yöntemleri ile birlikte kullanılan doku analiz yöntemlerinin farklı sınıflandırıcılar ile doğruluk başarı oranları ölçülmüştür. Sonuçlara bakıldığında, eğitim ve test veri setinin hazırlanma şeklinin sınıflandırma performansına etkisinin büyük olduğu görülmüştür. 5-tabakalı çapraz doğrulama ile yapılan sınıflandırma performansları, birini dışarıda bırakarak çapraz doğrulama ile yapılan sınıflandırma performansına göre oldukça yüksektir. Sonuçlar, HOG yönteminin destek vektör makineleri sınıflandırıcısı ile en iyi performansı verdiğini göstermektedir. Sınıflandırıcılar içinde genel olarak en düşük performans Naive Bayes sınıflandırıcısı ile alınmıştır. Bu çalışmada geliştirilen sistem, çiftçilere verilecek tablet PC'ler ile sahada otomatik tür ve evre çıkarma işleminde kullanılabilir. Bunun yardımıyla çiftçiler sulama, gübreleme rejimi belirleme ve ürün verimi tahmini konularında çıkarımlarda bulunabilirler. Ayrıca çok sayıda merkezdeki kameralardan iletilen görüntünün arşivlenmeden önce otomatik etiketlenmesi ile sulama, gübreleme rejimi, ilaçlama, rekolte tahmini üzerine yapılacak olan araştırmalarda kullanılabilir. Bu çalışmanın sonuçları aynı zamanda, derin öğrenme ile geliştirilecek yöntemlerin performansını değerlendirmek için bir kriter olarak kullanılacaktır.
Recurrent neural network based approaches for electricity consumption forecasting
The goal of short-term electricity consumption forecasting is prediction of future electricity consumption values, ranging from one hour ahead to weeks ahead. Electricity consumption forecasting has mainly two important ramifications. First one is at system level. Since electricity at a country level has lack of proper storage options, supply and demand should be matched continuously. When supply is not enough for demand, electricity short cuts might happen. When demand is less than supply, financial problems might occur for power plant owners due to nature of liberal market. Predicting future electricity consumption allows system administrators to plan the supply in a proactive manner. Since most of the electricity plants are not able to start working immediately, they need couple of hours of preparation beforehand. With short-term electricity forecasting, institutions which are responsible for maintenance of electricity, would make better decisions on supply planning. Second importance of short-term load forecasting lays upon financial institutions focused on electricity market. Those institutions apply financial operations (e.g. buy/sell) on electricity market. Crucial part of these operations is predicting future electricity supply, demand and finally price. With better consumption forecasting systems, financial institutions may trade electricity with higher profit since electricity consumption is one of the main factors that modifies electricity prices. Electricity consumption is measured on specified intervals. These intervals may change from country to country, while in United Kingdom this interval is 15 minutes, in Turkey electricity consumption is measured and reported in hourly intervals. Time-based measurement of electricity consumption, turns the forecasting problem into a time series problem. There are two main actors in determining electricity consumption. First one is industry (e.g factories, offices) and second one is household consumption. Since underlying characteristics of electricity consumption of those groups are different, it turns out that aggregate electricity consumption is a more complicated problem. One of the underlying factors that affect household electricity consumption is weather conditions. While temperature goes low in winter or goes high in summer, usage of electricity devices to regulate temperature of house and rooms increases. For industry, calendar based factors are main contributors. On national holidays, religious feasts and off-work hours, a decrease in consumption is observed due to idle industry. Although various methodologies are applied on short-term electricity consumption forecasting, Artificial Neural Networks and Auto Regressive Integrated Moving Average based methodologies are most often applied solutions. Since Recurrent Neural Networks are developed for processing machine learning problems focusing on sequence data, their application to time series problems is gaining popularity recently. In this thesis we focus on application of Recurrent Neural Networks and its variations, namely Long-Short Term Memory and Gated Recurrent Units on short-term electricity consumption forecasting problem. As a dataset, we use hourly aggregate electricity consumption of Turkey starting from the year 2010. We use hourly electricity consumption data of the year 2017 as the test data, where remaining data starting at year 2010 is used for training. Since seasonality is one of the determining factors or levels of electricity consumption, we measure our models' performance for each month of the year. For the first part of the thesis, we focus on analysing and exploring electricity consumption of Turkey for a better understanding of its characteristics. In the second part, we start with generating aggregate temperature values and analysing its relation with electricity consumption. After that, we continue with applying different RNN/LSTM/GRU architectures, like many-to-many, too-many-to-many, bidirectional recurrent networks and more deeper networks. Lastly, we provide a comprehensive error analysis of our best model, aiming to determine which part of the year is more difficult to guess, and provide some recommendations to have a better performance on those parts.
Comparison of feature selection and extraction methods and active learning in voice based emotion recognition systems
Since humans are social beings, emotions stand at the center of their behaviors. We interact and exchange emotions with each other, and so our communication is constructed on the basis of those emotions. One of the most common ways of emotion sharing tool is the voice. Recently, thanks to the improvement in new technologies, voice-based emotion recognition becomes very popular. Basically; the extraction of emotions from audio signals is a supervised machine learning application. Classifiers are trained using extracted features from audio signals. The performance of classifiers is dependent on data preprocessing, selection of features and classifiers and the parameters of classifiers. Obtaining high performed classifiers is the main purpose in emotion recognition systems as in the all machine learning applications. That is why many researches are conducting on phases of classifiers. Data preprocessing phase is one of the most important parts of emotion recognition like all other machine learning processes. Feature extraction and selection methods are one of the important operations that affect the performance of classification in this phase. Feature selection method aims to find the features that provide more successful result among the other features, whereas feature extraction method aims to generate a new feature space or representation of features that outputs higher performance. Nowadays, collecting data and accessing this data has become very easy. In order to use these data in machine learning applications, they need to be categorized by labeling. This labeling operation is conducted by experts or oracle. But labeling of these collected data is very hard and expensive. In many problems, there are a huge amount of unlabeled data and a small amount of labeled training data. Common methods such as active learning are proposed in order to enable the obtained unlabeled data to be used as an enhancement in machine learning efficiently. Active learning is basically processed by adding samples which are selected from unlabeled data according to specified conditions, to training data iteratively and updating model using this new training data. Selecting the most informative examples is a crucial step in active learning. In literature, several methods have been proposed for this process. One of the commonly used methods is selecting the samples that classifier is least certain about it. This method is called uncertainty sampling. The uncertainty method is based on the irregularity of samples. This irregularity is computed as entropy. The more entropy sample has, the more information it contains. An active learning flow is defined as following steps; At the first step, trained model is tested on unlabeled data. The samples where the model least certain of them are determined. The selection of samples can be decided in two ways. First one is a specified threshold value of uncertainty score. The samples which are lower than this limit value are selected as uncertain samples. The second way is that samples are ordered according to uncertainty score and a specific number of samples are selected. The selected samples are the most informative ones in terms of sample diversity. These samples are labeled by asking experts or oracle. At the last stage, the trained model is updated with new labeled samples. The new model is tested on test data and success of the model is expected to increase. By doing so, the cost of labeling is decreased sharply. In this thesis, feature selection and extraction methods are first analyzed using supervised learning methods. In voice-based emotion recognition systems, acoustic features of audio signals are commonly used. These acoustic features can be subcategorized according to information they carry. Several amounts of features and different types of them can be extracted from a single signal. Features that output high performance on classification are aimed to be selected and used in the scope of this experiment. This selection is critically important in terms of accuracy and cost saving of classification. Autoencoder, Relief-F and Chi-Square are used as feature selection and extraction methods. Results of each selection methods and each acoustic feature types are analyzed in comparison and best feature selection method and feature type are proposed. For the experiments; University of Michigan Song and Speech Emotion Dataset (UMSSED) and Ryerson Audio-Visual Database of Emotional Speech and Song (RAVDESS) data sets were used. With the OpenSmile tool, a total of four different types of features were generated from these data sets. These feature types are; Energy and loudness, Harmonic product spectrum (HPS) pitch and voice quality, spectral and Mel frequency cepstral coefficient (MFCC). Two different features have been produced by using the different combinations of these features and in the end, total of six types of features have been obtained. The results of the study indicate that the MFCC type features and the features selected by using the Relief-F method have the most successful results. Relief-F method is based on the distance between feature and class label. The neighbors of the pointed feature are also taken into account of calculation with the class label. These distance calculations are the reason that Relief-F outputs higher performance. Chi-Square outputs close performance result with Relief-F. This method uses a statistical calculation of independence between feature and class label. Both depend on the individual relationship between a feature and class label. This common feature of methods is the reason behind this high performance of classification. At the second part of the thesis, active learning was applied with the information obtained in the first part and the accuracy results of applications on emotion recognition systems are analyzed. The experiment of this part is separated into two sub-experiments according to the usage of data sets. At first experiment, RAVDESS data set is used as training set, UMSSED data set is divided into test and unlabeled data sets. The main purpose of this experiment is to find a solution to the classification of data which contains a small amount of samples. The model which is trained by a huge amount of training data outputs higher performance using active learning. At the other experiment, UMMSED data set is used as training set, RAVDESS is used test and unlabeled data sets. This experiment analyzes the smart selection and efficient usage of samples from a huge amount of unlabeled data in emotion recognition systems. In these experiments, MFCC, Statistical and Is13ComParE types of features are used. Cross validation method is used for evaluation. In both experiments, the trained model is tested on unlabeled data set. The most uncertain samples were selected. Afterward, the labels were learned from experts and the model was updated with this information. These operations were performed iteratively, and at each iteration, a certain number of samples were added to the training set. In each iteration, the change in the performance of the model was observed and the results showed that the performance of classification was increasing. As a future work, in order to improve the performance, other instance selection algorithms can be used in active learning. To sum up, within these experiments; the effect of the feature selection and extraction methods used in the emotion recognition from audio signals is analyzed, and also active learning is applied with the obtained results in the first phase. This study emphasizes the importance of data preprocessing phase of classification and concludes successful results with a remarkable recommends that provide an insight to focus on the other phases of emotion recognition.
Dietary planning using multi objective evolutionary algorithmwith fuzzy preference integration
Nutrition is the process of breaking down and digestion of food in order to supply energy and other essential nutrients to the organism. Since eating is the main method to sustain life and survive, it has always been a forceful motivator for human-beings. It covers such an important part of human beings' daily activities that throughout the history they struggled to reach food easily in order to be healthy, powerful and fit. Archaeologist, anthropologist, sociologist and biologist who study history of human evolutionary process often used strategies to obtain food as a complementary tool. Early human beings are suggested to use scavenging and later on they started to hunt animals and gather fruits etc. to feed. After learning techniques related to agriculture, gardening and domestication of animals humans achieved to optimize resources such as time and energy to attain food. Throughout decades, people living in different physical conditions have evolved various food gathering methods and diets by using resources in their habitat. Although this optimization came in handy, changing diet brought some problems with it. Today modern world faces a serious malnutrition crisis. According to Global Nutrition Report 2 billion people lack micro-nutrients, 155 million children are stunted 42 million children are wasted, 2 billion adults are overweight or obese. This indicates clearly that a form of nutritional planning is required to overcome this problems. Dietary planning is an effort to develop guidelines on nutritional requirements to improve mental and physical fitness of people. Countries try to establish and pursue dietary planning policies for their citizens. In order to breed healthy populations a set of reference nutritional intake values must be devised and maintained in order to measure and improve quality of a diet. This measures are called dietary reference intake (DRI) and they reflect the state of scientific research on nutritional requirements. Although DRI measures imposes some constraints on dietary planning, there are also economic, social and personal perspectives to the problem. In this thesis we first model a many-objective dietary planning problem with 4 distinct objectives. First objective is to minimize the cost from an economic perspective. Second objective is to optimize rating objective which reflects society's preference on that diet. Third objective is to optimize on preference objective which reflect personal taste and last objective is to optimize on preparation time which represents resources spent to attain that diet. Since dietary planning is a highly personalized problem these objectives have different importance levels for different users. After modelling many-objective dietary planning problem, a solution using preference based multi-objective evolutionary algorithm namely NSGA-II is proposed. In order to integrate users attitude towards importance of each objectives other than cost a desirability function approach is taken. Desirability functions map objective space into desirability space using exponential functions. This approach is proven to be successfull in many different domains but seriously lacks expressiveness. As a novel contribution to the field a Mamdani type fuzzy inference system is developed to integrate users preferences over different objectives. In order to limit search space of many-objective diet problem FIS takes preference, rating and preparation time as inputs and produces a desirability measure using the FIS rule set that is given by the user herself/himself. This approach brings in serious advantages. First one is the flexibility of user preference integration. This enables to reuse same optimization algorithm without changing for optimizing different aspects of the diet problem by just changing rule sets of FIS. Another advantage is the usage of verbal rule-sets such as "if rating is high then desirability is optimal". This intuitive and powerful way of expressing preferences increases accessibility of the system from users perspective. Another advantage is the dimensional reduction which decreases the time to compute pareto fronts in the region of interest. With mapping many-objective diet problem into a bi-objective diet problem using FIS, it became possible to use NSGA-II to solve the problem. An indirect permutation representation containing 317 foods in test data set is used for its advantages in constraint handling. Output of NSGA-II is a pareto front where cost objective is minimized and desirability objective is maximized. Experiment results show that fuzzy inference systems can be used to guide MOEA algorithms to region of interest of decision maker in search space. Tests on NSGA-II parameters indicates that increase in iteration count increases the quality of solutions. Although minor differences are observed in terms of mutation operator and rate, this observations does not support a statistical difference. Experiments on FIS rule sets concludes statistical differences supporting our hypothesis on effectiveness of FIS in guiding MOEA. Proposed system can be used in personnel dietary planning and recommendation engines easily. This system can also be enriched with extra constraints related with different nutritional diseases such as diabetes to improve on their dietary planning in hospitals. Proposed fuzzy preference based MOEA can also be used with any multi objective optimization problems which contains imprecise, user dependent and vague objectives.
Mobil cihazlar için aktivite tanıma tabanlı adaptif kullanıcı arayüzü
Günümüzde birçok firma hizmetlerini mobil uygulamalar üzerinden sunmaya başlamıştır. Mobil uygulamalardan yapılan finansal işlem sayıları gün geçtikçe artmaya devam ederek geleneksel kanalların üzerine çıkmış durumdadır. Şirketler farklı kullanıcı profillerine hitap edebilmek için, mobil uygulamalarında mobil cihazlar ile sunulan limitli alana olabilecek en yüksek sayıda işlem ve seçenek koyma eğiliminde olmaktadırlar. Bunun yanında bu seçenekler sunulurken, her oturumda maksimum kar hedefi ile en gelir getirici işlemler, yeni özellikler, kampanyalar ve reklamlar gösterimde önceliklendirilmektedir. Son yıllarda mobil uygulamaların yeteneklerinin artmasının bireylerin günlük hayattaki aktivitelerin yapılış şekline de etkisi olmuştur. Mobil uygulamalar eğlence ya da bilgi edinme amacının yanında eposta kontrol etme, fatura ödeme gibi birçok günlük işin tamamlanmasında da kullanılmaya başlanmıştır. Ayrıca, kullanıcılar mobil uygulamaları sıklıkla aynı anda başka bir aktiviteyi sürdürürken kullanmaktadır. Kullanıcılar aceleleri olduğunda ya da aynı anda başka bir aktivite ile uğraştıklarında hedeflerini hızlı bir şekilde, kolayca ve herhangi bir sürprizle karşılaşmadan tamamlamayı isterken, diğer yandan boş zamanlarında mobil uygulama kullanırken daha çok seçenek sunulmasını, yeni özellik ve fırsatlardan haberdar olmayı tercih etmekte ve yenilikçi tasarımlar deneyimlemekten hoşlanmaktadırlar. Bir mobil uygulamanın kullanıcıların farklı bağlamlardaki değişken ihtiyaçlarını karşılaması ve bunu yaparken şirketlerin hedeflerine olumsuz bir etkide bulunmaması için adaptif bir arayüzün yararlı olacağı düşünülmüştür. Kullanıcıların içinde bulunduğu koşulların yaptıkları aktiviteler tespit edilerek belirlenmesi hedeflenmiştir. Bunun için mobil cihazlar üzerinde bulunan sensörler kullanılarak veri toplanıp, makine öğrenmesi ile işlenerek kullanıcıların yaptıkları aktivitelerin belirlenmesi planlanmıştır. İnsan aktivitesi tanıma çözümlerinin en sık güvenlik, sağlık, çocuk bakımı, yaşlı bakımı ve spor alanlarında uygulandığı ve yürüme, koşma, kişisel bakım işlemlerinin yapılması gibi aktivitelerin tanıma işleminin yapıldığı görülmektedir. Kullanılan cihaz tiplerinin karşılaştırılması, kullanılan sensörlerin karşılaştırılması, cihazın kullanıcı üzerindeki konumunun etkisi gibi alanlardaki çalışmaların yanı sıra farklı makine öğrenmesi yöntemlerinin karşılaştırıldığı çalışmalar da bulunmaktadır. İnsan bilgisayar etkileşiminin bir konusu olan adaptif arayüzlerin kullanıcıların tercihlerine göre kişiselleştirilmiş bir sistem sunulması, kullanıcıya göre ilgisiz içeriğin filtrelenmesi, yeni bir sistemin kullanıcılarına sistemin öğrenilme aşamasında yardım ve öneriler getirilmesi, kullanıcının yapmayı hedeflediği işlemlerin öngörülerek kullanıcıya özellikle bir seçim yaptırılmaması gibi farklı uygulama alanları bulunmaktadır. Bu tezde aktivite tanıma işlemi için önce bir Android uygulaması üzerinden veri toplama yapılmıştır. Kullanıcılardan veri toplarken her kullanıcı uygulamayı kendi akıllı telefonuna yüklemiş ve uygulama aracılığıyla toplanan veriler sunucuya yüklenmiştir. Ardından öznitelik çıkarma işlemi yapılarak toplam 45 adet öznitelik çıkarılmıştır. Bunlar cihazda bulunan sensörlerden alınan değerlerin maksimum değeri, minimum değeri, ortalaması, standart sapması ve ortalama mutlak sapmasıdır. Öznitelik çıkarma işlemi sırasında Kayan Pencereler (sliding windows) yönteminden yararlanılmıştır. Daha sonra En İyi İlk (Best First) arama yöntemi kullanılarak Korelasyon Temelli Özellik Seçimi (Correlation-based Feature Selection) uygulanarak 25 niteliğin kullanıma en uygun olduğu belirlenmiştir. Veri Rastgele Ağaç (Random Tree), Karar Tablosu (Decision Table) ve Bayes ağı (Bayesnet) kullanılarak eğitilmiş ve sınıflandırılma modelleri elde edilmiştir. Üç algoritmanın her biri için çapraz doğrulama (Cross-validation) yapılmış ve ayrı bir test kümesi ile doğrulama yapılmıştır. Sonuçlar değerlendirilerek en başarılı sınıflandırma yöntemi belirlenmiştir. Bu çalışmada adaptif arayüz kullanımı, başka bir aktivite yaparak uygulamayı kullanan kişinin kullanıcı deneyimini artırma hedefindedir. Önce kullanıcı ihtiyaçlarının belirlenmesi için seçilen bir gruba beklentilerini anlamak amacıyla sorular sorulmuştur. Bu soruların cevaplarına göre adaptif arayüz tasarımı için yaklaşımlar belirlenmiştir. Bu yaklaşımlara göre hem statik arayüzleri olan, hem de aktivite sırasında adaptif arayüz kullanan bir mobil uygulama geliştirilmiştir. Hazırlanan uygulama farklı aktiviteler yapan kişilere hem adaptif arayüz ile hem de statik arayüz ile verilmiştir. Kullanıcılardan bazı işlemleri gerçekleştirmeleri istenip, işlemleri video ile kaydedilmiştir. Ardından kullanıcılara kullanıcı memnuniyeti anketi uygulanmıştır. Farklı arayüzler ile yapılmış işlemlerin videoları incelenerek işlem süreleri bakımından karşılaştırılmıştır. Anket sonuçları analiz edilmiştir.
Makine öğrenmesi yöntemleri ile kredi risk analizi
Bankacılık Düzenleme ve Denetleme Kurumu'nun (BDDK) yayınladığı rapora göre Türkiye'de küçük ve orta büyüklükteki işletme (KOBİ) durumundaki müşterilerin kullandıkları kredi oranları, yıllar geçtikçe artmakta ve bu nedenle de, finansal merkezler için müşteri riskinin daha iyi tahmin edilebilmesi, gittikçe önem kazanmaktadır. Bu ihtiyaçtan dolayı son yıllarda müşteri riskini daha iyi analiz edebilmek için uzman bilgi ve tecrübesine dayalı klasik yöntemler yerine makine öğrenmesi kullanılarak geliştirilen sistemler kullanılmaktadır. Müşteri kredi riski analizi; müşterinin gelecek bir tarihte finansal bir dar boğaz yaşayıp yaşamayacağını tahmin ederek, finansal merkezin riskini en aza indirgemeyi amaçlar. Müşteri riski analizi ikiye ayrılır: Müşteri başvuru skor analizi ve müşterinin ödeme davranışının analizi. Müşteri başvuru skor analizinde müşterinin kredi başvurusu sırasında sunduğu ya da geçmiş bilgileri kullanılarak müşterinin ileri bir zamandaki durumu tahmin edilmeye çalışılır. Müşteri ödeme davranışı analizinde ise müşterilerin krediye başvurduktan sonraki belirli bir süre boyunca ödeme davranışları incelenerek müşterinin durumu tahmin edilmeye çalışılır. Müşteri ödeme davranışını incelemek için yapılan çalışmaların bazıları müşterinin herhangi bir zamanda finansal bir sıkıntı yaşayıp yaşamayacağı konusuna odaklanırken, diğerleri de müşterinin ne zaman ya da herhangi bir süre aralığında sıkıntı yaşayıp yaşamayacağına odaklanır. Türkiye'de KOBİ'ler için bireysel müşterilerden farklı olarak tek tipte bir kredi (ihtiyaç kredisi, ev kredisi vb.) ya da ürün (kredi kartı, esnek hesap) teklif etmek yerine, belirli bir limitte, içinde birçok farklı ürün barındıran ve belirli bir süre geçerliliği olan bir teklif paketi oluşturulur. KOBİ'ler için hazırlanan her bir teklif paketi KOBİ'lerin ihtiyaçlarına göre hazırlanmış birbirinden farklı ödeme planları bulunan 77 farklı üründen (çek defteri, kredi kartı vb.) birkaçını içerebilir ve toplam limit bu ürünler arasında paylaştırılır. KOBİ müşterileri, bu teklif paketinin geçerli olduğu süre boyunca ihtiyacı olan kredi ya da ürünlerden istediğini dilediği zaman kullanabilir. Eğer müşteri kullandığı ürünün ödemesini 90 gün boyunca gerçekleştirmezse kredinin durumu "problemli kredi" (PK) olarak belirlenir. PK durumundaki herhangi bir ürünün sahibi de "PK durumundaki müşteri" olarak nitelendirilir. Aksi takdirde kredi ve ilgili müşterinin durumu "sağlıklı kredi" (SK) olarak devam eder. Finansal merkezler için müşterinin ne zaman finansal sıkıntı yaşacayağı önemli olduğundan bu çalışma kapsamında KOBİ müşterilerinin 6 aylık bir zaman diliminde finansal sıkıntı yaşayıp yaşamayacağına odaklanılmıştır. Bu motivasyonla Türkiye'deki KOBİ müşterilerinin 1 Ocak 2015 - 1 Ekim 2016 tarihleri arasındaki verileri analiz edilerek 1 Nisan 2016 - 1 Ekim 2016 tarihleri arasında PK olup olmayacakları makine öğrenmesi yöntemleri kullanılarak tahmin edilmeye çalışılmıştır. Bu amaçla, müşteri ödeme davranışı probleminde ve müşterilerin başvurularını değerlendirmek için kullanılan öznitelikler kullanılmıştır. İlk olarak, Yapı Kredi Bankası ile çalışan KOBİ müşterilerinin 1 Ocak 2015 - 1 Ekim 2016 tarihleri arasındaki kredi bilgileri kullanılarak veri seti oluşturulmuştur. PK durumundaki müşterileri belirlemek için aranan koşul müşterilerin 1 Nisan 2016 - 1 Ekim 2016 tarihleri arasında PK durumuna düşmüş en az bir kredilerinin olmasıdır. SK durumundaki müşteriler içinse yeter ve koşul şart, müşterilerin bu tarihler arasında PK durumunda hiç bir kredisinin olmamasıdır. Daha sonra ise, belirlenen bu müşterilerin risklerini analiz etmek için öznitelikler çıkarılmıştır. Çıkarılan öznitelikleri müşterilerin demografik bilgileri, başvuru bilgileri, şirketin finansal durumu, diğer bankalardaki riskleri, gösterilen teminat belgeleri ve ödeme davranışları olmak üzere 6 farklı kategoriye ayırmak mümkündür. Toplamda 3904 (1952 SK ve 1952 PK) müşterinin 366 farklı özniteliği ile veri seti oluşturulmuş ve veri setinin %80'i eğitim için %20'si test için ayrılmıştır. Bilgimiz dahilinde, bugüne kadar Türkiye'deki KOBİ müşterilerinin ödeme davranışları kullanılarak müşterinin gelecek 6 aydaki durumunu tahmin etmeye yönelik yapılmış bir çalışma bulunmamaktadır. Bu nedenle farklı yöntemlerin problem üzerindeki başarımını test etmek için lojistik regresyon (LR), karar ağaçları (KA), destek vektör makineleri (DVM), sinir ağları (SA), rastgele orman algoritması (ROA) ve son olarak da meyilli hızlandırma (MH) yöntemleri kullanılmıştır. Gerçekleştirilen deneylerde en iyi başarımı MH algoritması %83,05 başarı ile, en iyi ikinci performansı ise ROA vermiştir. Onları sırası ile SA, DVM, KA, LG takip etmiştir. Bugüne kadar bu alanda yapılan çalışmaların birçoğunda müşterilerin kredi başlangıcındaki durağan (statik) öznitelikleri kullanılmış, belirli bir zaman aralığında olan ödeme davranışları kullanılmamıştır. Oysaki, müşterilerin ödeme davranışları müşterilerin ekonomik durumu hakkında bize daha doğru bilgiler verebilir ve daha iyi çalışan sistemler geliştirmemize olanak sağlayabilir. Müşteri ödeme davranışları ile ilgili özniteliklerin problem üzerindeki önemini test etmek için, veri setinden müşterilerin ödeme davranışlarını içeren tüm öznitelikler çıkarılarak temel öznitelik vektörü oluşturulmuştur. Sonrasında ise müşterilerin kullandıkları farklı ürünlerdeki geri ödeme davranışlarını içeren öznitelikler sırayla eklenmiştir. Öznitelik vektörüne müşterilerin farklı ürünlerdeki davranışları eklendikçe, özniteliklerin sistem üzerinde etkisi MH kullanılarak analiz edilmiştir. Elde edilen sonuçlar göstermiştir ki ödeme davranışlarını incelemek, sadece sistemin başarısını artırmamış aynı zamanda modelin standart sapmasını da düşererek, daha dengeli bir model elde edilmesine olanak sağlamıştır. Son olarak ise makine öğrenmesi yöntemlerinin tek başına değil de harmanlanmış şekilde kullanılarak elde edilebilecek olan başarımını incelemek için makine öğrenmesi yöntemlerinin farklı kombinasyonları ile harmanlanmış sistemler oluşturulmuştur. Yapılan deneyler sonucunda en başarılı sonuç ROA ve MH yöntemlerini kullanılarak oluşturulan harmanlanmış sistemle elde edilmiştir. Algoritmaların tek başına kullanılarak elde edilen en iyi performans %83,05 iken, harmanlanmış sistem kullanıldığında bu başarı %2,88 oranında artarak %85,93 olmuştur.
Classification of pediatric snoring episodes using deep convolutional neural networks
Simple snoring and obstructive sleep apnea are health conditions that have psychological, physiological and social implications for children including depression, reduced cognitive ability, and hyperactive behavior. According to studies, the frequency of diagnosis of OSA and SS in children are given as 4.9%-17.1%. Obstructive sleep apnea is characterized by drops in blood oxygen level caused by blockage of the upper respiratory tract. A 50% drop in respiration for 10 seconds or more and a consequent 3% drop in blood oxygen level is defined as hypoapnea. Complete stopping of respiration for 10 seconds or more is defined as apnea. Apnea-Hypoapnea Index (AHI) is a commonly used unit for determining the severity of the apnea. For a diagnosis of OSA, an AHI greater than 5 for adults and an AHI greater than 1 for children are used as thresholds. Diagnosis of obstructive sleep apnea requires expensive and time-consuming measurements to be made in a sleep laboratory, hence the current approach is not feasible for screening at large scale. A low-cost system that is able to warn about signs of obstructive sleep apnea can provide a feasible alternative. In this work, a deep convolutional neural network is designed for automatic detection of snoring episodes of children from ambient audio data. In order to test the performance of the network, a dataset collected from 38 pediatric patients with simple snoring or obstructive sleep apnea. The ambient audio signal is converted to Mel spectrogram for the model to learn relationships between features in the frequency domain. The network is trained using Adadelta algorithm on 1.200 samples. In order to fine-tune the system parameters, a validation set of 300 samples is used. Finally, a test set of 300 samples was used observe the performance of the developed network. The samples in the training, validation, and test samples are all exclusive. The mean accuracy of the proposed system over 20 experiments is observed as 91% for snore and non-snore. The accuracy observed is higher than previous work on the same dataset.
Data association for object tracking in a shape-based sensory substitution system
In this thesis, a data association approach to real-time tracking of multiple 3D objects as a part of an auditory-to-vision sensory substitution system is presented. In our sensory substitution system, a depth camera is used to access the 3D structure of an environment in the form of point clouds; the point cloud is preprocessed, segmented, tracked and eventually, objects are presented to users as spatial audio in real time. One of challenging parts of the system is keeping track of the segments extracted from each incoming point cloud, which in the sensory substitution system are treated as proto-objects for auditory spatialization and sonification; it is essential for the purpose of generating an informative, clear and pleasant sound. A novel data association approach to object tracking, which allows the system to keep track of different objects or different parts of a single object, is the primary technical contribution of this thesis. To evaluate each set of associations in the presented approach, two cost functions are introduced. One makes use of the primitive image moments, while the other takes into account the pixel overlap between segments. Furthermore, three different search methods are tried for searching among possible associations; (1) a greedy approach, (2) a brute force approach and (3) a genetic algorithm. To evaluate the performance of the implemented tracker, two kinds of experiments are conducted: (1) testing the performance of tracker independently on an off-line dataset (off-line experiments) and, (2) testing the ability of the blindfolded users to localize and recognize objects in the wild using the implemented tracker. To conduct the off-line experiments, two different small data sets are collected; both of them were used to evaluate the performance of the tracker with different cost functions and search methods. For the experiment done in the wild with users, two sonification methods implemented outside the scope of this thesis, which encode the internal and external contour of 3D objects, are used to evaluate the ability of users to localize and recognize objects placed on the floor in a controlled physical environment. Using an ABA/BAB experimental protocol variant, the effect of learning during training and testing as well as order effects of experiments is investigated. On our limited data set, off-line experiments suggest that although the greedy approach is less effective than the brute force and genetic approaches in detecting splitting and merging situations, but in normal cases, they perform similarly. On the other hand, results indicate that the moment-based cost function performs better then overlap-based functions in detecting the moving objects. The result of comparison between genetic algorithm and brute force approach shows that, without using a restart strategy, the GA mostly finds a weaker association than the multi-run and also brute force approaches. The multi-run algorithm performs similarly to the brute force algorithm and most of the time better than the single-run method. Furthermore, although the brute force algorithm sometimes works fast enough when the number of segments is low, when the tracker gets more segments as input it works too slow and not real-time. The implemented multi-run GA method is capable of real-time tracking. Results of experiments in the wild show that using the proposed tracker, our system enables users to localize objects with short learning time, where participants can localize (precisely or poorly) the objects most of the time. Furthermore, using our system participates could successfully recognize objects most of the time. Participants could identify plant and ball in both encoding approaches with 93% and 100% accuracy, respectively, which is the highest recognition accuracy among all the objects. Results show similar performance between the two sonification methods.
Skin lesion classification using deep convolutional neural network and HSV color space
In this work, deep convolutional neural network and HSV color space based skin lesion classification using ISIC 2017 challenge dataset was analyzed. The main aim of the challenge is to assist participants to develop analytical image tools in order to automatically make a diagnosis of melanoma from dermoscopic images. Skin lesions image analysis consists of three parts: lesion segmentation, detection and localization and disease classification. In this study, it was concentrated on skin lesion classification part of the challenge. This dataset consists of training data (2000 images) to participate in all image analysis. A separate public verification data set (150 images) and a blind held out a test dataset (600 images) is provided to generate verification and testing results. Two types of classification tests are performed. First one is the classification of benign or malignant images. The second one is two independent binary image classification tasks that involve three unique diagnoses of skin lesions (melanoma, nevus, and seborrheic keratosis). In the first binary classification task, it is asked to distinguish between melanoma and nevus + seborrheic keratosis images. In the second binary classification task, it is asked to distinguish between seborrheic keratosis and nevus + melanoma images. All initial images in data sets include images of segmentation of lesion which are accompanied by an expert manual trace of borders of defeat in a type of a binary mask. Masks are created by the specialist clinical physician with use of semi-automatic process (with use of the initial point provided by the user, an algorithm of filling of floods which is adjusted by the user and morphological filtration) or manual process (from a series of the polyline of the point provided by the user). Binary masks help us to find the bounding rectangles of the skin lesion area. An easy way to detect the ROI is to use of OpenCV library that has contour detection function. It was applied to images with a binary mask resulting in coordinates of the bounding boxes. Using these rectangles and keeping the aspect ratio the same, lesion areas have been segmented and resized to 500x500 pixel in size. Before submission of images in a deep convolutional neural network, the images of RGB are transformed to the HSV color space. In the RGB color space when the value of pixel changes, changes the intensity of red, green and blue channels of this color pixel. It means that color, the intensity, and saturation of pixel are connected with variations of color. Observation of change of color in the difficult color environment becomes difficult; however the HSV color space divides color into a hue, saturation, and value. In other words it means that observation of color variations can be distinguished individually. Thus, the HSV color space describes color better, than the RGB color space. After preprocessing data augmentation was performed, such as rotation, shifting and flipping of images. This technique was utilized since our data size is relatively small to train the neural network. Using data augmentation images with the same context but shifted, rotated and flipped were produced. It provides different points of view on images. The first test that includes classification of benign and malignant images, transfer learning was used. As a model InceptionV3 was chosen. This network model is produced by Google. The second test consists of two subtasks: classification of (A) melanoma and nevus + seborrheic keratosis; and (B) seborrheic keratosis and nevus + melanoma images. For these tasks, a deep network with batch normalization between each convolutional layers was built. Batch normalization helps to increase the learning speed. As performance metrics for evaluation of all trained models on a test set, the area under curve and accuracy metrics were used. For the first (benign/malignant) classification, 0.55 area under the ROC curve (AUC) and 70% accuracy on the test set were achieved. The second one contains two tasks: for (melanoma/nevus+seborrheic keratosis) task, 0.61 area under the ROC curve and 80% accuracy and for (seborrheic keratosis/nevus+melanoma) task 0.65 area under the ROC curve and 87% accuracy were reached. All works were performed on the notebook, which includes a CPU of the Intel i5 6th generation and a 2 GB Nvidia GeForce 940M GPU. Since a deep convolutional neural network requires computing power, NVIDIA, the CUDA toolkit and cuDNN have been used. They make the design environment accessible in order to create highly efficient GPU-accelerated applications. In addition, TensorFlow and Keras were preferred as high-level frameworks for rapid prototype development of the study. TensorFlow is a public library of software for machine learning developed by Google to solve the problems of building and learning a neural network, to automatically find and classify images, having reached the quality of human perception. Keras is an open neural network library written in Python programming language. This is an additional wrapper for the TensorFlow and Theano frameworks, which allows us to easily switch between them.
Spor salonundaki aletlerin kapasite tahminlemesi için bir uygulama çerçevesi
Küreselleşmenin getirdiği rekabet şartları, yatırımcıların bütün teknolojik gelişmelerden anında haberdar olmalarını ve olası yenilikleri öngörüp önceden sezmeleri gerekliliğini zorunlu kılmıştır. Bu bağlamda, doğru zamanda doğru talep tahmini, rekabetçi ortamda firmaların öne çıkabilmelerindeki en önemli etkenlerden biri olmuştur. Gelecekteki durumu önceden doğru tahmin ederek uygun planlamaların yapılması, firmaların bu yarışta rakipleri arasından sıyrılıp öne çıkmasını ve daha da önemlisi zorlu piyasa şartlarında ayakta kalmalarını sağlamaktadır. Tahminleme, mevcut veya gelecekteki faaliyetlerin sonucunu tahmin etme zorunluğunun olduğu herhangi sektöre veya duruma uygulanabilir. İşletmeler için bu, talep, kapasite veya envanter yönetimi gibi çeşitli senaryolara uygulanabilir. Talep tahmin çalışmaları başta enerji, üretim, gıda, endüstri, sağlık, tarım ve turizm sektörleri olmak üzere hemen hemen tüm alanlarda uygulanan bir araştırma yöntemidir. İşletmeler için talebin doğru tahmin edilmesi oldukça önemlidir. Çünkü talebin altında tahmin etmek, müşteri, saygınlık ve maddi kayıplara yol açarken, talebin üstünde tahmin etmek de stok tutma maliyeti gibi farklı kayıplara yol açacaktır. Günümüzde sağlığını korumak, daha güçlü olmak, fiziksel aktivite yapmak ve kilo vermek isteyen pek çok insan spor salonlarına gitmektedir. Spor salonuna daha sık giden insanlar aerobik ve fiziksel aktivite direnç seviyelerini arttırmış olup diğerlerine kıyasla daha olumlu kardiyovasküler sağlık sonuçlarına sahip olurlar. Ancak, spor salonlarının etkinliğini en üst seviyeye çıkarmak zor bir sorundur. Spor Salonlarındaki ekipmanların sayısal olarak yetersizliği ve belirli saatlerdeki spor yapan kişi sayısının çok olması, günün belirli saatlerinde yığılmalar ve çakışmalar sebebiyle spor yapan kişiler antrenman planlarındaki bir sonraki egzersize geçmek için birbirlerini beklemek zorunda kalabilmektedirler. Bu spor salonlarının gelirlerini doğrudan etkileyen faktörlerden biridir. Spor salonunu kullanan müşterilerin ekipman bekleme süreleri müşteri memnuniyetini ve dolayısıyla sadakatlerini ve abonmanlık yaptırıp yaptırmayacaklarını doğrudan etkilemektedir. Bu tipik bir tahminleme (forecast) ve optimizasyon sorunudur. Tahmin, geçmiş zamanlarda var olan bütün durumların sonuç kısımlarını analizleyerek gelecek süreçlerde oluşabilecek olayları ve bu olayların sonuçlarını önceden öngörebilmeyi sağlar. İşletmeler uzun vadedeki planları için genel olarak uzun, orta ve kısa süreli tahminleri kullanırlar. Bu tahminlerin gerçekçi olabilmesi işletmelerin sağlıklı şekilde ayakta kalabilmeleri ve karlılıklarını artırmaları açısından çok önemlidir. Tahminlerin gerçekçi ve dahası sağlıklı bir şekilde yapılabilmesi için, bilimsel çalışmaların temellerine dayandırılmalı ve bilimsel yöntemler kullanılarak yapılmalıdır. Tahminler kriter olarak alınarak, işletmelerin halihazırdaki kapasiteleri ve üretim olanakları yöneliminde personel, hammadde ve öz kaynağın bulunduğu bir öngörü ve kapasite planı ortaya konulacağından, elde edilecek tahminlerin gerçeklere en yakın biçimde, işletmelerin gelecek hedeflerine ve gelecekteki durumlarına uygun yapılması da gereklidir. İşletmelerin gelecek planlarının gerçekleşebilmesi ve kontrolün etkin bir biçimde olabilmesi amacıyla tahminlere gereksinim duyulduğu da ifade edilebilir. Talep tahmini, işletme ve yönetimlerin stratejik ve taktik oluşturma durumlarında, kısa, orta ve uzun dönemli amaçlara erişmede kullanılan en temel faaliyet olarak karşımıza çıktığı görülmektedir. Etkin bir talep tahmini yöntemiyle işletme fonksiyonları minimum maliyetle optimum kar düzeyine doğru ilerlerken, stratejik ile operasyonel gereksinimler arasındaki çatışmalarda minimize olmaktadır. İşletmelerin en temel maksadı, piyasa içinde ürünlere olan talepleri karşılamak amacıyla ürün ve hizmet üretmek ve pazarlamak olduğundan, işletmeler müşterilerin taleplerini karşılayabilmek adına bazı aksiyonlar almaktadırlar. Talep tahmini ise, işletmelerin üretmiş oldukları mal ve hizmetlere olan talebin, gelecek dönemler için tahmin edilebilir olmasıdır. Hammadde, yedek parça, yarı mamul, makine, insan gücü ve yatırım ihtiyaçlarının saptanmasında temel veri talep tahminleridir. Üretim işletmelerinde yapılacak çalışmaların tamamının oluşan talep miktarına bağlı olması, talep tahmininin önemini ortaya koymaktadır. Bu çalışmada mevcut talep tahmin yöntemlerine ve talep tahmini ele alınarak yapılan çalışmalara değinilip bir literatür çalışması yapılmış ve tahminleme yöntemiyle analiz yapılması amaçlanmıştır. Çalışma kapsamında bir spor salonunu kullanan müşterilerin geçmiş tarihlerdeki antrenman alışkanlıkları, antrenman sıklıkları (haftanın hangi günleri, günün hangi saatleri, vb.) ekipman kullanım saatleri ve ekipman kullanım süreleri incelenip tahminleme yöntemiyle analiz yapılması amaçlanmıştır.
Debugging remote services developed on cloud systems
Cloud based development platforms are getting more widely used as the cloud services become more available and the performance of such platforms increase. One of the key issues in providing a cloud based development platform is to enable the developers to debug their code just as efficiently and effectively as they would perform in a desktop IDE development session. However, especially if the development of a remote service is being carried out, the debugging client and the server running the actual code is separated, disclosing many problems which are not present in a usual debugging session. This study proposes a record/replay approach to deal with the problems of remote debugging. The debugger saves all the variables values if the developer selects the full recording option.The debugger saves the inputs of the web services so the developer can select the erroneous execution from the list of previous calls then the developer can debug or replay the code. Debugging the code will execute the code line by line using the current situation of the database and web services. The developer can use breakpoints so if the continue buttton is pressed the debugger will continue executing line by line until reaching the first breakpoint. Developer can also use the replay button to show the old values of the variables and by doing so the developer can understand the previous error without a deep checking in the web service logs. To keep the communication overhead of the approach as small as possible, a new type of recording is proposed (the minimal recording), in the minimal recording the debugger saves the variable values only for external data access such as getting the data from a database query or a web service call. The debugger will not save extra data if the web service is working without errors. The debugger stores the related variable values regarding the recording type when the web service throws an exception allowing the debugger to execute the web service later line by line in the client's debugging session. The debugger contains the basic debugger features like step over, continue and step back buttons. The step back features works only with the full recording option. In this case we can name the debugging as TTD (Time Travel Debugging). The proposed approach is integrated to a real world cloud based development platform and the run-time overhead is measured on some case studies to demonstrate the usefulness of the approach.
Development of adaptive human-computer interaction games to evaluate attention
In this work, several physical activity based Human-Computer Interaction(HCI) games which are developed and implemented for the improvement of attention, emotion and sensory-motor coordination will be presented. The interface, and difficulty levels of these games are specially designed for the ease of different age groups and disabilities. The games involve physical activities for the fulfillment of some basic tasks within the HCI, such as fruit picking and air hockey, with adaptive difficulty levels based on varying parameters of the games and human performance. In the fruit picking game, the player will see a number of fruits moving from top to the bottom of the screen. Objective is to collect apples while avoiding the pears. The player's hand will control the basket that collects the fruits. In the air hockey game, the player will try to score goals against computer controlled player. The player's hand will control the paddle. Both of the players will try to hit the puck to score or to defend their goals. The player's hand is recognized by Kinect RGB-D sensors in both games. Aim of the adaptive difficulty based system is keeping the players engaged in the games. Games with fixed parameters are found to be less engaging over time especially with children under special treatment or education and reduces the player performance. Also these games target children with disabilities in the long run, and adaptivity of difficulty makes the games appropriate for a larger target group. If the player's performance is relatively low, game will help them play better by decreasing the difficulty. If the player's performance is relatively high, game will increase the difficulty to increase the challenge. In both cases, adaptive difficulty system makes the games more enjoyable. The games are tested with a group of deaf children (3.5-5 years) as a part of the pilot studies of an ongoing project, to decrease the stress of the children, and increase their positive emotions, attention and sensory-motor coordination before the main tests. Both the game results, the evaluation of the therapists and the pedagogues show that the games have a positive impact on the children. The games are also tested with a group of adults as a control group and the attention levels of the adults were also observed via mobile EEG device. The children to use the EEG device in the main tests therefore the device was not integrated to their game sessions.
Multimodal sensing for manipulation failure detection
Service robots have become more capable of performing daily tasks as their cognitive skills are improved. However, safety still remains almost an unsolved issue in autonomous manipulation. Ideally, robots are desired to accomplish given tasks with no or minimum damage to their environments and themselves. However, unexpected outcomes are inevitable while operating in unstructured physical environments due to sensory and motor failures or external factors. For example, a service robot may fail in manipulating an object due to sensor/motor misalignments, drop the object after grasping due to an instable grasp or collide with other objects during transportation due to perception errors; all of which may result in undesired effects. The robot state and the environment should be continuously monitored in order to detect anomalies or failures during task execution. To achieve this, an execution monitoring system is needed that can detect failures or anomalies in an observed state. Then, recoveries are possible after detecting failures if they are unavoidable. The focus of the thesis is on multi-modal failure detection methods. Proposed failure detection system uses past observations acquired from different sensors as a training set to create models of success and failure cases, and detects failures during object manipulation actions. Rather than relying only on a single sensor modality, it is proposed to fuse visual, auditory and proprioceptive sensory data to achieve a better detection performance in different failure cases. High level proprioceptive, auditory and visual predicates are extracted by processing each modality separately. Then, the extracted predicates are fused. In order to benefit from integrating multiple information sources, some critical issues must be addressed. In particular, difference in data formats, asynchrony between sensors, correlation or independency of modalities, and varying confidence levels of sensors make the fusion process challenging [1]. The contributions of this thesis are two fold. (1) Visual, auditory and proprioceptive sensor modalities are combined for failure detection. This is the first time that these modalities are used together for failure detection in object manipulation domains. (2) A Hidden Markov Model (HMM)-based fusion method is adopted to create temporal and probabilistic failure models on extracted novel sensory predicates. We evaluate our system on real-time tabletop manipulation tasks with a humanoid robot. Experiments on a humanoid robot for tabletop manipulation scenarios indicate that the contribution of each modality is different depending on the action in execution, and fusion results in an overall performance increase in detecting failures compared to the performance attained in all unimodal scenarios.
Pre-release forecasting of imdb movie ratings using multi-view data
Internet users are no longer the ones who only follow the content, but at the same time they have become the ones who create the content itself. Especially, the social media has become a crucial part of everyday life. This results in having a huge digital footprint for the people on the internet either willingly or unintentionally. People provide enormous data such as thoughts on the current issues, comments on an owned product, opinions about a recently released movie, experiences about the visited places, the political views, and so much more different topics thanks to sharing almost everything on these social media platforms. The existence of such large-scale data attracts many researchers from different areas in order to produce useful outcomes by analyzing it. If such an analysis system is designed properly, it could produce more accurate and precise results than the traditional methods like analyzing the output of the surveys using statistical techniques. These systems could be used in everyday fields such as predicting the urban traffic, detecting the news popularity, the likability of a new product coming onto the market, as well as in the fields like financial sector and politics. Making inferences using such systems have become quite important also for the ever-growing film industry. The film industry has a very important share in the global market, with billions of dollars revenue per year. Therefore, it is very important to increase the profit by predicting the movie success before its release. However, most of the total revenue is generated by the only a very low percentage of films. This also means that most films make a loss. In such a billion-dollar industry, it becomes very significant to make a profitable film. From the film industry's point of view, achieving the knowledge of which factors make a film high grossing is very crucial. Detecting those factors before the release of the movie could help the film producers and the other decision-making people to make more appropriate decisions such as deciding the theater's count in which the movie plays or increasing the promotions to raise the revenue. For instance, it could be expected that the revenue will increase if more theater rents for a movie that is predicted to become successful since more audience could watch this movie. On the contrary, deciding to rent less theater for a movie predicted to become unsuccessful could help to reduce the loss. For all these reasons, predicting the box office gross, hence the success of a movie is a very important step in the film industry. It could be assumed that there is a correlation between the box office gross and movie success. As the success of the film increases, the box office gross also increases. However, this prediction is very challenging because it is difficult to distinguish the factors making a movie successful, and detecting the people's opinion is a very subjective issue. Such predictions could be made by using traditional methods like the Hollywood Stock Exchange. However, these conventional methods are incapable to carry out such a complicated task. Recent studies showed that data mining and machine learning methods yield more accurate results. Thus, forecasting the success of a pre-release movie has become an intriguing research area also for the computer scientists. Machine learning is a computer science field to improve performance on a specific task using existing data, which is also called training data. The aim is to create mathematical models to make inferences from these past experiences. Machine learning heavily makes use of the methods from statistics in order to build these models. In other words, machine learning involves the optimization processes of the parameters of these mathematical models using the training data. Most of the time machine learning is associated with data mining. Data mining is the application of machine learning methods on large datasets. There is a wide range of application fields of data mining, from detecting the frauds in the finance sector to predicting the house prices for real estate agents; from the medical researches to autonomous vehicles. Predicting movie success for the film industry is one of these various fields too. Predicting the audience ratings of movies before their releases underlies this study. It could be also said that the aim of this study is to build an effective predictive model to solve this regression problem. It is a regression problem because the predicted movie audience rating value is a scalar value rather than a discrete value as in classification problems. Although there are different studies in this field, some of them only utilized from metadata of the movie, whereas recent studies focused on gathering these metadata with social media data to improve prediction results, it is still needed to make extensive analysis and increase performance for predictions. Also, many of the studies explored the box office prediction performance either treated it as a classification or regression problem. However, there were few studies on predicting the taste of movie audiences. Furthermore, many existing studies did not collect enough and recent data. This study aims to take previous studies a step further by finding a proper way to bring together different data sources and increasing the performance results by utilizing different machine learning methods such as Factorization Machines. In this study, it is aimed to explore the use of Factorization Machines in order to predict movie success by predicting IMDb ratings of newly released movies and compare it with different machine learning methods by combining movie metadata with social media data. Also, it is investigated which features have more impact on the movie rating prediction process and how these features coming from different data sources could be used together. Several prediction algorithms were used to solve the movie audience rating prediction problem and to compare the results with the proposed Factorization Machines approach. Linear Regression, Support Vector Regression, K-nearest Neighbors Regression, Multilayer Perceptron Regression, Random Forest Regression, and Gradient Boosting Tree Regression are the predictions algorithms that were used for comparison throughout this study. In this study, a novel approach was developed based on Factorization Machines which combines movie metadata with social media data in order to improve the prediction accuracy of movie ratings before its release. Factorization Machines are an extended version of factorization models. Factorization Machines could combine the advantages of typical machine learning approaches like Support Vector Machines and Linear Regression with factorization models in order to get rid of the drawbacks from these methods. Factorization Machines could be applied both classification and regression problems. There is not an existing dataset which includes the movie metadata and social media data as required. Also, there is not any framework to gather movie data from different sources. Therefore, a framework was developed to gather data from different sources and generate a custom database as the first step of this study. It becomes possible to gather more data by adjusting the input parameters like release date range, language, and region thanks to this framework. Many different data sources such as TMDb, IMDb, Twitter, and Wikipedia were used. These sources provide APIs in order to access their data with specific parameters instead of providing the data with easy-to-use certain text file formats. Therefore, different wrappers were developed for accessing these APIs throughout this study. In this study, it was also explored that how using different feature sets together affects the prediction performance, while exploring the effect of using Factorization Machines approach on this regression problem. Therefore, the features were grouped by their data sources, metadata and social media, and their data types, continuous and discrete values, in order to decide which group of data results in better performance. After all, 6 different feature sets were used to feed the models according to this grouping process. Multivariate Linear Regression is used in many previous studies since it is easy to implement and interpret. Therefore, Multivariate Linear Regression method is selected as the baseline method for performance comparisons with Factorization Machines. In order to calculate performance metrics, 10-fold cross-validation was used by randomly dividing the training data. The performance metrics were calculated as the average of the metrics from these folds. The mean square error (MSE) and coefficient of determination (R2 score), both are the most common performance evaluation metrics, were used as the performance metrics. The best performance metric was achieved an MSE 1.19 and R2 score 0.88 by using the Factorization Machines approach with both continuous and discrete features together for movie metadata and social media. Although there is an improvement by using Factorization Machines approach compared with Linear Regression approach, it is still needed to be enhanced. The experimental results show that Factorization Machines approach increases the performance using continuous and discrete metadata features together. The combination of movie metadata and social media data slightly changes the performance for predicting movie rating outcomes. Factorization Machines approach has also promising results for movie rating prediction as it can characterize latent factors for movie metadata and social media data. Our proposed method improves the prediction accuracy compared to the traditional methods.
A hybrid mode of operation for RPL networks
Nowadays, more and more devices getting smart abilities by connecting to the Internet. These devices and the networks these form are generally called Internet of Things. Internet of Things is a concept that considers variety of objects that are able to interact with each other through wireless medium. This enables the things to corporate and achieve their goals without any human intervention. According to the estimations, there will be 50 billion devices connected to Internet by 2020. Internet of Things networks are classified under Low-Power and Lossy Networks because of their constrained nature. Interconnection of these networks is done by using IPv6 over Low-Power Wireless Personal Area Networks protocol stack on top of IEEE 802.15.4 physical layer protocol. IPv6 Routing Protocol for Low-Power and Lossy Networks (RPL) is the IETF proposed routing protocol for constrained networks. It enables Internet of Things devices to interact with each other and the rest of the Internet. RPL constructs a tree-like topological structure rooted at a border router. Construction of the network is initiated by this root node. Each node participates to the network by selecting a parent among their neighbours. RPL enables upward routing towards root node by using the default route to parent nodes. For downward routing, it offers four different modes of operation to fullfil requirements of different applications. However, a RPL instance may run under one of these modes of operation. This thesis investigates problems caused by RPL's mode of operation mechanism and offers a solution by defining Hybrid Mode of Operation. The proposed method solves conectivity problems and increases network performance in terms of hop count and network load balance. Moreover, the proposed method provides compatibility with standard RPL.
Unconstrained face recognition under mismatched conditions
Surveillance cameras are very commonplace, and thus can be utilized to make the world a better, safer place. There are many applications which use massive surveillance data to extract information. The speed cameras are mounted on the roads to detect violations in the traffic rules, as well as the security cameras, which are ubiquitous in buildings to detect anomalies. In addition, there is a great interest to analyze and estimate the people's activities in social events. Extensive usage of surveillance cameras has made the monitoring task laborious, such that it is almost impossible for a person to monitor videos efficiently and act accordingly. Therefore, automatic surveillance techniques have been proposed. Face recognition, to a great degree, has been addressed in the literature of computer vision. Face recognition is the problem of matching 1:1 face images (one-to-one), face verification, or 1:N face images (one-to-many), face identification. It has use cases in law enforcement, watchlist, security gates and etc. The usual approach in face recognition is to find the matches in the gallery faces with the probe faces by comparing the distance of the face embedding using a similarity measurement. Conventionally, the extracted features that were used for the comparison were hand engineered, however, due to the rapid progress in the deep learning field, e.g. abundance of the large-scale face database and GPUs, nowadays, deep learning based feature learning methods are preferred. Although, face recognition is a challenging task, as a result of variation in pose, illumination, expression, and occlusion, it is considered to be solved under matched conditions. In matched conditions, face images are literally coming from the same source with relatively high resolution, e.g. faces collected from the Internet. In the mismatched conditions, the face images are coming from the different sources, e.g. surveillance scenarios, where we have the high resolution face images for train set, and the low resolution in the test set. In this thesis, we focused on the face recognition under mismatched conditions and leveraged deep learning models to learn and extract deep face representations. Afterwards, deep face representations are used to compare the faces using a similarity measurement. For this purpose, we used correlation distance between learned features and nearest neighbor classifier to report Rank-1 Identification Rate. In order to extract the features, we have employed 50 and 100 layers residual neural network models trained on VGGFace2 and MS-Celeb-1M databases. We extracted face embedding from the last layer of these networks for each faces in the gallery and the probe set. Furthermore, we experimented with the different amount of information included in the face crops in which we extended the detected bounding boxes which resulted in significant performance boost. Additionally, down-sampling the gallery faces before feature extraction increased the Rank-1 identification rate. For evaluating the performance of the deep learning models at learning discriminative features, we examined the proposed method on ICB-RW and SCFace databases. Our models are trained on VGGFace2 database which is composed of 3.31 million faces of 9131 subjects collected from the celebrity images in different poses and ages and MS-Celeb-1M database which has 10 million images of 100,000 subjects, collected from the celebrity images from the web. The experimental results demonstrate the advantage of using large-scale face database to train deep Convolutional Neural Networks in learning robust face embedding. The experimental results show that quality and variation of the training database is more important than quantity of the database to learn general feature representations. In other words, although, MS-Celeb-1M has 10 times more identity and 3 times more images than VGGFace2, features learned by models trained on VGGFace2 database have better generalization on faces with very low resolution which is a challenging problem in the databases coming from surveillance cameras. Our results on ICB-RW database significantly surpassed the results of previous works, and the experiments on SCFace database achieved state-of-the-art results for distance 3, distance 2, and distance 1 subsets of the probe set. The state-of-the-art results on SCFace benchmark are achieved with an improved version of ResNet-100 trained on MS-Celeb-1M and fine-tuned on VGGFae2 database, which are 76.94% +- 1.98, 98.41% +- 0.92, and 100% +- 0.00 for distance 1, 2, 3, respectively. An ensemble of four model achieved 91.78%, 98.00%, 0.997, Rank-1, Rank-5 IR and area under the curve of cumulative match curve respectively.
Textile based sensing system for leg motion monitoring
In recent years, electronic products have become integrated with textile products with the production of chips having small size, being cheap and needing low energy need. Thanks to research in the field of textile, e-textile was born from the electrical response of textile product to the physical environments. With the multidisciplinary studies carried out in the fields of electronics, computers, control, and textiles, these electronic textiles are now being transformed into products used by consumers. It is possible to see electronic textiles in different fields such as sports training, robotics, health imaging, body motion analysis, etc. The textile based sensors have four different types: resistive, capacitive, optical and solar. Capacitive and resistive sensors can be used in motion capture systems. Resistive sensors have disadvantages such as low linearity, drift problem and high response time, whereas capacitive sensors have good features such as high linearity, low response time and high resolution. Although capacitive sensors have many advantages, noise is generated in the measurement due to the distance between the sensor and the measuring device. Motion capture systems, rely on three different techniques: optical, magnetic and mechanical. Optical motion detection systems operate according to the principle of extracting the skeletal structure of humans by using image processing methods. However, this system has many disadvantages such as the ability to measure in a specific area and require high processing cost in the calculation units. Magnetic motion capture systems are based on the principle of finding joint angles by magnetic sensors placed on the body. Unlike optical motion capture systems, these systems do not require a specific area of operation and high processing cost. However, these systems are affected by objects such as metals and circuits that will create an electromagnetic effect since these systems use magnetic sensors. In mechanical systems, joint angles are determined by sensors placed on the joints. These systems are not affected by the magnetic field and are not required to be used in a specific area. Since the sensor data is equal to the joint data, there is no calculation load. However, special clothing equipped with sensors should be used in such motion capture systems. The cost of this special clothing is the biggest drawback of such motion capture systems. This thesis deals with increasing the measurement quality by reducing the noise due to distance in the measurement of textile based capacitive sensors, creating a prototype with integration to textiles, and developing a motion monitoring system that will receive and store data from the prototype. This thesis focuses on the problem of noise in the measurement results due to the distance which is the biggest problem of capacitive sensors. This makes it possible to make use of the advantage of the capacitive sensors. The electrical system consists of textile based capacitive sensors, microcontrollers, bus, a transmitter, a mobile phone, and a battery. Microcontrollers are placed closest to the sensor. Thus, the noise caused by the distance is minimized. The microcontrollers are connected to the transmitter via bus. The transmitter transmits both requests and power to microcontrollers via the bus. The microcontroller measures and transmits them to the transmitter via the same line. Since the I2C connection is used in the system, the four-wire bus is created for the power and data line. The transmitter transmits the received data to the mobile phone via a Bluetooth connection. The entire system is fed with the battery connected to the transmitter. An Android application has been developed to receive data over a mobile device. The application shows the data to the user and sends them to the server. The server saves the data to the database and also sends it to other web clients instantly. With the prepared web front end, the measurement results are displayed instantaneously. In addition, historical measurement data is displayed on the web front end. Data communication between the web service, phone and web clients is made by socket programming to be fast and instantaneous. The sensor used in the system is a textile based flexible capacitive sensor. This sensor consists of two conductive fabrics and the dielectric material. The sensor acts as a parallel plate capacitor. The increase in the length of the sensor increases the electrode area of the sensor. This change also increases the capacitance of the sensor. In the textile integration of the design, the sensor is placed on the knee using the knee bracket. The microcontrollers are also located near the sensor and connected to the sensor. The bus to be established between the transmitters and the microcontrollers is made of conductive yarns. These conductive yarns are sewn on the fabric strip. In this way, the prototype will be tested under similar conditions to the commercial product to be prepared in the future. In the experiments with the prototype, the test object walks first, then stops, and finally makes a squatting motion. During walking, all characteristics of phases of gait can be extracted from the measurement data. The theoretical and practical results are similar when compared. At the same time, when the signals from both knees are compared, there is a phase difference between the signals parallel to the walking. In the motionless phase, there is no change in the signals. During the squatting motion, both signals move simultaneously, and there is no phase difference between them. When all stages are examined, it is verified the system successfully performs the lower limb motion capturing. The contribution of thesis is that we minimized the noise generated in the measurement results due to the distance which is the biggest problem of capacitive sensors. In addition, a system was prepared to collect data from users and send end-to-end data. Since the system is designed with low-priced materials, it will be suitable to be commercialized. In following studies, a follow-up system for patients in the health care domain, physiotherapy applications, and sports applications etc. can be developed. This thesis will also contribute to science as it opens new fields of study.
A blockchain-based framework for customer loyalty programs
Loyalty programs have grown in travel, retail, financial services and other economic sectors. Therefore, Loyal customers are one of the primary driving forces of any profit-making business. By creating loyalty rewards programs, companies aim to increase customer experience. Customer loyalty and engagement play an important role in the growth of companies and reward programs therefore represent strategic investments for all types of organizations. However, while customer loyalty programs are growing rapidly, some bottlenecks arise which lead to inefficiencies. In the Fast-Moving Consumer Goods (FMCG) industry, manufacturing companies put promotion cards to their products. Their aim is gaining customers' loyalty and directing them to buy company products more frequently. Therefore, customers who bring promotion cards to merchants, are allowed to get promotion products. Traditional customer loyalty programs have several bottlenecks especially in the FMCG industry such as lost coupons and payback process complications. Customers earn promotion cards by buying snacks and chips. They need to bring promotion cards back to merchants for promotion products. However, since these cards are small and oily due to exposure to products, users generally ignore or sometimes forget bringing them back. Lost coupons decrease the participation ratio of the loyalty program which also means manufacturers cannot get customers' loyalty. In addition, merchants collect thousands of promotion cards from customers and they need to give them back to manufacturers for payback. Manufacturers get those promotion cards from merchants and make payback to them according to the quantity of promotion cards. Counting thousands of promotion cards is a challenging issue thus some of the manufacturers prefer weighing cards to find an approximate number instead of counting which can cause unreliability in the process. Moreover, manufacturers have to cooperate with third-party companies to maintain customer loyalty programs. Collaboration with third parties requires integration with third-party services, including data sharing. Blockchain creates a shared registration system between network members and eliminates the need to reconcile different stakeholders. Benefits of using blockchain technology are intrinsically related to its technical features. This distributed technology allows reduction of costs and bureaucracy as well as the improvement in trust and efficiency in systems. Logic of block chaining also guarantees that the data not to be altered and together with the temporality feature it allows the traceability up to the very first data generated. This thesis presents the design of a blockchain-based customer loyalty program, Promotion Asset Exchange (PAX) framework, to solve bottlenecks in the traditional customer loyalty programs thanks to replacing promotion cards with virtual tokens. PAX framework adopts the smart contracts of blockchain technology by using PAX tokens to digitalize transaction processes. It provides better usability for customers and more information from manufacturing companies' perspective.
Age and gender classification from ear images
Ear is one of the important biometric traits. Because, the human ear can be easily obtained and is unique for each individual. Nowadays, ear biometrics has become a very popular research topic in biometric research area. In this thesis, we present a detailed analysis on age and gender classification from ear images. Although there have been several studies on gender classification, to the best of our knowledge this thesis is the first work about age classification from ear images. In this work, we have presented both geometric based representation and appearance based representation for age estimation and gender classification from ear images. In geometric based representation, firstly, we have identified several landmark points both on the ear and on the profile face. Then, we have calculated distances between them and have also calculated rectangle area and polygon area of the ear to use as features with machine learning algorithms. We have employed support vector machines (SVM), linear support vector machines, neural network, random forest, and logistic regression with geometric features and we have analyzed the age and gender prediction results. We have also performed appearance based representation. For this, we have utilized VGG-16 and ResNet-50 deep convolutional neural network architectures with ear images. Moreover, we have presented two-stage fine-tuning strategy and data augmentation approaches to improve classification peformances. For domain adaptation method, first of all, pretrained CNN model on ImageNet dataset has been fine-tuned on the large-scale ear dataset which is called as Multi-PIE ear dataset. With this way, we have aimed to adapt the CNN model to the ear domain. Later, we have fine-tuned this model on our target datasets which are Istanbul University dataset, FERET, UND-F and UND-J2 respectively. We have also performed data augmentation technique on all datasets for producing more data and increasing the variance of the datasets in order to improve the classification performance of the deep CNN models. Besides, we have benefited from center loss, large-margin softmax loss (L-Softmax), and angular softmax loss (A-Softmax) in deep CNN model. With these loss functions, we have obtained more distinguishable features and more accurate results. While Istanbul University dataset and FERET dataset have been employed for both age and gender classification, UND-F and UND-J2 datasets have only been utilized for gender classification experiments due to lack of age information of the subjects. On Istanbul University dataset with geometric features, we have obtained 38.5% classification score by linear SVM for age classification, and we have achieved 63% classification performance by linear SVM for gender classification task. On the other hand, for appearance based representation, we have reached 54.41% age classification accuracy by VGG-16 CNN model and 100% gender classification accuracy by both VGG-16 and ResNet-50 using large-margin softmax loss. For age classification experiments on the FERET dataset, in the 3 class setup, we have obtained 85.71% result with ResNet-50 and center loss. In the 5 class setup, ResNet-50 and VGG-16 deep CNN architectures have achieved 69% classification accuracy with large-margin softmax loss. Moreover, for gender classification, we have obtained 98.33%, 98.33%, and 99.16% classification performance on FERET, UND-F, and UND-J2 datasets respectively. All these appearance-based results have been obtained with data augmentation and domain adaptation techniques. Finally, all results indicate that ear can provide useful information for age and gender classification. However, age estimation requires further work.
Deep convolutional neural network based unconstrained ear recognition
Biometrics is absolutely a critical point on security where human beings interact with machines since it is the key for human identification based on the uniqueness of biometric traits such as fingerprint, iris and ear. Currently, ear biometry is becoming one of the popular research topics on the biometrics and forensic fields. Especially, the ear recognition in-the-wild domain gains importance due to the usability on security purposes and being assistive to the other frequently used biometrics such as face recognition. In addition to being supportive, it may sometimes be an alternative method relative to being more stable over time and not affected from expressions as much as faces. However, ear recognition under unconstrained conditions is a challenging task by reasons of occlusions, variety of head poses, different illumination and low resolution conditions. With ear datasets which were collected under laboratory-like conditions, the high recognition performances are achieved but it is not guaranteed that these type of systems can be robust to the real-world environments. Besides, deep learning models have easily become aware of controlled conditions and obtain high performance on constrained ear datasets that is proven with recent researches. In this thesis, we have comprehensively analyzed ear recognition problem under both constrained and unconstrained conditions. To address this problem, we have benefited from deep convolutional neural networks to enhance the recognition model. We leveraged the ability of deep learning models to learn features for high performance. For this purpose, we used most popular CNN models, which are AlexNet, VGG-16, GoogLeNet, and SqueezeNet. Then, we proposed a domain adaptation approach to improve the performance on UERC dataset which is one of the recently collected unconstrained ear dataset. To enable the domain adaptation, we have generated a new dataset which is one of the biggest ear datasets to the best of our knowledge, from Multi-PIE face dataset and we named it as Multi-PIE ear dataset. Also, we utilized transfer learning method by using pretrained models and we have adapted them to the ear domain. Moreover, we used the common approaches such as data augmentation and data alignment to obtain better results. To improve the performance further, score level fusion with different CNN models has been employed. Besides, one of the developed new loss functions which are center loss and large margin softmax loss have been applied. The domain adaptation technique improved the classification performance around 4% for almost all models. Then, with data augmentation technique, the accuracy is increased 3%. Unlike domain adaptation and data augmentation, the alignment technique did not work in terms of performance gain. Further, with score level fusion approach, we obtained 3-4% performance improvement and we achieved 67.53% accuracy. After, we have achieved 68.18% classification performance with VGG-16 model using center loss. These results show that domain adaptation and data augmentation lead to a significant performance improvement even for unconstrained ear datasets. Further, we analyzed the effect of image quality such as illumination change, resolution and view angle on performance and we have concluded that image quality has significant effect on accuracies. In our last experiment, we have conducted a dataset identification experiment to addressed whether dataset bias problem exists in ear domain. As a result of this, we obtained 99.71% classification accuracy which indicates that there is a strong bias between ear datasets. And this issue has to be investigated further.
Contextual and time-based developer metrics in software defect prediction
In today's world, software products play an important role in making our lives easier in our business and social life. This leads to an increase in interest in software products and to a growing variety of software products, increasing their size and complexity. The concept of quality in software has been emphasized since there is a competition between software products and ever increasing in software costs. In order to increase the quality of the software, error prediction models are used which produce data- driven results. These kinds of data can be obtained from the software process, source codes, product outputs, and organizational structures. Additionally, there are many studies that examine the people factors and their relationship to software defects. Developer related metrics can be picked up by different perspectives, such as different codding skills and techniques, experience levels, ownership of the related modules, organization structure of companies. These kinds of metrics have been captured the in one or a limited number of snapshots of source codes, although the experience and knowledge of a developer are constantly changing depending on time and content of the codebase. In this study, we have offered to measure time-based developer experience with specified context are files and directories. We have captured time-based experience metrics obtaining to the previous development activities on specified context and examine the relationship of these metrics with the software defects. In our study, we have recalculated the developer metrics in each commit for each file and directory on two granularity levels: file level and commit level. We have used static code metrics and time-based and contextual developer experience metrics together with our models. To evaluate our defect prediction models, we have used Jackrabbit and Lucene projects. In order to define a classification method, we have compared the five the most preferred classification algorithms. We have identified two algorithms that perform best for our data sets. The performances of our models are evaluated according to the results of precision, recall, false positive rate and f-measure. We have used correlation-based feature selection method for specifying the best explanatory metrics of software defects. According to model outputs, time-based developer metrics which are obtained from a file are good merits for software defect prediction. In addition, static code metrics and time-based developer metrics must be used together since the developer's experience information cannot be calculated in the early versions of the source code.
Makine öğrenmesi ile öğrenci başarı durumunun tahmin edilmesi
Bu çalışmada, öğrenci başarısının tahmin edilmesi amacıyla Kaggle platformundan beş farklı veri seti kullanılmıştır. Veri seti 1, 6607 gözlem ve 20 değişken; Veri seti 2, 10.000 gözlem ve 15 değişken; Veri seti 3, 1388 gözlem ve 5 değişken; Veri seti 4, 10.000 gözlem ve 6 değişken; Veri seti 5 ise 2392 gözlem ve 15 değişken içermektedir. Veri setleri üzerinde eksik ve aykırı değer analizi gerçekleştirilmiş, gerekli düzeltmeler yapılmıştır. Kategorik değişkenler label encoding yöntemiyle sayısal formata dönüştürülmüş, ardından korelasyon analizi yapılarak düşük korelasyona sahip değişkenler çıkarılmıştır. Ridge, Lineer, Lasso, Random Forest ve Destek Vektör Regresyonu (DVR) algoritmaları kullanılarak 10 kat çapraz doğrulama ile modellerin performansları belirleme katsayısı (R²), ortalama mutlak hata (MAE) ve kök ortalama kare hata (RMSE) metrikleri üzerinden değerlendirilmiştir. Standartlaştırma işlemi Z-skor yöntemiyle uygulanarak modeller tekrar eğitilmiş, hiperparametre optimizasyonu ise GridSearchCV ile gerçekleştirilmiştir. En iyi sonuçlar veri seti 1'de Random Forest algoritmasıyla (R²: 0.9553, MAE: 0.5586, RMSE: 0.7211), veri seti 2'de DVR ile (R²: 0.9407, MAE: 3.6525, RMSE: 4.2676), veri seti 3'te Random Forest ile (R²: 0.9940, MAE: 0.5378, RMSE: 0.7358), veri seti 4'te DVR ile (R²: 0.9999, MAE: 0.0762, RMSE: 0.1858) ve veri seti 5'te Lineer Regresyon ile (R²: 1.000, MAE: 0.000, RMSE: 0.000) elde edilmiştir. Son aşamada, öğrenci başarısının tahmin edilmesini sağlayan modelin gerçek veriler üzerinde nasıl çalıştığını gözlemlemek amacıyla bir web uygulaması geliştirilmiştir. Bu uygulama, öğrencilere özel başarı tahminleri sunarak kişiselleştirilmiş eğitim süreçlerinde karar destek mekanizması olarak kullanılabilirliğini göstermiştir. Çalışma sonucunda, veri ön işleme, model seçimi ve optimizasyon adımlarının tahmin doğruluğunu önemli ölçüde artırdığı ve makine öğrenimi modellerinin öğrenci başarısını yüksek doğrulukla tahmin edebildiği ortaya konmuştur.
Derin ağ ve MFCC özelliklerine dayalı akut solunumyolu hastalıklarının sınıflandırılması
Solunum yolu hastalıklarının erken teşhisi, hastalık yönetimi açısından kritik öneme sahiptir. Bu çalışmada, solunum seslerinin otomatik analizi için derin öğrenme tabanlı bir sınıflandırma sistemi geliştirilmiştir. Ses verilerinden Mel Frekans Kepstrum Katsayıları (MFCC) gibi spektral öznitelikler çıkarılmış ve bu öznitelikler, hibrit model CNN+LSTM katmanları içeren bir derin sinir ağı modeli ile işlenmiştir. Sınıf dengesizliğini azaltmaya yönelik teknikler kullanılarak modelin genellenebilirliği artırılmıştır. Yapılan deneysel çalışmalar sonucunda, geliştirilen model test verisi üzerinde %86 doğruluk oranına ulaşmış ve solunum seslerinden hastalık tespitinde etkili ve güvenilir bir performans sergilemiştir. Elde edilen bulgular, ses temelli analizlerin akut solunum yolu hastalıklarının erken tanısına katkı sağlayabileceğini göstermektedir.
Dikkat tabanlı otokodlayıcı kullanarak tek görüntüden yüksek dinamik aralıklı görüntü oluşturma
Tek görüntüden Yüksek Dinamik Aralık (High Dynamic Range– HDR, YDA) görüntü yeniden yapılandırma, modern görüntü işleme alanında hâlen çözüm bekleyen önemli zorluklardan biridir. Düşük Dinamik Aralık (Low Dynamic Range– LDR, DDA) görüntülerde karşılaşılan pozlama yetersizliği, bilgi kaybının önlenmesi açısından ciddi bir engel oluşturmaktadır. Bu tez çalışmasında, çoklu pozlama sentezi esasına dayalı U-Net benzeri Kodlayıcı–Çözücü (Encoder–Decoder) mimarili bir YDA üretim sistemi temel alınarak, farklı Dikkat (Attention) mekanizmalarının bu yapıya entegrasyonu araştırılmıştır. Önerilen mimari, Otokodlayıcı (Autoencoder) tabanlı bir çerçevede yapılandırılmış; Uzamsal Dikkat (Spatial Attention), Kanalsal Dikkat (Channel Attention), Darboğaz Dikkat (Bottleneck Attention), Sıkıştırma–Uyarma Dikkat (Squeeze-and-Excitation– SE Attention) ve Öz Dikkat (Self-Attention) olmak üzere beş farklı dikkat mekanizması, ayrı ayrı model varyantları olarak sisteme entegre edilmiştir. Ayrıca, modele eklenen Pozlama Tutarlılığı Kaybı (Exposure Consistency Loss) başta olmak üzere farklı kayıp fonksiyonları ile performans iyileştirmeleri gerçekleştirilmiştir. Geliştirilen modeller, DrTMO veri kümesi kullanılarak eğitilmiş ve Tepe Sinyal Gürültü Oranı (Peak Signal-to-Noise Ratio– PSNR), Yapısal Benzerlik İndeksi (Structural Similarity Index– SSIM) ve Öğrenilmiş Algısal Görüntü Benzerliği (Learned Perceptual Image Patch Similarity– LPIPS) metrikleri üzerinden nicel olarak değerlendirilmiştir. Elde edilen sonuçlar, dikkat mekanizmalarının ve yeni kayıp fonksiyonlarının YDA üretim kalitesine önemli katkılar sağladığını; özellikle Uzamsal Dikkat tabanlı modelin hem yapısal doğruluk hem de algısal kalite açısından en yüksek performansı gösterdiğini ortaya koymaktadır. Bulgular, ablasyon analizi ve görsel karşılaştırmalar ile detaylı biçimde desteklenmiştir.
Blokzincir ve ilişkisel veritabanı entegrasyonu ile sabıka kaydı yönetim sistemi uygulaması
Bu araştırma, geleneksel veritabanı sistemleri ile blokzincir teknolojisinin entegrasyonu yoluyla sabıka kayıtları yönetimi için yenilikçi bir hibrit çerçeve sunmaktadır. Çalışma, hassas adli bilgilerin güvenli yönetimi için senkronize ve değiştirilemez veri depolama sağlayan entegre bir mimari model önermektedir. Geliştirilen sistem, blokzincirin değişmezlik ve şeffaflık özelliklerini geleneksel veritabanlarının yüksek performans ve erişilebilirlik kapasiteleri ile birleştirerek fonksiyonel bir denge kurması bakımından özgündür. Sistem mimarisi, her iki ortamda veri işlemlerinin senkron olarak gerçekleştirilmesini sağlarken, kriptografik doğrulama mekanizmaları ve rol tabanlı erişim kontrolü ile veri bütünlüğünü garanti etmektedir. Hibrit yapı, ilişkisel veritabanı teknolojileri ile modern blokzincir platformlarını entegre ederek ACID uyumluluğu ve dağıtık defter kayıt tutma özelliklerini aynı anda sunar. Sistem koordinasyonu, olay odaklı mimari ve güvenilir mesaj işleme protokolleri aracılığıyla sağlanmaktadır. Veri tutarlılığı, çok aşamalı onay mekanizmaları ve periyodik kriptografik doğrulama süreçleri ile korunmaktadır. Güvenlik altyapısı, kriptografik hash işlemleri ve blokzincirin doğal koruma mekanizmaları aracılığıyla veri bütünlüğünü sağlar. Sistem mimarisi, veri tutarlılığını korumak için geleneksel veritabanı işlem kontrolleri ile blokzincir doğrulama süreçlerini birleştirmektedir. Araştırmanın bulguları, önerilen mimarinin geleneksel sabıka kayıt sistemlerine kıyasla veri güvenilirliği, işlem izlenebilirliği ve sistem dayanıklılığı açısından önemli iyileştirmeler sağladığını göstermektedir. Bu hibrit yaklaşım, blokzincir teknolojisinin kamu yönetimi uygulamalarında etkin kullanımına yönelik ölçeklenebilir bir model sunarak, kritik devlet bilgi sistemlerinin modernizasyonuna katkı sağlamaktadır. Çalışmanın temel katkısı, blokzincir teknolojisini mevcut kurumsal altyapılar ile entegre etmenin pratik yollarını ortaya koyarak, adli bilgi sistemlerinde güvenlik ve şeffaflık standartlarının yükseltilmesi için uygulanabilir bir çerçeve geliştirmesidir.
Bilgi teknolojilerinde alt yapı ve işletme maliyetlerini düşürme yöntemleri ve uygulamaları
Günümüz iş dünyasındaki değişimlere paralel olarak tam rekabetçi piyasa ortamında maliyet unsurlarının amaçlara uygun olarak derlenmesi, maliyetlerin kontrolü şirketler açısından kaçınılmaz hale gelmiştir. Bu kapsamda işletme maliyetlerinin en doğru şekilde hesaplayan, maliyet yönetimine imkân veren sistemleri kullanan ve kar unsurlarını arttırıcı bir takım uygulamalar geliştiren işletmeler rakiplerine oranla kendilerine çok daha fazla avantaj elde edebilmektedirler. Bilgi ve iletişim çağı olarak adlandırılan 21.yüzyıl piyasa koşullarında teknolojinin gerisinde kalmış, üretilen bilgiyi gerektiği gibi işleyemeyen işletmelerin ömürlerinin uzun olması beklenemez. Bu sebeple işletmeler bilgi ve teknoloji yatırımı yaparlar. Bilgi teknolojileri yatırımları da diğer yatırımlar gibi iyi analiz edilmeli, incelenmeli ve yatırımların maliyet/fayda hesabı yapılmalıdır. Optimum seviyede bilgi teknolojileri yatırımı işletmenin diğer süreçlerini de olumlu yönde etkileyecek bir domino etkisi başlatacaktır. Çalışmada bilgi teknolojileri yatırımlarının optimum seviyede gerçekleşmesine katkı sağlayacak yöntemler araştırılmıştır. Bilgi teknolojileri gider kalemleri incelenirken, bu kalemlerin maliyet unsurlarına ne gibi etkiler yaptığına dikkat çekilmiştir. Daha önce 2 ayrı firmada yapılan bilgi teknolojileri yatırımları sırasındaki teknikler ve uygulamalar örnek teşkil etmesi açısından çalışmada yer almıştır. Yapılan çalışma ile birlikte bilgi teknolojileri yatırım kararlarına iş süreçlerine olumlu katkılar sağlanması hedeflenmiştir.
Mobil android uygulaması ile farklı kısa yol algoritmalarının simülasyonu ve k arşılaştırılması
Artık dünyadaki bütün insanların en az bir teknolojik cihaza sahip olduğu günümüzde teknoloji çok hızlı bir biçimde ilerlemektedir. Buna bağlı olarak taşınabilir cihaz denilen küçük boyutlu cep telefonları, tabletler, giyilebilir teknoloji olan kol saatleri gibi cihazların kullanımları eskiye nazaran kat ve kat artmıştır. Bu hızlı artışın özellikle bilgisayar bilimleri alanında katlanarak arttığı görülmektedir. Özgür yazılım grupları ile birlikte gelişen bu teknolojilerle beraber günümüzde milyarlarca insanın kullandığı Android tabanlı telefonlar da hızlı bir kullanım artışı göstermektedir. Google Play Market ile beraber indirilen oyun ve uygulamalar günümüzde milyarlarca dolar gelir getirmektedir. Bu talepten dolayı kullanılan cihazların performanslarının doğru kullanılması önemli bir ihtiyaç olarak doğmuştur. Günümüzde özellikle birçok strateji oyunların ve özellikle navigasyon tabanlı uygulamaların telefonlarda performanslı ve hızlı bir şekilde çalışması için araştırmalar yapılmaktadır. Bu çalışmada; bu oyunlar ve uygulamalarda en çok kullanılan en kısa yol bulma algoritmalarının uygulamalara nasıl entegre edilebileceği gösterilmiş ve performansları karşılaştırılmıştır. Bazı en kısa yol bulma algoritmalarının Android tabanlı telefon üzerindeki verimleri çıkartılmış ve detaylı bir biçimde anlatılarak algoritmaların avantaj ve dezavantajlarına bağlı olarak sonuçları nasıl etkilediği belirtilmiştir. Ayrıca Android tabanlı bir mobil uygulama geliştirilmiş ve kullanıcıların bu uygulama ile algoritmaları nasıl kullanacakları ve tercih edecekleri hakkında bilgi sahibi olmaları amaçlanmıştır.
Kaynak kod güvenliğinde statik analiz ölçütleri ile performans değerlendirmesi
Bilişim sektöründe aktif olarak çalışan yazılımcıların geliştirdiği yazılım ürünleri üzerinde hatalar bulunmasının yanı sıra güvenlik zafiyetleri de sıklıkla görülmektedir. Geliştirilen yazılımın ne seviyede güvenli olduğu herhangi bir standart çerçevesinde değerlendirilmemektedir. Yazılım kaynak kodlarında olası güvenlik açıklarını keşfetmek için Statik Kod Analiz araçları kullanılmaktadır. Fortify, Polyspace, SonarCloud (open), Checkmarx, AppScan ve AttackFlow gibi birçok ücretli ve ücretsiz test aracı mevcuttur ve bu araçlar yazılımların değerlendirmesini yapmaktadır. Araçlar kaynak kodları analiz ederken yanlış pozitif (False Positive), yanlış negatif (False Negative), doğru pozitif (True Positive) ve doğru negatif (True Negative) gibi değerlendirme sonuçları üretirler. Yanlış pozitif (False Positive), kaynak kodda gerçekte güvenlik sorunu olmayan ve statik analiz araçları tarafından yanlışlıkla var olduğu tespit edilen güvenlik açıklarını tanımlamaktadır. Yanlış negatif (False Negative) ise statik kod analiz araçları ile bulunamayan ve gerçekte mevcut olan güvenlik açığı şeklinde ifade edilmektedir. Güvenlik taraması sırasında, yanlış negatif (False Negative) ve yanlış pozitif (False Positive) lerden dolayı, taramayı yapan, taramayı yaptıran, ilgili değerlendirme aracını satın almak üzere olan ve aynı zamanda güvenlik taramasından geçirilmemiş programı canlı sistemlerinde barındırarak hizmet vermek zorunda olan aktörler mağduriyet yaşamaktadır. Bu çalışmanın temel amacı, farklı statik kod analiz araçlarının, güvenlik açıklarını tespit etme performanslarını analiz etmektir. Aynı zamanda doğruluğundan emin olunulmuş ve tekrarlanabilir bir yöntemi ortaya koyarak objektif değerlendirme sonuçları ile doğabilecek sorunların önüne geçmektir. Bu tez çalışması içerisinde yazılım sektöründe kullanılan Fortify, Polyspace, SonarCloud (open), Checkmarx, AppScan ve AttackFlow gibi test araçlarından sadece Polyspace ve Fortify incelenmiştir. Çalışma içerisinde kâr amacı barındıran ticari ürün Fortify ile akademik çalışmalarda kullanılan Polyspace ürünleri incelenerek performansları kıyaslanmıştır. Bu çalışmada ilk olarak seçilen JULIET test veri kümesi üzerinde yazılım test araçlarının başarımları incelenmiştir. Daha sonra ilgili test araçları farklı istatistiksel yöntemler kullanılarak analiz edilmiş ve kıyaslanmıştır. Aşamalara ait sürelerin kısaltılabilmesi için filtreleme ve otomatize etmek amacıyla çeşitli betikler oluşturulmuştur. Ayrıca başarımları hesaplayabilmek adına SCATPA adı verilen bir proje de geliştirilmiştir. Gerçekleştirilen çalışmada aynı zayıflık grubunu (Common Weakness Enumeration, CWE) test etmeyi amaçlayan yazılım araçları birbirleri ile karşılaştırılmış ve ilgili araçların farklılıkları (avantaj – dezavantajları) ortaya konmuştur. Bu tez çalışması alanında bir ilk olup, ilgili alanda çalışmak isteyen şahıs ve kuruluşlar için yol gösterici olması hedeflenmiştir.
ITIL–7 adım gelişim modeli ile bilgi teknolojilerindeki hizmet kalitesinin iyileştirilmesi
Bilgi Teknolojileri insanların hayatına çok kısa zaman önce girmiştir, ancak kısa zaman içinde çeşitli deneyimler kazandırarak insanlar için vazgeçilmez hale gelmiştir. Bu durum, kullanıcıların beklentisini yükseltmiş, her zaman aynı kalitede hizmet sunulmasını zorunlu hale getirmiştir. Bu nedenle, sağlanan bilgi teknolojilerinin belirli standartlarda sunulmasını sağlamak ve bunun ötesinde verilen bu kalitenin arttırılmasını sağlamak için bir çalışma yürütülmesi gereksinimi doğmuştur. Bilgi teknolojilerinde kalite standartları konusunda dünyada yer alan bir çok çerçeve arasında, en çok kabul görmüş ancak ülkemizde yeni yeni farkındalığı oluşan ITIL çerçevesini esas alan bu faaliyetler bütünü incelenerek, kurum için en faydalı pratiklerin belirlenerek uygulanması ve faydalarının ortaya konması bu çalışmanın kapsamını oluşturmaktadır. Bu bağlamda, çalışma; sunulan hizmetin kalitesi ile "7 Adımda İyileştirme Modeli" arasındaki olası ilişkiyi ele almaktadır. Bu ilişkinin tespit edilebilmesi için finans, telekominükasyon ve enerji gibi çeşitli sektörlerdeki müşterilerine, bilgi teknolojileri dalında hizmet sağlayan bir kurumun, belirlemiş olduğu yeni stratejileri sonucunda, müşterilerine sağlamış olduğu hizmetlerin kalitesinin arttırılması amacıyla yürütülen bir dizi faaliyeti ele almaktadır. Araştırma sonucunda, uygulanmış olan 7 adımda iyileşme modelinin müşteriye sağlanan hizmetlerde, daha önceden anlaşılmış hedeflere (SLA) yaklaşılmasını sağladığı tespit edilmiştir.
Bankacılıkta dolandırıcılık yöntemleri ve tespiti
Tez çalışmasında, temel olarak bankacılık ve finans sektöründe dolandırıcılık ve hırsızlığın önüne geçilmesi hedeflenmiştir. Bu amacı desteklemek için tez de bazı yazılım dilleri, veritabanı yönetim sistemi uygulamaları ve veri madenciliğinin ilgili model ve algoritmaları kullanılmıştır. Tez çalışmasındaki amaç hem maddi, manevi kayıplarının önüne geçmek hem de kurumlar için müşterilerine daha hızlı, güvenli hizmet sağlayarak şirketsel imajlarını korumaktır. Tez çalışmasında temel olarak müşterilerin geçmiş dönemlerdeki alışveriş geçmişleri veritabanı sistemlerinde tutulmuştur. Bu alışverişler kategorize edilerek hangi müşteri parasını, hangi ürün yelpazesine harcadığı saptanarak veri tabanına kayıt edilmiştir. Kategorilerde ki ürünlere yatırdığı miktarlar da göz önünde bulundurulmuştur. Tez çalışmasında banka müşterilerinin beş aylık harcamaları kategori ve miktarlarla kayıt altına alınmaktadır. Müşteri kartı belirli yöntemlerle kopyalandığı ve çalındığı durumlarda yapacağı alışverişlerin alışkanlıklarına ters düştüğü durumlarda veri madenciliği ile oluşturulmuş ağaç sonucu oluşan yapı devreye girerek dolandırılma riski belirlenecektir. Veri madenciliğinde sınıflandırma yönteminin içindeki karar ağacı ile sınıflandırma tekniğinin C4.5 algoritması kullanılmıştır. Karar ağacı tekniği ile gelişim eğitim verisi üzerinden sağlanmıştır.
Birliktelik kuralı algoritmaları ile büyük veriler üzerinde analitik analizler: Havaalanı örneği
Bilişim teknolojilerinin gelişimi, veri depolama alanlarının büyümesi ve özellikle bulut bilişim ile ilgili yeni çalışmaların yapılması, şirketlere ait müşterilerin verilerini daha büyük boyutlarda saklamalarına olanak sağladı. Ancak bu durumla birlikte büyük verilerden anlamlı ve yararlı bilgilerin ortaya çıkarılması daha da güç bir hale gelmiştir. Veri madenciliği yöntemleri bu ihtiyaçlara çözüm bulmak amacıyla ortaya çıkmıştır. Artık veri madenciliğinde kullanılan model ve tekniklerle birçok alanda çalışmalar yapılmaktadır. Bu gelişmeler sonrası veri madenciliği alanında birliktelik kuralları önem kazanmış ve ayrı bir araştırma konusu olmuştur. Özellikle birliktelik kuralları ile geçmiş veriden çıkarılmış olan kurallar ilerisi için doğru tahminler yapılmasını kolaylaştırmıştır. Bu tez çalışmasında, veri madenciliği modellerinden Birliktelik Kuralları Analizi ve Algoritmaları ayrıntılı olarak incelenmiştir. Apriori, Apriori-TID, ECLAT, FP-Growth algoritmaları uygulamada kullanılmıştır. Büyük veriler üzerinde çeşitli analiz ve bilgi çıkarımı işlemleri yapılması amaçlanmıştır. Uygulama alanı olarak havalimanlarında bulunan yiyecek içecek firmalarının sattıkları ürünler seçilmiştir. Yoğun bir yolcu trafiğine sahip bu firmaların bu büyük verileri üzerinden birliktelik kuralları ile çeşitli analizler yapılmıştır. Analizden elde edilen bilgilerle satış noktalarındaki kampanyaların yeniden düzenlenmesi, ürünlerin reyon ve raflardaki yerleşiminin tekrar düzenlenmesi ve bu sayede kârlılığın en üst düzeye çıkarılması amaçlanmıştır. Ayrıca çalışmamızda birliktelik kuralları ile farklı bilgilerin elde edilmesi, şirketin satış stratejisinin yeniden düzenlemesi ve bakış açısının değiştirilmesi amaçlanmıştır.
Varlık yönetimi şirketinde sınıflandırma yöntemiyle borç geri ödeme eğilimi analizi
Varlık Yönetimi şirketleri, bankalardan ihaleyle beraber tahsilatı gecikmiş alacakları devir aldıktan sonra yeniden yapılandırarak tahsil etmeye çalışan şirketlerdir. Bu araştırmada, varlık yönetimi şirketi olarak, borçlunun demografik niteliklerinin (cinsiyet, maaş, yaş, doğum yeri gibi), merkez bankası riski, yapılan tahsilat, bakiye ve profesyonel şirket tarafından oluşturulmuş lokasyonlara göre verilmiş skorlarla birlikte borcun geri ödeme eğilimi analizini tespit etmek amaçlanmıştır. Araştırmada, farklı kategorilerdeki borçluların geri ödeme eğilimleri veri madenciliği sınıflandırma tekniklerinden C4.5 ve Naive Bayes ile incelenmiş, elde edilen bulgular karşılaştırılmıştır. Borçluların yer aldıkları kategoriler ve borçlu niteliklerin geri ödeme eğilimlerindeki önemi tespit edilmiş böylece Varlık Yönetim şirketlerinin ileriye dönük eylem planı oluşturmasına yardımcı olması hedeflenmiştir.
Biyometrik kimlik tanımlama sistem tasarımı
Dünyada kimlik tanımlama açısından en geniş kabul ile en büyük kullanım oranına sahip biyometrik özelliklerden biri olan parmak izi tanımlama ve doğrulama sistemlerinin yüksek doğruluk sağlaması büyük önem arz etmektedir. Parmak izi tanıma sistemleri kriminal sistemlerden, devlet dairelerine, laboratuvarlardan ve sınır geçişlerine kadar kimlik tanımlamanın gerekli olduğu hemen her yerde diğer biyometrik özellik tanıma sistemlerinden daha yaygın olarak kullanılmaktadır. Bu nedenle parmak izi tanıma sisteminin sahte ve gerçek parmak izinin ayrımını gerçekleştirmede hızlı ve güvenilir olması, daha yüksek hassasiyet sağlaması gerekmektedir. Bu çalışmada, lateks, ahşap tutkalı, jelatin ve silikon türevlerinden üretilmiş sahte parmak izleri, gerçek parmak izleri karşılaştırılarak sistemin elde ettiği sonuçlara ait performans metrikleri değerlendirilmişve bulunan sonuçlar diğer sistemler ile karşılaştırılmıştır. Sahte ve gerçek parmak izini karşılaştırması için uygun makine öğrenmesi yöntemleri LivDet2015 verisetinde bulunan sahte ve gerçek parmak izleri üzerinde çalıştırılmışve elde edilen sonuçlar kıyaslanarak tartışılmıştır.
Atama problemi için sürü zekâsı tabanlı en iyileştirme yöntemlerinin uyarlanması ve başarım değerlendirmesi
Görev atama, hesaplama sistemlerinin yeteneklerinden etkin bir şekilde yararlanmanın temel adımlarından biridir. Ayrıca etkin bir görev atama, başarılı bir görev yönetimini sağlar. Böylece en büyük maliyet kayıplarından olan kaynak maliyeti azaltılır. Bu çalışmada, bu sorunun çözümünde kullanılan meta sezgisel algoritmalardan sürü zekâsı algoritmaları kullanılmıştır. Sürü zekâsı algoritmalarından arı ve parçacık kolonisi optimizasyon algoritmalarının görev atama sorunu üzerindeki çözümlerinin performansı karşılaştırılmıştır. Çeşitli boyutta ve zorlukta veri setleri seçilmiş ve arı ve parçacık kolonisi ile optimize edilmiştir. Sonuç olarak, hangi optimizasyon yönteminin veri setine göre daha iyi çalıştığı yorumlanmıştır
Makine öğrenimi yöntemleri ile ağ trafiğinin anomali tabanlı analizi
Teknoloji ve internet, günlük yaşantımızın vazgeçilmez bir parçası haline gelmesiyle birlikte internete erişim birçok sektör için hayati bir öneme sahip olmasına neden olmuştur. Bu durum aynı zamanda siber saldırıların sayısını ve etkisini artırmış sistemlerin saldırılardan korunması, üzerinde düşünülmesi gereken bir konu haline getirmiştir. Siber güvenlik, ülkelerin savunma stratejilerinde yeni bir önemli unsur olarak kabul edilmeye başlanmış ve pek çok ülke, kamu ve özel sektör, siber savunma alanında önemli adımlar atmış ve atmaya devam etmektedir. Bilgisayar ağları üzerinde meydana gelen saldırılardan korunmak ve mümkün olduğunca engellemek için, Saldırı Tespit Sistemlerinin kullanılması verilerin güvenlik altına alınmasında en önemli konulardan biri olduğu değerlendirilmiştir. Bu kapsamda, tez çalışmasında saldırı tespit sistemleri üzerine yapılmış çalışmalar titizlikle incelenmiş ve UNSW-NB15 veri seti kullanılarak Lojistik regresyon, K-en yakın komşu algoritması, Destek Vektör Makineleri, Naive Bayes, Karar Ağacı ve Rastgele Orman Algoritması gibi makine öğrenimi yöntemleri eğitim ve test aşamalarına tabi tutulmuştur. Eğitim aşamasında kullanılan makine öğrenimi yöntemlerine normal ağ trafiği öğretilmiş ve bu bilgilerle bir referans model oluşturulmuştur. Test aşamasında ise, oluşturulan model ağ trafiğini izleyerek anormal aktiviteleri tespit etmeye çalışır. Eğer sistem, belirlenen normal davranıştan sapmalar tespit ederse, potansiyel bir saldırı veya tehdit olduğunu değerlendirir. Son olarak algoritmaların anomali trafiğin tespit edilmesindeki başarı oranları, karışıklık matrisi kullanılarak değerlendirilmiştir.
Makine öğrenmesi yöntemleri ile web isteklerinde anomali tespiti
Bir websitesinin en önemli önceliklerinden biri kesintisiz olarak hizmet sağlamasıdır. Yoğun kullanıcı trafiğinin yanı sıra kötü niyetli saldırılar da sistem kaynaklarının yetersiz kalmasına ve hizmetin kesilmesine sebep olabilmektedir. Hizmetin kesilmesi, web sitesi için hem maddi kayıp hem de itibar kaybına neden olacaktır. Bunun yanı sıra insanlar üzerinde psikolojik etkileri dahi olduğu düşünülmektedir. Günümüzde, ülkemizde ve dünyada bu tarz kesintiler ve etkileriyle ilgili haberlere bolca örnek verilebilir. Bundan dolayı anomali tespiti ile ilgili geliştirmelere büyük bir ilgi vardır. Bu tarz hizmet kesintileri büyük şirketler için milyarlarca dolar kaybı, küçük şirketler için belki de piyasadan silinme tehlikesi içerir. Ek olarak; çok yoğun trafik alan herhangi bir web sitesi (sosyal medya devleri) kesintiye uğradığında, bu site için normal olan trafiğin büyük bir kısmı başka bir web sitesine yığılmakta ve bu da bir anomali oluşturmaktadır. Bu durum da, aslında bir saldırı olmayıp, dengelerin bozulması kaynaklı bir anomali oluşturur. Dengeler bozulduğunda, anomalilerin saptanması ve önlem alınması da zorlaşacaktır. Bu sebeplerle, bu çalışmanın günümüzdeki internet kullanımının boyutu ve önemi düşünüldüğünde, tüm alanlarda büyük yarar sağlayabileceği aşikardır. Bu tezin amacı, kullanıcı trafiğindeki anormal olan isteklerin tespit edilmesi ve hızlı bir şekilde engellenmesini sağlamaktır. Bunun temelinde, normal olan web istekleriyle, anormal olan web isteklerinin ayrıştırılması (isteklerin sınıflandırılması) yer almaktadır. Anormallik durumu belirli bir zaman aralığında (son 1 saat, son 6 saat gibi) yapılan isteklerin tümüne bakılarak hesaplanmıştır. Anlık ya da çok kısa sürede tespit edilen anormal trafik engellenerek, web sitesinin hizmet devamlılığı ya da çok kısa süreli kesinti sağlanabilecektir. Popüler makine öğrenmesi yöntemleri (yapay sinir ağı, desteklenmiş karar ağacı, Naive Bayes sınıflandırıcı, lojistik regresyon sınıflandırıcı, destek vektör makinesi, otomatik kodlayıcı) kullanılmuş ve karşılaştırmaları yapılmıştır. Çalışmanın temelinde, belirli bir zaman aralığındaki ziyaretlerin, belirli metriklerden faydalanarak, sınıflandırılmasını sağlamak yatmaktadır. Örneğin, ortalama bir isteğin işlem süresi 100 milisaniye ise, 500 milisaniyelik bir istek anomali oluşturabilir. Bu ve buna benzer birçok metrik kullanılarak, istek yapan IP adresinin normal davranıştan vektörel olarak ne kadar uzakta olduğu hesaplanacak ve eşik düzey aşılmışsa bunun bir anomali olduğuna karar verilmiştir. Yapılan karşılaştırmalar, doğruluk yüzdeleri, F1 skorları ve çalışma zamanı üzerinden olmuştur. Gerçek bir websitesine ait, IP adresi bazında isteklerden oluşan, belirli bir tarih aralığındaki oluşturulan veri üzerinde denemeler yapılmıştır. Ham olan bu veri öncelikle işlenecek ve makine öğrenmesi metodlarından birine başlamadan önce hazır hale getirilmiştir. Ham veri tarih bazlı ve istek özelinde satırlardan oluşmaktadır. Hazırlanmış veri ise IP adresi bazlı olup, o IP adresinin belirli zaman aralığında; saniyede kaç istekte bulunduğu, isteklerin ortalama kaç milisaniye sürdüğü, isteklerin boyutu gibi parametrelerden oluşmaktadır. Ayrıca bu veri gerçek bir saldırı durumu da içermektedir ve bunun hangi IP adresleri tarafından yapıldığı bilinmektedir. Yapılacak çalışmanın denemelerinde, gerçek anomali durumları, sonucun doğruluğunu güçlendirmiştir. Aynı zamanda makine öğrenmesine de destek olmuştur. Veri üzerinde çalışmak üzere en uygun programa dillerinden biri olan Python ile geliştirmeler yapılmıştır. Python programlama dilinin en güncel ve stabil versiyonlarından biri olan 3.7 versiyonu kullanılmıştır. Ayrıca veri işleme, makine öğrenmesi metodlarının algoritmaları ve veri görselleştirme işlemleri için dünyada en çok kullanılan "numpy", "sklearn" ve "tensorflow" kütüphanelerinden yararlanılmıştır. Her bir makine öğrenmesi, metodu aynı veri ile çalışan, ayrı birer proje şeklinde hazırlanacaktır. Böylece metodların birbiriyle kıyaslanması, verimliliğin daha doğru bir şekilde ölçülmesi hedeflenmiştir. Bu çalışmanın sonucunda, birçok web sitesinin ve sağlayıcılarının kullanabileceği, web sitesinin ve trafiğin türünden bağımsız olarak çalışabilen bir uygulama oluşturulmaktadır. Bu sayede web siteleri maddi kayıplardan ve itibar kaybından korunarak, müşterilerine kesintisiz hizmet sağlayabileceklerdir.