Makine öğrenmesi yöntemleri
Bu konu başlığı altında 204 tez
Hastalık salgınlarının internet erişim ve arama verisi kullanılarak tahmini
Hastalıkların hangi nedenden dolayı ortaya çıktığı ve önceden tahmin edilmesi insan sağlığı için çok önemli bir konudur. Son yıllarda teknolojinın hızla gelişmesi ve internetin yoğun biçimde kullanılmasıyla ortaya büyük miktarda veri çıkmıştır. Bu verilerden mantıklı sonuçlar çıkarmaya çalışan veri bilimciler, insanların hastalıklarla alakalı internet ortamına bıraktıkları izlerle, hastane verileri arasında ilişki aramaya başlamışlardır. Yapılan çalışma sonuçları göstermiştir ki insanların internet aramaları ile hastaneye gitmeleri arasında önemli bir ilişki mevcuttur. Tespit edilen bu ilişki kullanılarak, çeşitli hastalık salgınları tahmin edilmeye başlanmıştır. Bu tezde temel olarak iki amaç ortaya konmuştur. Birincisi, internet arama ve erişim sıklığı verisi ile hastalık salgınlarını tahmin etmektir. İkinci amaç ise semptom olarak benzerlik gösteren hastalıkların birbiri arasındaki ilişkini saptamak ve bu ilişkinin hastalık salgınları tahmin etmekte önemi olup olmadığını incelemektir. Yapılan ilk çalışmada Vikipedi, Google Flu Trends ve bu veri kümelerinin birleşimiyle oluşturulan modeller ile Amerika Birleşik Devletleri'ndeki grip hastalığı salgını tahmin etmeye çalışılmıştır. Elde edilen sonuçlara göre grip hastalığı salgınını tahmin etmede gayet başarılı modeller oluşturulmuştur. İlk çalışmadan alınan umut verici skorlar sayesinde ikinci çalışmada ilk çalışma genişletilmiştir. Gerçekleştirilen ikinci çalışmada ise Vikipedi ve Google Flu Trends servislerinin yanı sıra Google Trends servisinden de yararlanılmıştır. Ayrıca bu çalışmada, sadece grip hastalığı için değil, grip hastalığı ile semptom olarak benzer olabileceği düşünülen başka hastalık salgınları da tahmin edilmeye çalışılmıştır. Bu çalışmadaki bir diğer amaç ise, çoklu-iş öğrenme yönteminden faydalanarak benzer hastalıklara ait veri kümelerinin beraber kullanılmasının hastalık salgınlarını tahmin etmedeki etkisini gözlemlemek olmuştur. Elde edilen sonuçlar ise önerilen yöntemlerin başarılı ve tutarlı olduğunu ortaya koymaktadır.
Veri madenciliği tekniklerini kullanarak sosyal ağ tabanlı sınıflandırıcı geliştirilmesi
AIDS HIV'in sebep olduğu ölümcül bir hastalıktır. Bağışıklık sistemine saldıran bu hastalık beyaz kan hücreleri üstünde çoğalarak bütün vücuda yayılmaktadır. Hastalığın yaşam döngüsünde HIV-1 protaz enzimi tarafından kırılan amino asit sekizlileri virüs tarafından kendi proteinlerini oluşturmakta kullanılmaktadır. Bu doğrultuda hangi sekizlilerin virüs tarafından kırılabileceğini tahmin etmek yenilikçi ve başarılı ilaçlar geliştirilmesi açısından önem arz etmektedir. Bu çalışmada farklı alanlarda da uygulanabilecek yenilikçi bir sınıflandırıcı önerilmektedir. Bu sınıflandırıcı veri madenciliği tekniklerini kullanarak oluşturulan bir sosyal ağ üzerinde analizler yaparak yeni örneklerin sınıflarını tahmin etmekte kullanılmaktadır. İki ana kısımdan oluşan çalışmamızda ilk olarak sık öğe kümelerinin öznitelik olarak değerlendirilme süreci anlatılmış, ikinci kısımda ise bu öznitelikleri kullanan sınıflandırıcıyı geliştirirken kullandığımız yaklaşım ve sınıflandırıcının çalışma mekaniği açıklanmıştır. Sonuçlarımız literatürde önerilen yöntem ve diğer makine öğrenme yöntemleri ile karşılaştırılmıştır ve bu sonuçlar ümit vericidir.
Bağlı veri kaynakları ve ilişkileri kullanılarak haberlerin öbeklendirilmesi
Metin veya doküman öbeklendirilmesi, aynı konuyla ilgili olan metin belgelerinin belirlenerek gruplandırılması işlemidir. Bu işlem, metin belgelerinin sayısının artmaya devam ettiği sürekli büyüyen Web için özellikle önemlidir. Haber öbeklendirilmesi bu alanda, haber belgelerinin konu bazında sınıflandırılmasının hedeflendiği özel bir konudur. Bu probleme ilişkin daha önce geliştirilmiş çözümler, belgelerin içlerinde geçen kelimelerle ve bu kelimelerin sıklıklarıyla temsil edildiği ``sözcük çantası'' yaklaşımını kullanmıştır ve öbeklendirme işlemi belgelerin bu gösterimi kullanılarak ölçülen benzerlikler kullanılarak yapılmıştır. Bununla birlikte, bu yaklaşım sözcüklerin anlamını veya önemini dikkate almaz ve sözcüklerdeki muğlaklık çözümlenmez. Bu çalışmada doküman veya haber öbeklendirilmesi konusunda ``bağlı veri'' kullanan yeni bir yaklaşım geliştirilmiştir. Bu yaklaşımda haber belgelerindeki sözcükler ve cümleler, DBpedia gibi bağlı veri bilgi tabanlarındaki gerçek dünya karşılıklarına eşlenir ve belgeler sahip oldukları bağlı veri varlıklarıyla temsil edilmektedir. Daha sonra haberler bu varlıklar ve bu varlıkların kategori hiyerarşisi benzerlikleri kullanılarak öbeklendirilmektedir. Değerlendirme sonuçları, geliştirilen yaklaşımın kelime çantasına göre daha iyi sonuç verdiğini göstermektedir.
Topluluk yöntemi ve ilaç imzaları kullanılarak anti kanser ilaçların aktivite tahmini
Kişiselleştirilmiş kanser tedavisi, kanserin karmaşıklığı da göz önünde bulundurulduğunda, gelişmekte olan bir yaklaşımdır. Kişiselleştirilmiş tedavinin bir parçası olarak, bir ilacın bir hücre hattındaki etkinliği labarotuvar ortamında ölçülür. Ancak, bu deneylerin yapılması çok zordur ve önemli bir maddi kaynak gerektirir. Bu zorlukların üstesinden gelmek için hesaplayıcı yöntemler, sağlanan veri kümeleri ile birlikte bilgisayar ortamında kullanılır. Bu çalışmada aktivite tahmini problemi bir regresyon problemi olarak ele alınmıştır ve öncelikle her bir ilaç-hücre hattı çiftinin tahmin hatasının azaltılması için üç farklı regresyon modeli birleştirilerek bir topluluk modeli tasarlanmıştır. Temel modeller; gradyan destekli regresyon, çekirdekli bayes çoklu-iş öğrenme ve iz-norm regülarizasyonlu çoklu-iş öğrenme olarak tanımlanmıştır. Oluşturulan modeli değerlendirmek için iki büyük veri kümesi, genomics of drug sensitivity in cancer ve cancer therapeutics response portal, kullanılmıştır. Bu değerlendirmenin sonuçları, topluluk yönteminin tahminlerinin temel modellerin her birinin tek başlarına yaptıkları tahminlerden önemli ölçüde daha iyi olduğunu göstermektedir. Bunun sonucunda orijinal veri kümelerinde görülmeyen ilaç-hücre hattı çiftleri için oluşturulan modelin sitotoksisite tahminleri rapor edilmiştir. Araştırmacılar tarafından yapılan canlı içi (in vivo) laboratuvar çalışmaları da, rapor sonuçlarını desteklemektedir. İlaç aktivitelerini tahmin etmesi için oluşturulan bir diğer model de imza benzerlik tabanlı regülarizasyonlu çoklu-iş öğrenme modelidir. Bu modelin oluşturulması için öncelikle LINCS veri kümesinde bulunan ilaç-hücre hattı deneyleri incelenerek ilaçlar için aktivite imzaları oluşturulmuştur. Oluşturulan bu ilaç imzaları ile ilaçların arasındaki benzerlikler hesaplanarak, ilaçların benzerliklerini gözardı eden modellerden daha güçlü bir tahmin edici model üretilmiştir. Bu model yine genomics of drug sensitivity in cancer ve cancer therapeutics response portal veri kümeleri kullanılarak değerlendirilmiştir ve her iki veri kümesinde de karşılaştırılan modellere göre belirgin bir üstünlük sağlandığı gözlenmiştir.
Gömülü sistem üzerinde evrişimsel sinir ağları ile nesne sınıflandırılması
Derin sinir ağları görüntü sınıflandırma üzerinde başarılı bir şekilde uygulanmak- tadır. Görüntüde tespit edilen nesnelerin ne olduğunu anlanması büyük bir ilgi görmektedir. Derin sinir ağlarının gömülü sistemler üzerinde kullanılması oldukça fazla hafıza ve güçlü işlemci teknolojileri gerektirmektedir. Bu tezin amacı gömülü bir sistem üzerinde görüntü sınıflandırma işleminin ne kadar başarılı bir şekilde yapıldığını gözlemlemektir. Bu çalışmada sadece 3 GB hafıza kullanarak geliştiri- len mimari ile %85.9 oranında doğruluk elde edilmiştir. Önerilen mimari 4 saat içerisinde eğitilerek, 0.7 ms içersinde sınıflandırma sonucunu üretmektedir.
Finansal bilgi manipülasyonunun denetimli makina öğrenmesi yöntemleri kullanılarak tahmin edilmesi: Destek vektör makinesi, olasılıksal sinir ağı, k-en yakın komşu ve karar ağacı kullanımı
Bu tez kapsamında finansal tablolardaki bilgilerin çarpıtılması olarak tanımlanabilecek finansal bilgi manipülasyonunu tahmin etmek için denetimli makina öğrenmesi yöntemleri kullanılmıştır. Geleneksel tahmin algoritmalarına göre daha yüksek performans gösteren destek vektör makinesi (SVM), olasılıksal sinir ağı (PNN), k-en yakın komşu (KNN) ve karar ağacı (DT) algoritmalarından yararlanılmıştır. Sermaye Piyasası Kurumundan elde edilen verilere ayrı ayrı tüm algoritmalarda uygulanarak daha önce benzer çalışmalarda başarısını kanıtlamış destek vektör makinesi ve olasılıksal sinir ağı yöntemlerinin güncel olarak kullanılan k-en yakın komşu ve karar ağacı algoritmalarıyla karşılaştırılmalı analizi yapılmıştır. Böylece finansal bilgi manipülasyonunda hangi algoritmaların daha iyi performans gösterdiği kullanılan yöntemlerin sınıflandırma performansı özgünlük, duyarlılık ve toplam sınıflandırma doğruluğu istatistiklerine bakılarak tespit edilmiştir. Yapılan çalışmalar sonucunda SVM ve PNN'in üstün performans gösterdiği görülmüştür. Bu nedenle, bu algoritmaların manipülasyonları otomatik olarak tespit etmek için kullanılabileceği söylenebilir.
Makine öğrenmesi kullanarak windows olay kayıtları ile dinamik davranış analizi
Teknolojik gelişmelerin hız kazanmasıyla birlikte siber saldırılar ve zararlı yazılım tehditleri giderek karmaşıklaşmakta ve daha tehlikeli hale gelmektedir. Bu durum, bilgi güvenliği alanında yenilikçi yaklaşımların ve etkili çözümlerin geliştirilmesi gerekliliğini ortaya koymaktadır. Bu tez çalışması, zararlı yazılım analizinde dinamik yöntemlerin etkinliğini artırmayı amaçlayarak, özellikle Windows işletim sistemine ait olay kayıt verilerinin detaylı incelenmesine odaklanmaktadır. Çalışmanın temel hedefi, izole edilmiş sanal ortamlarda zararlı ve zararsız yazılımların çalışma anında oluşturdukları işletim sistemi kayıt verilerinden anlamlı öznitelikler çıkarıp, makine öğrenmesi teknikleri kullanılarak zararlı yazılım tespitine yönelik yenilikçi bir yaklaşım geliştirmektir. Bu amaç doğrultusunda, hem manuel hem de çevrimiçi doğrulama süreçleriyle zararlı veya zararsız olduğu belirlenen çalıştırılabilir dosyalar titizlikle toplanmıştır. Kontrollü sanal makine ortamlarında gerçekleştirilen deneysel uygulamalar sonucunda elde edilen veriler, öncelikle sayısal, bağlamsal, zaman tabanlı ve istatistiksel öznitelikler olarak sınıflandırılmıştır. Bu verilerden hangilerinin kullanılabilir olacağı belirlenirken, bazıları özellik mühendisliği teknikleriyle daha işlevsel hale getirilmiş ve model performansını artıracak kritik göstergeler oluşturulmuştur. İlgili öznitelikler, Gradient Boosting, Logistic Regression ve Destek Vektör Makineleri gibi çeşitli sınıflandırma algoritmaları kullanılarak işlenmiş; elde edilen modellerin performansı ise K-Fold çapraz doğrulama yöntemi ile titizlikle değerlendirilmiştir. Uygulanan veri normalizasyonu ve özellik mühendisliği teknikleri, modellerin genel doğruluğunu artırırken, zararlı ile zararsız yazılımlar arasındaki ayrımı daha net ortaya koymuştur. Bu kapsamlı analiz, dinamik analiz temelli yaklaşımların, geleneksel statik yöntemlere kıyasla daha yüksek doğruluk oranları ve düşük yanılma payları sağladığını göstermiştir. Ayrıca, bu çalışma literatürde sınırlı yer alan dinamik analiz yaklaşımlarına önemli katkılar sunmayı hedeflemektedir. Farklı veri setleri üzerinde gerçekleştirilen kapsamlı deneyler sonucunda, geliştirilen metodolojinin siber saldırılara karşı proaktif bir yaklaşım sağlayabileceği ortaya konulmuştur. Dinamik davranış analizi, hem eski hem de yeni zararlı yazılımların tespitinde geniş zaman aralıklarında etkili sonuçlar vermekte, böylece siber güvenlik stratejilerinin geliştirilmesinde kritik bir rol oynamaktadır. Sonuç olarak, bu tez çalışması, zararlı yazılım tespiti ve önlenmesinde dinamik analiz yöntemlerinin uygulanabilirliğini ve etkinliğini ortaya koyarak, siber güvenlik alanında yeni ufuklar açmaktadır.
İşletmelerin aktif ve özkaynak kârlılığının makine öğrenmesi ile modellenmesi: BIST gıda ve içecek endeksi üzerine bir uygulama
Çalışma, BIST Gıda ve İçecek Endeksi'ndeki 17 firmanın 2000–2023 dönemine ait verileriyle aktif kârlılık ve özkaynak kârlılığının makine öğrenmesi yaklaşımlarıyla modellenmesi ve öngörülmesini amaçlamaktadır. Muhasebe bilgi sistemlerinden türetilen likidite, mali yapı, faaliyet ve büyüme oranları bağımsız değişken; ROA ve ROE ise bağımlı değişken olarak her bir şirket için ayrı ayrı modellenmiştir. Yapay Sinir Ağları, Destek Vektör Regresyonu ve Rastgele Ormanlar kullanılarak kurulan tahmin modelleri karşılaştırılmış, en yüksek doğruluğun çalışmada analizi yapılan şirketler için Yapay Sinir Ağları algoritmasında elde edildiği saptanmıştır. Değişken seçimi için uygulanan korelasyon tabanlı yöntem, kârlılığı belirleyen oranları ayırt ederek modellerin hem doğruluğunu hem de yorumlanabilirliğini güçlendirmiştir. Bulgular, firma düzeyinde esnek ve uygulanabilir tahmin çerçeveleri sunarak muhasebe bilgi sistemlerinin raporlamanın ötesinde karar destek ve ileri analiz işlevlerini pekiştirmektedir. Böylece işletmelerin veri odaklı, daha güvenilir finansal stratejiler geliştirmesine katkı sağlanmaktadır. Çalışma aynı zamanda literatüre özgün bulgular sunarak sektörel ölçekte karar destek sistemlerinin tasarımına zemin oluşturmaktadır.
Derin öğrenme yöntemleri ile el bilek grafisinden kemik yaşının tahmini
Yaş tespiti medikal alanda, çocukluk çağında, büyüme ve gelişmenin takibinde, çocuklarda büyümeyi ve gelişmeyi etkileyen çeşitli hastalık durumlarında, adli tıpta, yaşa göre cezai sorumluluk durumlarında, evlilik, askere alınma, rekabetçi sporlarda ve işe başlama durumlarında, mültecilerde, çocuk erişkin ayrımında bulunmak gibi birçok farklı konuda istenebilmektedir. Bu tez çalışması ile pediatrik kemik yaşı tahmini için radyologların iş akışını hızlandıracak, sol el bilek grafilerinden derin öğrenme teknolojisi kullanılarak bilgisayar temelli bir karar destek sistemi geliştirilmiştir. Bu çalışmada kullanılan veri setleri Kütahya ilinden temin edilen görüntülerden ve literatürde public olarak dağıtılan RSNA veri setinden oluşmaktadır. Veri seti Kütahya sağlık bilimleri üniversitesi rektörlüğün'den etik kurul izni ile alınmıştır. Çalışmada 18 yaş üstü ve 18 yaş altı şeklinde iki farklı senaryo için denemeler gerçekleştirilmiştir. 18 yaş altı için yapılan çalışmada derin öğrenme metotlarından IncepitonV3, MobileNetV2, EfficientNetB4 ve modifiye edilmiş IncepitonV3 modellerinin performansları karşılaştırılmıştır. 18 yaş altı sonuçlara bakıldığında veri setimiz üzerinde modifiye edilmiş IncepitonV3 transfer derin öğrenme yöntemi ile MAE=4,3, RMSE=5,76, R2=0,99 olarak bulunmuştur. Önerilen InceptionV3 transfer öğrenme modeli ile public olarak dağıtılan veri seti üzerinde MAE=5.75, RMSE=7.42 ve R2=0.96 olarak tespit edilmiş olup literatürde bu veri seti üzerinde yapılan çalışmalar arasında ki en iyi sonuçlardan biri elde edilmiştir. Bu çalışma ile modellerin cinsiyetlere ve yaş gruplarına göre farklılıkları ölçülmüştür. Ayrıca bu çalışma Türkiye'den toplanan el bilek grafi veri seti ile yapılan ilk derin öğrenme çalışmalarından biridir. Bu çalışma el bilek grafilerinden kemik yaşı tespitinde kullanılmak üzere yeni bir veri seti oluşturulmuş olup, yeni bir model tavsiye edilmiştir. Bu çalışmada yapılan diğer bir çalışma ise 18 yaş üstündeki bireylerin el bilek görüntülerinden kemik yaşının tespitine yönelik olarak yapılmıştır. Literatürde 18 yaş üstündeki bireylerin sol el bilek grafilerinden erişkin bireylerde yaş tespitinin derin öğrenme yöntemleri ile yapıldığına dair herhangi bir araştırmaya rastlanmamıştır. Bu çalışma ile 18 yaş üzeri bireylerde yaş tespiti derin öğrenme yöntemleri (DenseNet201, InceptionV3, ResNet50V2) ile yapılmıştır. Tarafımızca oluşturulan veri setinin kullanılması ile erkeklerde MAE=1,666, RMSE=2,665, R2=97,32 ve kadınlarda MAE=2,044, RMSE=3,069, R2=96,84 performans sonuçları gözlenmiştir. Bu çalışmada kullanılan yöntem ve bulunan sonuçlar bu alanda yapılan ilk çalışmadır. Bu sonuçlar ışığında bu çalışmada kullanılan metot bize derin öğrenme metotlarının 18 yaş üstü bireylerde kemik yaşı tespitinde yardımcı bir araç olarak kullanılabileceğini göstermiştir
EKG sinyallerinden konjestif kalp yetmezliği ve aritmi teşhisi için yeni bir yaklaşım: İ-1B-YİÖ+LSTM
Vücudun en hassas organlarından biri olan kalp, yaşamın sürdürülmesinde en hayati role sahip organlardandır. Elektrokardiyografi, kalp kaslarının kasılma ve gevşemesiyle oluşan elektriksel aktiviteyi ölçen ve kaydeden bir tanı yöntemidir. Kalpteki elektriksel aktivitelerin genliklerinin zaman düzleminde kaydedilmesiyle elektrokardiyogram (EKG) sinyalleri elde edilir. EKG sinyalleri, genellikle ritim bozukluğu gibi hastalıkların teşhisi için kullanılmaktadır. Bu çalışmada EKG sinyallerinden Konjestif Kalp Yetmezliği (KKY) ve Aritmi (ARR) teşhisi için, İndirgenmiş Bir Boyutlu Yerel İkili Örüntüler (İ-1B-YİÖ) ve Uzun Kısa Zamanlı Bellek Ağı (LSTM) tabanlı yeni bir yaklaşım önerilmiştir. EKG sinyalleri için İ-1B-YİÖ denilen dönüşüm yöntemi önerilmiştir. Bu yöntem tek boyutlu sinyallerin üzerindeki her bir değerin kendi komşuları ile oluşturdukları büyüklük-küçüklük bilgisini kullanır. Bu yöntem ile elde edilen indirgenmiş sinyal gruplarından hesaplanan 1B yerel ikili örüntülere ait histogramlar birleştirilerek LSTM modeline giriş olarak verilmektedir. Hem tek yönlü hem de çift yönlü İ-1B-YİÖ dönüşümü uygulanan EKG sinyallerine LSTM uygulanmıştır Önerilen yaklaşımı test etmek için; KKY, ARR ve Normal Sinüs Ritmi (NSR) olmak üzere 3 farklı durum bilgisi içeren toplam 972 EKG sinyali kullanılmıştır. Sinyaller MIT-BIH ve BIDMC veri bankalarından alınmıştır. Farklı senaryolarda denemeler gerçekleştirilmiştir. Elde edilen başarı oranları literatürdeki diğer çalışmalarla karşılaştırıldığında önerilen yaklaşım ile kabul edilebilir yüksek sonuçların elde edildiği görülmektedir. Elde edilen EKG tanı performans değerleri %96,80 ile %99,79 arasında değişim göstermiştir. Önerilen hastalık teşhis sisteminin, farklı medikal sinyallere de uygulanabileceği düşünülmektedir.
EEG verileri ile derin öğrenme tabanlı epilepsi nöbeti teşhisi
Canlıların vücudunun düzenli bir şekilde işlemesini ve hayatını devam ettirmesi için gereken işleri yerine getirmesinin kontrolünü sağlayan temel organ beyindir. Bu açıdan düşünüldüğünde beynin insan hayatı için de hayati bir öneme sahip olduğu ve bu organ üzerinde meydana gelecek aksaklıkların direkt olarak vücudu etkileyeceği aşikardır. Elektroensefalografi (EGG) beyinde meydana gelen aksaklıkların tespit edilmesini sağlayan bir araç niteliğindedir ve beyinde gerçekleşen elektriksel aktivitenin sonucunda elde edilen bir sinyal türüdür. EEG sinyallerinin nörolojik hastalıklarının birçoğuna özel bilgiler taşıması da araştırmacıları bu sinyalleri incelemeye itmiştir. Beyinde meydana gelen ve EEG sinyallerinden faydalanılarak tespiti gerçekleştirilen hastalıklardan biri de gün geçtikçe görülme oranı artan ve kısıtlı imkanlar sebebiyle ölüm veya kalıcı hasarla sonuçlanabilen epilepsi hastalığıdır. Bu imkansızlıklardan doğan tehlikelerin varlığı araştırmacıları maliyeti düşük asistan sistemler önermeye sürüklemiştir. Bu çalışma kapsamında bizler de epilepsi hastalığının bu yayılışına istinaden uzmanların çevresel faktörlerden kaynaklı olarak yapabilecekleri hataları azaltmak ve bu hataların doğurabileceği telafisi zor olan veya olmayan hataların önüne geçilmesi adına bir asistan fikir oluşturmayı amaçladık. Bu doğrultuda iki farklı veri setiyle çalışmamızı gerçekleştirerek sağlıklı ve epilepsi hastalığına sahip insanların verilerini analiz edip bu analizler sonucunda deneklerin bulunduğu hallerin tespitini gerçekleştirmeyi amaçladık. Edindiğimiz bu amaç doğrultusunda The Hauz Khas veri setini ve literatürde sıklıkla kullanılan Bonn Epilepsi veri setini derin öğrenme yöntemlerinden Resnet-50, Resnet-101, AlexNet, GoogleNet ve VGG-19 yaklaşımlarını veri setlerine uygulayarak sınıflandırdık. Ancak verileri ham bir şekilde almaktansa sınıflandırma işlemine daha keskin sınırlarla tabi tutmak adına Kısa Zamanlı Fourier Dönüşümü (Short Time Fourier Transform, STFT) ve Sürekli Dalgacık Dönüşümü (Continous Wavelet Transform, CWT) yöntemlerini uygulayarak sınıflandırma doğruluğunu dolayısıyla da yöntemin kabul edilebilirliğini artırmaya çalıştık. Yapılan çalışma nihayetinde özellik çıkarım yöntemi olarak CWT kullanımının sonucunda The Hauz Khas veri seti üzerindeki preiktal ve iktal anlarını tüm sınıflandırıcılarla %100 oranında sınıflandırmayı başardık. Ayrıca Bonn veri setinin ikili sınıflandırmalarında da CWT özellik çıkarım yönteminden faydalanarak tüm sınıflandırıcılarla %100 başarı oranına ulaşırken
Sporcu performansını sınıflandırmada temel normalizasyon, makine öğrenme ve çok kriterli karar verme yöntemlerinin karşılaştırılması
Araştırmanın konusu sporcu seçimi, sınıflandırma ve sıralama kapsamında elde edilen verilerin analizinde ekonomik aynı zamanda güvenilirliği yüksek farklı analiz ve değerlendirme yöntemlerinin kullanımıdır. Çalışma kapsamında elde edilen sonuçlar doğrultusunda spor biliminde sporcu seçimi, sınıflama ve sıralamada norm oluşturma konusunda yeni bir yaklaşım ortaya koymaktır. Branşlara göre test edilen değişkenlerin önem ağırlıkları kapsam dahilindedir. Bu çalışmanın amacı, spor biliminde sporcu seçimi, sınıflandırma ve sıralama sürecinde kullanılan Temel Normalizasyon yöntemlerine ek olarak ÇKKV ve veri madenciliğinde Makine Öğrenme yöntemlerinin kullanılması amaçlanmaktadır. Araştırma grubu ilgili kurumdan ölçümleri yapılmış olan elit düzeydeki sporculardan oluşmaktadır. Çalışmada kuvvet, çeviklik, kas sertliği, görsel reaksiyon, anaerobik güç, aerobik dayanıklılık ve denge testlerine ait veriler kullanıldı. Değişkenlerin önem ağırlıklarını belirlemek için entropi yöntemi kullanıldı. Birinci aşamada, branşların Temel Normalizasyon, ÇKKV ve makine öğrenme yöntemleri ile hesaplanan puanlarının Z-skoru yöntemine göre spearman sıra korelasyonu ve yöntemlerin sınıflandırma başarısı için ROC analizleri yapıldı. İkinci aşamada, yöntemlere göre sıralanan veriler beş sınıfa ayrıldı. Sınıflandırılan yöntemler, makine öğrenmede sınıflandırma algoritmaları ile modellerin doğruluk analizleri yapıldı. Araştırmada ek olarak farklı spor branşlarının sınıflandırma analizinde kullanılan performans özelliklerine ait önem ağırlıklarının belirlendi. Veri analizinde Microsoft Excel, IBM SPSS 26.0, Matlab ve Orange Data Mining yazılımlarından yararlanıldı. Sınırlılıklar kapsamında elde edilen bulgularda, bütün spor branşlarında Z-skoru ile elde edilen sıralama ile diğer yöntemler arasında istatistiksel olarak anlamlı ve güçlü ilişkiler saptandı. Z-skor ile Topsis yöntemi arasında anlamlı ilişki saptanamadı. Branşların Z-skoruna göre yapılan sıralamalar ile diğer yöntemlere ait sıralamalar arasında yüksek düzeyde bir uyumun olduğu saptandı. Araştırmadaki sınıflandırma sonuçlarında %86 ile %100 arasında değişen yüksek doğruluk oranları AHP ve K-ortalama yöntemlerine göre oluşturulan modellerde elde edildi. Özellikle Z-skoru ile yüksek düzeyde ilişkisi bulunan K-Means yöntemiyle entegre edilen Naive Bayes, KNN, SVM ve Neural Network modellerinin birçok branşta %100 doğruluk saptandı. Sonuç olarak özellikle Temel Normalizasyon yöntemlerinden Z-skoru ile yüksek düzeyde uyum sağlayan ve yüksek düzeyde ilişkisi bulunan ÇKKV (entropi) ve makine öğrenme temelli algoritmaların sporcu performans sınıflandırması, sporcu yetenek seçimi ve branş yönlendirme süreçlerinde güvenilir düzeyde alternatif yöntemler olduğu saptandı. Sınıflama doğruluk analizi sonuçları doğrultusunda branşlara özgü modellerin yüksek doğruluk oranları, spor bilimleri alanında yapay zekâ tabanlı makine öğrenmesi ve ÇKKV uygulamalarının kullanılabilirliğini ortaya çıkardı. Anahtar Sözcükler: Çok Kriterli Karar Verme, Makine Öğrenme, Normalizasyon, Sınıflandırma, Sporcu Performansı
ViT, DeiT ve Swin tabanlı hibrit derin öğrenme modeli ile beyaz kan hücresi görüntülerinin sınıflandırma performansının değerlendirilmesi
Beyaz kan hücreleri (WBC), bağışıklık sisteminin temel bileşenlerinden biri olup yabancı maddelere ve hastalıklara karşı korumada kritik rol oynamaktadır. WBC sınıflandırması, özellikle hematolojik hastalıkların erken teşhisi ve doğru tedavi sürecinin belirlenmesi açısından büyük önem taşımaktadır. Ancak WBC görüntülerinin manuel olarak sınıflandırılması zaman alıcı olmakta ve uzmanlar arasında değişken sonuçlara yol açabilmektedir. Bu probleme karşı, derin öğrenme tabanlı görüntü sınıflandırma yöntemleri yaygın olarak kullanılabilmektedir. Son zamanlarda, bu alanda dikkat mekanizması sayesinde daha etkin özellik çıkarımı sağlayan transformer mimarilerinin kullanımı artmıştır. Çalışmamızda, beyaz kan hücrelerinin sınıflandırılma performansını artırmak amacıyla farklı transformer mimarilerinin güçlü yönlerini bir araya getiren bir topluluk modeli geliştirilmiştir. Geliştirilen model, Raabin-WBC, Lökosit Görüntüleri için Bölütleme ve Sınıflandırma (LISC) ve Periferik Kan Hücresi (PBC) veri setleri üzerinde eğitilmiş ve test edilmiştir. Veri dengesizliğini azaltmak amacıyla yalnızca Raabin-WBC veri setinde Derin Evrişimli Üretici Çekişmeli Ağ (DCGAN) tabanlı sentetik görüntü üretimi yapılmıştır. Tüm veri setlerindeki görüntülere, kontrast sınırlamalı uyarlanabilir histogram eşitleme (CLAHE) ile ön işlem uygulanmıştır. Dönüştürücü (Transformer) tabanlı görsel dönüştürücü (ViT), veri verimli görsel dönüştürücü (DeiT) ve kaydırılmış pencere dönüştürücü (Swin) modelleri bir araya getirilerek topluluk (ensemble) modeli oluşturulmuştur. Geliştirilen bu topluluk modeli; CNN, ResNet50, InceptionV3, VGG19 ve DenseNet121 gibi yaygın evrişimli sinir modeli (CNN) mimarileriyle karşılaştırılmıştır. Sınıflandırma sonuçları Puan Ağırlıklı Sınıf Etkinleştirme Eşlemesi (Score-CAM) yöntemiyle görsel olarak analiz edilmiştir. Geliştirilen topluluk modeli dört farklı veri setinde de üstün performans sergilemiştir. Model, Raabin veri setinde %99,83 doğruluk; dengelenmiş Raabin veri setinde %99,60 doğruluk; LISC veri setinde %99,81 doğruluk; PBC veri setinde ise %99,84 doğruluk ile literatüre göre en yüksek sınıflandırma başarısını ortaya koymuştur. Elde edilen bulgular ile transformer tabanlı topluluk modelinin hem doğruluk hem de genelleme açısından klasik CNN modellerine kıyasla üstün performans sergilediği gözlemlenmiştir.
Behavior analysis based protest event detection
Purpose: Social unrest is a phenomenon that occurs in all countries, both developed and poor. The only difference is in the cause of a social unrest and it is mostly economic in underdeveloped countries. The occurrence of protest and the role of social networks in it have always been debatable topics among researchers. Protest Event Analysis is important for government officials and social scientists. Here we present a new method for predicting protest events and identifying indicators of protests and violence by monitoring the content generated on Twitter. Methods: By identifying these indicators, protests and the possibility of violence can be predicted and controlled more accurately. Twitter user behaviors such as opinion share and event log share are used as indicators and this study presents a new method based on Bayesian logistic regression algorithm for predicting protests and violence using Twitter user behaviors. According to the proposed method, users' event log share behaviors which include the rate of tweets containing date and time information is the reliable indicator for identifying protests. Users' opinion share behaviors which include hate-anger tweet rates is also best for identifying violence in protests. Results: A research database consists of tweets generated on the BLM (Black Lives Matter) movement after the death of George Floyd. According to information published on acleddata.com, protests and violence have been reported in various cities on specific dates. The dataset contains 1414 protest events and 3078 non-protest events from 460 cities in 37 U.S. states. Protest events include 1414 protests in the BLM movement between May 28 and June 30 among which 285 were violent and 1129 were peaceful. We tested our proposed method on this dataset and the occurrence of protests is predicted with 85% precision. It is also possible to predict violence in protests with 85% precision with our method on this dataset. Conclusion: According to the research findings, the behavior of users on the Twitter social network is a reliable source for predicting incidents and violence. This study provides a successful method to predict small and large-scale protests, different from the existing literature focusing on large-scale protests. Keywords: Protest Detection, Event Detection, Social Behavior, Social Media, Bayesian Logistic Regression, Machine Learning
21. yüzyılda insan haklarına yönelik yeni bir tehdit: Yapay zeka
Bu çalışmada günümüzde yapay zekanın insan haklarını nasıl etkilediği işlenmektedir. Yapay zekanın tarihteki teknolojik gelişmelerden farkı ortaya konarak önemi vurgulanmaktadır. İnsanlık yaşanan teknolojik gelişmelerden tarih boyunca etkilenmiştir. Bu etki ekonomik, sosyal, siyasal boyutlarda görülmektedir. Teknolojik gelişmelerin insan haklarına etkisi de yadsınamaz bir gerçektir. Yapay zekanın üstel gelişim özelliği, yapay zeka bilgisinin eksikliği, yapay zekanın gelişiminin sınırlandırılmaması yapay zekayı farklı kılan özellikleridir. Çalışmanın devamında yapay zekanın tarihi, içeriği, geleceği ve nerelerde kullanıldığı üzerinde durularak, böylece günümüzdeki temel sorunlardan biri olan bilgi eksikliği giderilmeye çalışılmaktadır. Yapay zeka insanların hayatın her alanında kullandığı bir teknoloji halini almıştır. Yapay zekanın gelişimi ise insanlar sayesinde olmaktadır. İkinci bölümde yapay zekanın hayatın her alanında etkili oluşu vurgulanırken gelişimi de gözler önüne serilmeye çalışılmıştır. Bu çalışmanın gerçekleştirilmesi süresinde dahi yapay zeka alanında kimi önemli gelişmeler yaşanmıştır. Bu durum da yapay zekanın insanlık tarihindeki önemini göstermektedir. Yapay zekanın insan haklarına etkilerinin anlaşılabilmesi için insan hakları kavramı üzerinde durularak günümüzde insan haklarının önemini koruduğu, hala üstüne düşünülmesi ve korunması için çabalanması gerekilen bir alan olduğu vurgulanmaktadır. İnsan Hakları Sözleşmelerinden bahsedilerek yapay zekanın ihlal edebileceği haklara değinilecektir. Burada yapay zekanın insan haklarının çiğnenmesine yol açacak etkilerini önlemeye yönelik düzenlemelerin yeterli olmayışı gösterilmeye çalışılmıştır. Çalışmanın sonunda yapay zeka hakkında bilgi eksikliğinin giderilmesi; yapay zeka eğitimine öncelik verilmesi gerekliliği; yapay zekanın insan hakların ihlallerine yol açabilecek sonuçlarını önleyecek, gerekirse çalışmaları durduracak olan yaptırımların devletler tarafından ve de uluslararası seviyede devreye sokulması gerekliliği ortaya konmaktadır. İnsan yapay zekanın üreticisi ve kullanıcısı olarak her zaman merkezde kalmalı ve yapay zeka bir araç olarak kullanılmalıdır. İnsanın değerini yitirmesine sebep olacak onur kırıcı etkileri olacak girişimler önlenmeli, yapay zeka insan hayatını iyileştiren bir destek mekanizması olmalıdır görüşü savunulmaktadır.
Bilişim sektöründe finansal başarısızlığın makine öğrenmesi yöntemleri ile tahmini
Bilişim şirketleri, günümüzde hızla gelişen teknoloji sektöründe büyük bir öneme sahiptir. Bilgisayar, yazılım, telekomünikasyon, internet ve diğer dijital teknolojik hizmetler üzerine faaliyet gösteren bilişim şirketleri, inovasyon, veri işleme, iletişim ve dijital dönüşüm gibi alanlarda öncü rol oynamaktadır. Bu şirketler, iş dünyasında büyük bir etki oluşturmakta, katma değerli ürünler üreterek ülke ekonomisine katkıda bulunmaktadırlar. Şirketler her zaman başarılı olmayıp başarısız olduğu dönemler de olmaktadır. Bir şirketin finansal performansının beklenen veya istenen düzeyde olmadığı durumlarda oluşabilir. Bu durum, şirketin gelirleri, karlılığı, nakit akışı, borçluluk durumu ve diğer finansal göstergelerinin de olumsuz yönde etkilendiği kabul edilmektedir. Finansal başarısızlık, şirketin sürdürülebilirliğini, büyüme potansiyelini ve rekabetçiliğini olumsuz etkileyebilmektedir. Bilişim şirketlerinin finansal başarısızlığı, şirketlerin sektördeki; rekabet, teknolojik değişimler, müşteri talepleri, maliyetler, yönetim hataları ve diğer faktörlerle ilişkilidir. Bu nedenle, finansal başarısızlığı önceden tahmin etmek ve önlemek, şirketlerin sürdürülebilirliklerini sağlamak ve mali riskleri yönetmek için önemlidir. Bu doğrultuda makine öğrenmesi yöntemleri, büyük yığın veri kullanarak finansal başarısızlığı tahmin etmek için güçlü bir araç sunar. Bu yöntemler, finansal verileri analiz ederek, örüntüleri tanımlayarak ve risk faktörlerini belirleyerek şirketlerin finansal başarısızlık olasılığını tahmin etmeye yardımcı olur. Bu tahminler, şirketlerin erken aşamada önlem almasına ve uygun stratejileri geliştirmesine yardımcı olup finansal başarısızlık riskini azaltabilir. Bu çalışma, BİST'te işlem gören 29 bilişim şirketine ait finansal tablolar esas alınarak finansal başarısızlığı tahmin etmek için Karar Ağaçları, Lojistik Regresyon, Yapay Sinir Ağları, Destek Vektör Makinesi, Rastgele Orman ve Naive Bayes yöntemlerini kullanarak çeşitli analizler gerçekleştirilmiştir. Elde edilen sonuçlar, makine öğrenmesi yöntemlerinin finansal başarısızlığı tahmin etmede etkili bir araç olduğunu göstermiştir. Rastgele Orman yöntemi en yüksek doğruluk değeri (97,52%) ile öne çıkarken, Destek Vektör Makinesi yöntemi de (94,30%) başarılı sonuçlar elde etmiştir. Diğer yöntemlerin başarı değerleri: Karar Ağacı (89,48%), Yapay Sinir Ağları (90,79%), Lojistik Regresyon(82,75%) ve Naive Bayes(66,81%) şeklindedir. Bu bulgular, bilişim şirketlerinin finansal başarısızlığını önceden tahmin etmenin mümkün olduğunu ve makine öğrenmesi yöntemlerinin bu konuda değerli bir araç olduğunu göstermektedir. Bu çalışma, bilişim şirketlerinin stratejik kararlarını desteklemek, mali riskleri azaltmak ve sürdürülebilirliklerini sağlamak için daha fazla araştırmanın yapılmasını teşvik etmektedir.
Ceviz çeşitlerinin sürgün ve yaprak görüntüleri kullanarak derin öğrenme yöntemiyle erken dönemlerde tespit edilmesi
Ülkemiz ceviz yetiştiriciliğinde dünyanın önemli ülkeleri arasındadır. Ülkemizde yetiştirilen ceviz miktarı, ülke ihtiyacını karşılayacak düzeyde değildir. Yeterli olmamasının temel sebebi de bilinçli bir ceviz yetiştiriciliğinin ülkemizde yapılamamasıdır. Besin değeri yüksek olan ceviz yetiştiriciliğinde iklim ve toprak koşullarına uygun ceviz türünü seçmek önemlidir. Ceviz yetiştiriciliğinde, bahçe kurulumunun maliyetli olması ve ceviz meyve verme süresinin yıllar almasından dolayı, doğru ceviz türünü seçmek, yapılması gereken ilk iş olmalıdır. Ceviz ağaçlarının türlerini ayırt etmek ise oldukça zordur. Ceviz türleri birbirlerine, renk, doku ve yaprak yapıları olarak çok benzemektedirler. Genelde cevizin türünü belirlemek için ağacın meyve vermesi beklenmektedir. Literatürde ceviz çeşitlerini belirlemek için yapılan çalışmaların geneli ceviz meyvesi üzerine yapılan sınıflandırma çalışmalarıdır. Bu çalışmada sadece ceviz yaprak görüntüleri kullanılmamış aynı zamanda bir ilk olarak ceviz sürgün görüntüleri de kullanılmıştır. Literatüre katkı olarak 10 farklı ceviz türüne ait 3 552 sürgün ve 10 000 yaprak görüntüsü içeren veri setleri oluşturulmuştur. Sürgün ve yaprak veri setindeki görüntülerin sınıflandırılması derin öğrenme modelleri ile ayrı ayrı yapılarak karşılaştırılmıştır. Aynı zamanda başarım oranını değerlendirebilmek için hibrit modeller geliştirilerek sınıflandırma çalışmaları da yapılmıştır. Sürgün veri setinin sınıflandırılması için önerilen en başarılı derin öğrenme modeli, %98.52 başarı oranı ile DenseNet201 modeli olmuştur. Yine sürgün veri setinin hibrit modellerle yapılan eğitiminde geliştirilen Dense-Walnut modeli ile %98.30 başarı oranına ulaşılmıştır. Yaprak veri setinin sınıflandırılması için de en başarılı derin öğrenme modeli olan DenseNet201 modeli ile %95.52 başarı oranı elde edilmiştir. Hibrit modellerin sınıflandırma çalışmasında yaprak veri seti üzerinde DenseNet201+EfficientNetB3 modeli %97.84 başarı oranı elde etmiştir.
Wide-area measurement-based early prediction and corrective control for transient stability in power systems
Electric power systems are designed to supply a persistent, uninterrupted and secure service for their consumers while considering the economic dispatch for the maximum profit for the power system operators. However, the power systems are exposed to various types of faults, such as earthquakes, hurricanes, human operation errors, control system failures, hidden failures in protection system, malicious attacks, weak connections, and a host of other factors, which might cause instabilities or even blackouts. When a severe fault occurs in the power system, it could spread in the system due to the interconnections in the power system, which could endanger the stability of a large portion of the power system, and then may lead to a blackout. In the last decades, many blackouts occurred in different power systems all around the world due to similar scenarios affecting millions of customers and causing enormous economic losses. The blackout that occurred in March 2015 in Turkey can be taken as an example for such blackouts. The tripping of a heavily loaded 400 kV transmission line for a scheduled maintenance caused this blackout; and left 76 million customers without electricity for more than 9 hours. At the beginning, the tripping of the line led to the separation between the Western and Eastern parts of the Turkish power system. Then, it led to a disconnection of the Turkish power system from the European network of transmission system operators for electricity grid, then both Western and Eastern parts of the Turkish power system lose their stability and collapsed into blackout. The largest power system blackout in the history occurred in July 2012 in India, which left more than 620 millions of customers without electricity for two consecutive days. According to a research firm, the annual cost of power outages and fluctuations worldwide was estimated to be between $119 and $188 billion yearly. This indicates the importance of the power system dynamic security, since power system dynamic insecurity clearly have significant economic consequences for the society. This increases the need for the design of comprehensive system monitoring and control strategies to prevent the system from losing its stability, which may lead to catastrophic failures and blackouts. To approach that, the situational awareness capabilities of the power system needs to be improved. The evolution of phasor measurement unit (PMU) technology in the recent years gave the flexibility for the power system operators to use PMUs' measurements in their applications, e.g. monitoring, protection, operation, and control of the power system. PMUs are recognized as the key class of technology for the future situational awareness in the power system. PMUs' measurements can help the power system operators to build an accurate view of the entire power system in real-time since they are synchronized to a common time frame. To prevent the power system loss of stability after a severe fault, wide-area monitoring, protection and control (WAMPAC) systems are used. WAMPAC systems are designed to increase the reliability and security of the power systems to meet the needs of the 21st century. WAMPAC systems use the PMUs' measurements to monitor the power system status and counteract the propagation of severe faults in case of existence. PMUs' measurements are collected at 30 to 120 samples per second, which enables WAMPAC system to capture the power system dynamics and oscillations. This sampling rate is sufficient for analyzing the behavior of the power system during the disturbance and accordingly for taking fast corrective control actions. WAMPAC systems analyze the collected PMUs' measurements in the control center to detect the existence of a disturbance in the power system, and then it can specify the location and the type of that disturbance depending on those measurements. In case of a fault, the wide-area measurements can be used for determining whether the system will eventually be stable or unstable as the system dynamics evolve. WAMPAC systems can then measure the severity of the ongoing fault based on the collected measurements, which can be an indication of the way that the power system dynamics evolve. Post-fault prediction of transient stability and the measurement of the severity of the ongoing fault are crucial to allow sufficient time for taking corrective control actions against a predicted instability. The choice of which corrective control action to be triggered, e.g. fast valving, load shedding, defensive islanding, depends on the impact of the fault on the system. In this thesis, it is aimed to enhance the dynamic security of a large-scale power system against severe contingencies by implementing a comprehensive wide-area control system. The proposed wide-area control methodology has the ability of predicting the transient stability status of the power system directly after clearing the fault, and it can measure the severity of that fault within a short period of time. The proposed wide-area control methodology in this thesis can be divided into three main stages. In the first stage, the post-fault transient stability status of the power system is predicted by using the PMUs' measurements. The proposed novel early prediction algorithm adopts a deep learning neural network, stacked sparse autoencoder, for classifying the transient stability system status to be either stable or not. In the second stage of the proposed wide-area control methodology, the severity of the ongoing fault is measured by using a novel severity index based on the measurements collected from the PMUs. Lastly, in case of severe faults that endanger the stability of the power system, a novel real-time adaptive defensive islanding algorithm is applied on the system to counteract the progress of the severe ongoing fault. Post-fault prediction of transient stability status of power systems has a great impact on the performance of wide-area monitoring, protection and control systems. Situational awareness capabilities of a power system are improved by fast detection of instabilities after severe fault occurrences. This allows sufficient time to take necessary corrective control actions. In this thesis, a novel method based on deep learning neural networks is proposed to predict the post-fault transient stability status of the power system directly after clearing the fault. The proposed early prediction algorithm exploits the measurements from the whole fault-on time period, since the stability of the power system does not only depends on the post-fault system operating point, but also on the pre-fault operating point, the fault location, and its duration. The fault-on time period starts from the fault occurrence lasts up to its clearance. This approach of utilizing the fault-on measurements contrasts to the existing approaches in the literature in which only the post-fault measurements are used. A dataset is generated by extracting some specific points on the trajectories of voltage magnitudes collected from the PMUs to train a deep learning neural network; stacked sparse autoencoder (SSAE); off-line. Then, the trained SSAE is used in an online application for labeling the post-fault stability of the power system directly after clearing the fault. SSAE can automatically extract features from dataset and overcome the shortcomings of conventional machine learning tools. The proposed method is able to correctly predict the post-fault stability status directly at the moment when the fault is cleared, without the need to wait for more post-fault measurements to be used in the machine learning tool as in the existing approach in literature. In case of instability predicted by the use of the aforementioned early prediction method, the proposed wide-area control methodology continues afterwards by measuring the severity level of the ongoing fault. A new knowledge-based severity index that is named as frequency based severity index (FbSI) is used to assess the severity level of the ongoing fault. The proposed severity index FbSI measures the severity of the ongoing contingency and accordingly labels the system status to be one of the following states: secure, insecure but not severe, or, both insecure and severe. The classification between the insecure states is made to specify the most severe contingencies for which the defensive islanding is required. Since islanding is an aggressive and high-cost control action, more attention is needed to specify the cases that require its application. The proposed wide-area measurements based severity index FbSI uses the frequencies of the post-fault generator bus voltages that can be estimated directly by the PMUs from the measured voltage waveforms, as it is indicated in the IEEE standard C37.118.1-2011. In case of a severe fault that may cause a cascading blackout, which is identified by the severity index, the wide-area control method proposes applying an islanding scheme on the power system in order to counteract the propagation of that fault. Multiple islanding schemes candidates are generated by using different model and measurement-based islanding algorithms, and then the best islanding scheme among them is selected for application. As a model-based algorithm, slow coherency based islanding is adopted, while K-means clustering, hierarchical clustering, and fuzzy relational eigenvector centrality-based clustering algorithms are employed in the measurement-based islanding algorithms. The most updated power flow information collected from PMUs are utilized to construct the islanding schemes. The model-based islanding algorithm is based on the most recent pre-fault steady-state PMUs' measurements. Unlike the previous studies in the literature, which use the pre-fault dynamics, for the measurement-based islanding algorithms adopted in this thesis, the post-fault voltage angle trajectories are utilized to generate the islanding schemes. This novel approach, which is proposed in this study, provides disturbance dependent islanding schemes. These schemes can be more advantageous over the disturbance independent ones generated by either model or measurement based algorithms that use the pre-fault measurements. This proposed approach can provide alternative islanding schemes that are tailored for each severe contingency occurring in the network. Using this approach, the resulting islanding scheme tends to isolate the fault in a smaller island, and save the rest of the system from further separation. Thus, the approach can lead to a less load shedding, and an easier restoration process. The proposed wide-area control methodology is demonstrated on two power systems: a 127-bus 37-generator Western States Coordinating Council (WSCC) test system, and the Turkish power system.
Machine learning aided kidney stone classification with electromagnetic properties
Electromagnetic waves with microwave frequencies have been widely used in medical field for diagnostic and therapeutic purposes. The reasons why microwaves have been preferred are mainly its non-ionizing nature and its ability to penetrate matter. Physiological effect on biological tissues also enables to use for treatment of diseases. Moreover, the difference in electromagnetic properties of distinct biological material enables diagnostic usage. In this study, the determination of kidney stone types was aimed by making use of the dielectric discrepancy between stone types. It is known from statical information that the recurrence rate of kidney stone disease is very high. For this reason, it is important to learn why the body forms kidney stones in order to determine necessary precautions to prevent recurrence. The tools utilized for determination of the reasons for stone formation are blood test, urine test and tools used for urinary stone analysis. To this end, this study focused on development of an innovative method for urinary stone analysis. When dielectric property measurements of three common types of kidney stone were carried out, it is realized that it is possible to distinguish kidney stones with machine learning algorithms and the help of these features. Dielectric constant and dielectric loss values of each stone were measured over the frequency range of 500 MHz – 6 GHz with 100 MHz intervals. Then, Cole-Cole parameters of each stone were calculated with generalized Newton-Raphson method from measured dielectric constant and dielectric loss values instead of directly use of them. Thus, the input size of machine learning algorithm was reduced with successful Cole-Cole fitting. After dielectric property measurement and Cole-Cole fitting, classification of the stones were completed with an artificial neural network and k-nearest neighborhood algorithm. Obtained classification of two algorithm were evaluated with some performance measures which are accuracy, sensitivity, specificity, precision, recall and F1 score. It can obviously be seen from these measures that both of two classifier are quite successful in determination of kidney stone types.
Makine öğrenme algoritmalarıyla hatalı ürün tahmini
Teknolojideki gelişmelerle birlikte günümüzde veri toplamak ve veri depolamak oldukça rahat bir hale gelmiştir. Hem bireysel anlamda hem de kurumsal anlamda hayatımızda günlük olarak birçok veri istemli olarak veya istemsiz olarak kaydedilip depolanmaktadır. Her verinin toplanması, kayıt altına alınması avantaj gibi gözükse de gün geçtikçe bu kadar büyük veri içinden anlamlı ve faydalı bilgiler çıkarmak zorlaşmıştır. Bu durum büyük veri (big data) kavramını tartışılır hale getirmiştir. İnsanlar için analiz edilip anlamdırılabilen veriler ancak bir anlam ve bilgi ifade eder. Bu nedenle verileri işlemek ve çözümlemek için yapay zekâ gibi özel yöntemlere gereksinim duyulmuştur. İnsanın zekasından esinlenerek aynı sistem ve kurguyu robot ve makinelerde uygulanabilir hale getirmeyi hedefleyen yapay zeka kavramı; tahmin, sınıflandırma, kümeleme gibi amaçlar için makine öğrenmesi kavramının ortaya çıkmasına sebep olmuştur. Makinelerin ve bilgisayarların da insan gibi öğrenip en iyi kararı verebilme arzusu makine öğrenmesi kavramının temel amacı olmuştur. Bu da ancak makine öğrenmesi kavramıyla bilgisayarların da insanlar gibi eğitilip öğretilerek belli bir seviyeye ulaştırılmasını gerekli kılmıştır. Makine öğrenmesi yardımıyla geçmişte var olan verilere dayanarak ileriye yönelik tahmin ve planlama yaparak daha doğru ve geçerli sonuçlar elde edilebilmektedir. Bu çalışmada, makine öğrenme algoritmalarının hatalı ürünü önceden tahminlemede kullanımı incelenmiş, Rastgele Orman (Random Forest), Basit Bayes (Naive Bayes), Destek Vektör Makineleri (Support Vector Machines) ve k-En Yakın Komşu (k-Nearest Neighbor) algoritmalarının başarımı bir uygulama üzerinden değerlendirilmiştir. Çalışmada öncelikle makine öğrenmesi kavramına, makine öğrenmesi yöntemlerine ve süreçlerine değinilmiştir. Ardından makine öğrenme algoritmaları genel olarak incelenmiş, bu algoritmaların çalışma yöntemleri, başarımları ve avantajlarına değinilmiştir. Tezin uygulama aşamasında, beyaz eşya sektöründe Türkiye'nin önde gelen şirketlerinden birine ait çamaşır makinesi toz boyama ünitesi girdi ve çıktı ölçümleri temin edilmiştir. Öncelikle bu verilerle çamaşır makinesi parçalarının toz boyama ünitesinden çıktıktan sonra istenilen boya kalınlık değer aralığında olup olmadığı belirlenmiş, bu doğrultuda algoritmada kullanılmak üzere hedef değişken oluşturulmuştur. Sonradan ilavelerle gözlem sayısı zenginlentirilmiş ve daha etkin olacağı düşünülen yeni değişken veri setine dahil edilmiştir. Ve algoritmalarda değerlendirilmek üzere 327 satırlı veri seti kullanılmıştır. Verideki girdi değişkenlerine, işletmenin amaçlarına ve veriye uygun olarak makine öğrenmesi algoritmaları değerlendirilmiştir. Bu doğrultuda Rastgele Orman, Basit Bayes, Destek Vektör Makineleri ve k-En Yakın Komşu algoritmaları veri setinde uygulanmaya başlanılmıştır. Veri setinin 70%'i eğitim seti, 30%'u test seti olacak şekilde kullanılmıştır. Veri setinde bu algoritmaları çalıştırabilmek için RapidMiner isimli yazılım kullanılmıştır. RapidMiner ile belirlenen algoritmalar veriler üzerinde çalıştırılarak her bir algoritma için bir sınıflandırma sonucu elde edilmiştir. Makine öğrenmesindeki 4 farklı algoritma kullanılarak sınıflandırma başarıları ölçülmüş ve birbiriyle karşılaştırılmıştır. Karşılaştırmada algoritmaların doğruluk değerleri kullanılarak, her algoritmanın hatalı ürün tahminindeki sınıflandırma performansının ölçülmesi istenilmiştir. Daha sonra veriler normalize edilerek ve ölçeklenerek veriler üzerinde öznitelik mühendisliği çalışmaları yapılmış ve işlenmiş veriler için tekrardan aynı algoritmalar ile performansları ölçümlenerek karşılaştırılmıştır. Son olarak da performansı en yüksek çıkan algortimanın sonuçlarının genel geçerliliği test edilerek yorumlanmıştır. Çamaşır makinesindeki hatalı ürün tahmininde Rastgele Orman, Basit Bayes, Destek Vektör Makineleri ve k-En Yakın Komşu algoritmaları arasından Rastgele Orman algoritması en üstün performansı göstermiştir. Başka bir başarılı hatalı ürün sınıflandırıcı algoritması olarak Basit Bayes algoritması gözlemlenmiştir. Ayrıca şirketin odaklanması gereken, bir sonraki iyileştirme ve çalışmalarda kullanılmak üzere yardımcı olacak en önemli girdi değişkenleri de bu analiz sonucunda ortaya çıkarılmıştır. Şirketler için hatalı üründen kaynaklı maliyetleri azaltmaya yardımcı olacak, hatalı ürünü tahminlemede sınıflandırma performansı yüksek algoritma olarak Rastgele Orman algoritması tespit edilmiştir. Elde edilen bulgulardan ve sonuçlardan yararlanılarak sonraki çalışmalar için öneri ve tavsiyelerde bulunulmuştur
Türkçe'de varlık ismi tanıma
Uzun yıllardır insanoğlunun makineler ile kendi doğal dilini kullanarak etkileşime geçmek istemesi ve bu konuda yapmış olduğu araştırmalar yapılan en heyecanlı araştırmalar arasında yer almaktadır. Robotlarla ya da bilgisayar sistemleri ile konuşmak, onların bizi anlaması, bizim adımıza araştırmalar yapması yapılan birçok bilim-kurgu çalışmasının ana temalarından olmuştur. Makineler ile insanlar arasındaki etkileşimi doğal dil üzerinden yapılmasını sağlamak, doğal dilin anlamlandırılması, diller arasında otomatik çevriminin yapılması, doğal dil ile yazılmış metinlerden bilgi çıkarımı yapılması gibi görevler Doğal Dil İşleme (DDİ) araştırma alanın çalışma konularıdır. Yazılı metin içerisinden bilgi çıkarımı görevi ele alındığında metin içerisinde geçen tanımlı varlıkların tespit edilmesi önemli bir görev adımıdır. Metin içerisinde geçen kişi, organizasyon, yer adları, sayısal değerler, tarihsel ifadelerin tespit edilerek işaretlenmesi Varlık İsmi Tanıma (VİT) olarak adlandırılmaktadır. VİT görevinde tanınacak varlıklar ihtiyaçlara göre değişiklik gösterebileceği gibi VİT çalışmalarında genel olarak ENAMEX (kişi, organizasyon ve yer isimleri), NUMEX (sayısal eğerler, parasal ifadeler, yüzdeli ifadeler), TIMEX (tarih ve zaman ifadeleri) varlık kategorilerinin işaretlenmesi olarak değerlendirilmektedir. Bununla birlikte özelleşen sistemlerde e-posta adresleri, telefon numaraları, kitap başlıkları, proje isimleri gibi kategoriler de Varlık İsmi olarak ele alınabilmektedir. Örnekleri çoğaltmak gerekirse biyoinformatik ve kimya alanlarındaki metinlerden protein isimleri, RNA, DNA, hücre bilgileri, ilaç adları, kimyasal adlarının tespit edilmesi de Varlık İsmi Tanıma görevi olarak değerlendirilmektedir. VİT ile ilgili çalışmalar 1990'larda başlamış ve 1996 sonrasında hız kazanmıştır. Türkçe için ise bilinen ilk çalışma ise 1999 yılında gerçekleştirilmiş olup 2009 sonrasında bu alandaki çalışmalar ilgi görmeye başlamış ve hız kazanmıştır. İngilizce gibi dillerde hem çalışma sayısının fazla olması hem de İngilizce'nin Türkçe gibi dillere göre daha basit biçimbilimsel yapısından dolayı VİT genel olarak çözülmüş bir problem olarak görülmektedir. Öte yandan Türkçe, Fince gibi dillerde dilin ek yapısı VİT görevini karmaşık hale getirmektedir. Bu durum VİT konusunu Türkçe'de halen güncel bir problem haline getirmektedir. VİT alanında yapılan çalışmalar incelendiğinde ilk çalışmaların kural tabanlı sistemlerden oluştuğu gözlemlenmektedir. İlerleyen çalışmalarda örnek veri kümelerinin artması ile birlikte kural tabanlı geliştirilen sistemler yerlerini istatistiksel sistemlere bırakmışlardır. Türkçe'deki istatistiksel yöntemler ile geliştirilen sistemlerde özellikle makine öğrenmesi yöntemlerinden Koşullu Rastgele Değişkenler (CRF) yöntemi gerçeklenen sistemler ön plana çıkarken diğer dillerde Yapay Sinir Ağı temelli yöntemler sıklıkla kullanılmakta ve başarılı sonuçlar elde edildiği gözlemlenmektedir. Yapay Sinir Ağları (YSA) insan sinir ağları model alınarak tasarlanan bir makine öğrenmesi metodolojisidir. Yapay sinir ağlarının temel yapısı insan sinir hücresi, nöron, model alınarak gerçeklenen yapay nöronlardan oluşmaktadır. Yapay Sinir Ağı alanındaki çalışmalar incelendiğinde bu alandaki teorik çalışmaların 1960'larda başlamış olmasına rağmen birçok teorik çalışmanın uygulanması, donanımlardaki yeni gelişmelerle ile birlikte son yıllarda mümkün hale gelmiştir. Yapay Sinir Ağlarında nöronlar genellikle tekil olarak kullanılmazlar, problemin çözümüne bağlı olarak nöronlar farklı bağlantı modelleri ile birbiriyle ilişkilendirilerek kullanılırlar. Özellikle yapay sinir ağı yapılarının katman sayısı ve nöron sayılarının arttırılması ile birlikte oluşturulan Derin Öğrenme Sistemleri görüntü işlemeden, doğal dil işlemeye birçok araştırma alanındaki problemlerin çözümünde başarılı sonuçlar ortaya koymaktadır. Bu tezin amacı Türkçe'de dile özgü özellikleri de kullanarak yapay sinir ağı tabanlı bir Varlık İsmi Tanıma Sistemi tasarlamak ve gerçekleştirmektir. Tez çalışması kapsamında gerçeklenen VİT Sisteminin başarısının değerlendirilebilmesi için Türkçe'de birçok çalışmada kullanılan bir Türkçe VİT Derlemi kullanılarak öğrenme ve başarım ölçüm işlemleri gerçekleştirilmiştir. Önerilen yapay sinir ağı tabanlı Türkçe VİT sistemi en iyi modelde %93.69 F1 puanı ulaşılmıştır. Gözlemlediğimiz kadarıyla çalışma kapsamında önerdiğimiz en iyi modelde ulaşılan sonuç, literatürde en başarı sonuç olarak karşılaştığımız olarak ulaşılan %93.59 değerini az da olsa geçerek literatürdeki en başarılı Türkçe VİT sonucu haline gelmiştir.
Forecasting electricity prices in Turkey: A comparison of classical econometrics and machine learning techniques
Liberalization of electricity markets trends has been widening in the world since 1990s and the process is still continuing in many countries. As a result of liberalization, the private retailer and distribution companies role has increased in the markets. Like other countries, government enterprises was operating the Turkish Electricity market before 2000s. However, Turkish Government enacted a electricity market law for deregulation of the market in 2001. Accordingly, Turkish Electricity Trading and Contracting (TETAS) was established in 2001 with the aim of sustaining the energy trade and reach a competitive electricity market. Afterwards, Day-Ahead market and Intra-Day markets are established in the following years. As a result of the liberalization process, forecasting electricity prices has become an important requirement in energy companies' decision-making process to maximize profits by offering competitive bid and ask rates. On the contrary to other time series, electiricity prices have complex structures and dynamic determinants which makes difficult to forecast prices. For examle, one of the determinants of the electricity is demand and it is known that demand is highly related with temperatures. In summer, electricity demand expeced to increase due to cooling needs. However, it may change accordingly with tempetures. Futhermore, electiricty demand is also changing according to hour of the day or day of the week and so on. Another thing is that, generation source and type and the amount may also affect the prices. Consequently, electiricty prices are generally representing complex non-linear structures. There are many methods for forecasting electricity prices. However, artificial neural networks are known to be good forecasting method for covering non-linear effect of the prices. On the other hand, time series methods are easy to forecast and interpret the relationships. Lastly, quantile regressions are capturing the different conditional distributions and may be useful for capturing spkies. Therefore, artificial neural networks, time series and quantile regression is used. First, non-linear autoregressive network with exogenous inputs (NARX) is used with Levenberg-Marquardt learning algorithm. It is a two-layer feedforward network with sigmoid activation function. It is known that load is one of the most important factor affecting the prices, thus it is taken as inputs. Furthermore, to take seasonality in account, hour of the day, day of the week, season of the year, previous prices and other inputs are considered. The next day's prices are forecasted in out-of-sample data with multi-step ahead method and rolling window mechanism. Second, autoressive moving average (ARMA) models with different AR(p) and MA(q) orders are applied. To estimate a model and forecasts series in the model, series should be stationary and stable. Ng-Perron test is applied for testing whether series is stationary. Price series is found to be stationary. Next day's prices are forecasted in out-of-sample data with multi-step ahead method and rolling window mechanism. Furhermore, Optimal (p,q) are chosen after trial and error proces. Thirdly, ARMA models with exogenous variables are applied to see whether exogenous variables are affacting the performance of the autoregressive model. As in the ARMA model, series should be stationary. As in the NARX model, load is taken as inputs. Besides, hour of the day, day of the week and other variables are considered. Next day's prices are forecasted in out-of-sample data with multi-step ahead method and rolling window mechanism. Finally, quantile regression is applied. Different comibations of exogenous variables applied for different quantiles. Next day's prices are forecasted separetly for each quantile with multi-step ahead forecast methods and rolling windows mechanism. All methods with different combinations of the models are evaluted with mean absolute percentage error(MAPE) in out-of-sample data. According to findings, the NARX method outperformed the other models and forecast the electricity prices in TEM with lowest errors.
Comparison of feature selection and extraction methods and active learning in voice based emotion recognition systems
Since humans are social beings, emotions stand at the center of their behaviors. We interact and exchange emotions with each other, and so our communication is constructed on the basis of those emotions. One of the most common ways of emotion sharing tool is the voice. Recently, thanks to the improvement in new technologies, voice-based emotion recognition becomes very popular. Basically; the extraction of emotions from audio signals is a supervised machine learning application. Classifiers are trained using extracted features from audio signals. The performance of classifiers is dependent on data preprocessing, selection of features and classifiers and the parameters of classifiers. Obtaining high performed classifiers is the main purpose in emotion recognition systems as in the all machine learning applications. That is why many researches are conducting on phases of classifiers. Data preprocessing phase is one of the most important parts of emotion recognition like all other machine learning processes. Feature extraction and selection methods are one of the important operations that affect the performance of classification in this phase. Feature selection method aims to find the features that provide more successful result among the other features, whereas feature extraction method aims to generate a new feature space or representation of features that outputs higher performance. Nowadays, collecting data and accessing this data has become very easy. In order to use these data in machine learning applications, they need to be categorized by labeling. This labeling operation is conducted by experts or oracle. But labeling of these collected data is very hard and expensive. In many problems, there are a huge amount of unlabeled data and a small amount of labeled training data. Common methods such as active learning are proposed in order to enable the obtained unlabeled data to be used as an enhancement in machine learning efficiently. Active learning is basically processed by adding samples which are selected from unlabeled data according to specified conditions, to training data iteratively and updating model using this new training data. Selecting the most informative examples is a crucial step in active learning. In literature, several methods have been proposed for this process. One of the commonly used methods is selecting the samples that classifier is least certain about it. This method is called uncertainty sampling. The uncertainty method is based on the irregularity of samples. This irregularity is computed as entropy. The more entropy sample has, the more information it contains. An active learning flow is defined as following steps; At the first step, trained model is tested on unlabeled data. The samples where the model least certain of them are determined. The selection of samples can be decided in two ways. First one is a specified threshold value of uncertainty score. The samples which are lower than this limit value are selected as uncertain samples. The second way is that samples are ordered according to uncertainty score and a specific number of samples are selected. The selected samples are the most informative ones in terms of sample diversity. These samples are labeled by asking experts or oracle. At the last stage, the trained model is updated with new labeled samples. The new model is tested on test data and success of the model is expected to increase. By doing so, the cost of labeling is decreased sharply. In this thesis, feature selection and extraction methods are first analyzed using supervised learning methods. In voice-based emotion recognition systems, acoustic features of audio signals are commonly used. These acoustic features can be subcategorized according to information they carry. Several amounts of features and different types of them can be extracted from a single signal. Features that output high performance on classification are aimed to be selected and used in the scope of this experiment. This selection is critically important in terms of accuracy and cost saving of classification. Autoencoder, Relief-F and Chi-Square are used as feature selection and extraction methods. Results of each selection methods and each acoustic feature types are analyzed in comparison and best feature selection method and feature type are proposed. For the experiments; University of Michigan Song and Speech Emotion Dataset (UMSSED) and Ryerson Audio-Visual Database of Emotional Speech and Song (RAVDESS) data sets were used. With the OpenSmile tool, a total of four different types of features were generated from these data sets. These feature types are; Energy and loudness, Harmonic product spectrum (HPS) pitch and voice quality, spectral and Mel frequency cepstral coefficient (MFCC). Two different features have been produced by using the different combinations of these features and in the end, total of six types of features have been obtained. The results of the study indicate that the MFCC type features and the features selected by using the Relief-F method have the most successful results. Relief-F method is based on the distance between feature and class label. The neighbors of the pointed feature are also taken into account of calculation with the class label. These distance calculations are the reason that Relief-F outputs higher performance. Chi-Square outputs close performance result with Relief-F. This method uses a statistical calculation of independence between feature and class label. Both depend on the individual relationship between a feature and class label. This common feature of methods is the reason behind this high performance of classification. At the second part of the thesis, active learning was applied with the information obtained in the first part and the accuracy results of applications on emotion recognition systems are analyzed. The experiment of this part is separated into two sub-experiments according to the usage of data sets. At first experiment, RAVDESS data set is used as training set, UMSSED data set is divided into test and unlabeled data sets. The main purpose of this experiment is to find a solution to the classification of data which contains a small amount of samples. The model which is trained by a huge amount of training data outputs higher performance using active learning. At the other experiment, UMMSED data set is used as training set, RAVDESS is used test and unlabeled data sets. This experiment analyzes the smart selection and efficient usage of samples from a huge amount of unlabeled data in emotion recognition systems. In these experiments, MFCC, Statistical and Is13ComParE types of features are used. Cross validation method is used for evaluation. In both experiments, the trained model is tested on unlabeled data set. The most uncertain samples were selected. Afterward, the labels were learned from experts and the model was updated with this information. These operations were performed iteratively, and at each iteration, a certain number of samples were added to the training set. In each iteration, the change in the performance of the model was observed and the results showed that the performance of classification was increasing. As a future work, in order to improve the performance, other instance selection algorithms can be used in active learning. To sum up, within these experiments; the effect of the feature selection and extraction methods used in the emotion recognition from audio signals is analyzed, and also active learning is applied with the obtained results in the first phase. This study emphasizes the importance of data preprocessing phase of classification and concludes successful results with a remarkable recommends that provide an insight to focus on the other phases of emotion recognition.
Pre-release forecasting of imdb movie ratings using multi-view data
Internet users are no longer the ones who only follow the content, but at the same time they have become the ones who create the content itself. Especially, the social media has become a crucial part of everyday life. This results in having a huge digital footprint for the people on the internet either willingly or unintentionally. People provide enormous data such as thoughts on the current issues, comments on an owned product, opinions about a recently released movie, experiences about the visited places, the political views, and so much more different topics thanks to sharing almost everything on these social media platforms. The existence of such large-scale data attracts many researchers from different areas in order to produce useful outcomes by analyzing it. If such an analysis system is designed properly, it could produce more accurate and precise results than the traditional methods like analyzing the output of the surveys using statistical techniques. These systems could be used in everyday fields such as predicting the urban traffic, detecting the news popularity, the likability of a new product coming onto the market, as well as in the fields like financial sector and politics. Making inferences using such systems have become quite important also for the ever-growing film industry. The film industry has a very important share in the global market, with billions of dollars revenue per year. Therefore, it is very important to increase the profit by predicting the movie success before its release. However, most of the total revenue is generated by the only a very low percentage of films. This also means that most films make a loss. In such a billion-dollar industry, it becomes very significant to make a profitable film. From the film industry's point of view, achieving the knowledge of which factors make a film high grossing is very crucial. Detecting those factors before the release of the movie could help the film producers and the other decision-making people to make more appropriate decisions such as deciding the theater's count in which the movie plays or increasing the promotions to raise the revenue. For instance, it could be expected that the revenue will increase if more theater rents for a movie that is predicted to become successful since more audience could watch this movie. On the contrary, deciding to rent less theater for a movie predicted to become unsuccessful could help to reduce the loss. For all these reasons, predicting the box office gross, hence the success of a movie is a very important step in the film industry. It could be assumed that there is a correlation between the box office gross and movie success. As the success of the film increases, the box office gross also increases. However, this prediction is very challenging because it is difficult to distinguish the factors making a movie successful, and detecting the people's opinion is a very subjective issue. Such predictions could be made by using traditional methods like the Hollywood Stock Exchange. However, these conventional methods are incapable to carry out such a complicated task. Recent studies showed that data mining and machine learning methods yield more accurate results. Thus, forecasting the success of a pre-release movie has become an intriguing research area also for the computer scientists. Machine learning is a computer science field to improve performance on a specific task using existing data, which is also called training data. The aim is to create mathematical models to make inferences from these past experiences. Machine learning heavily makes use of the methods from statistics in order to build these models. In other words, machine learning involves the optimization processes of the parameters of these mathematical models using the training data. Most of the time machine learning is associated with data mining. Data mining is the application of machine learning methods on large datasets. There is a wide range of application fields of data mining, from detecting the frauds in the finance sector to predicting the house prices for real estate agents; from the medical researches to autonomous vehicles. Predicting movie success for the film industry is one of these various fields too. Predicting the audience ratings of movies before their releases underlies this study. It could be also said that the aim of this study is to build an effective predictive model to solve this regression problem. It is a regression problem because the predicted movie audience rating value is a scalar value rather than a discrete value as in classification problems. Although there are different studies in this field, some of them only utilized from metadata of the movie, whereas recent studies focused on gathering these metadata with social media data to improve prediction results, it is still needed to make extensive analysis and increase performance for predictions. Also, many of the studies explored the box office prediction performance either treated it as a classification or regression problem. However, there were few studies on predicting the taste of movie audiences. Furthermore, many existing studies did not collect enough and recent data. This study aims to take previous studies a step further by finding a proper way to bring together different data sources and increasing the performance results by utilizing different machine learning methods such as Factorization Machines. In this study, it is aimed to explore the use of Factorization Machines in order to predict movie success by predicting IMDb ratings of newly released movies and compare it with different machine learning methods by combining movie metadata with social media data. Also, it is investigated which features have more impact on the movie rating prediction process and how these features coming from different data sources could be used together. Several prediction algorithms were used to solve the movie audience rating prediction problem and to compare the results with the proposed Factorization Machines approach. Linear Regression, Support Vector Regression, K-nearest Neighbors Regression, Multilayer Perceptron Regression, Random Forest Regression, and Gradient Boosting Tree Regression are the predictions algorithms that were used for comparison throughout this study. In this study, a novel approach was developed based on Factorization Machines which combines movie metadata with social media data in order to improve the prediction accuracy of movie ratings before its release. Factorization Machines are an extended version of factorization models. Factorization Machines could combine the advantages of typical machine learning approaches like Support Vector Machines and Linear Regression with factorization models in order to get rid of the drawbacks from these methods. Factorization Machines could be applied both classification and regression problems. There is not an existing dataset which includes the movie metadata and social media data as required. Also, there is not any framework to gather movie data from different sources. Therefore, a framework was developed to gather data from different sources and generate a custom database as the first step of this study. It becomes possible to gather more data by adjusting the input parameters like release date range, language, and region thanks to this framework. Many different data sources such as TMDb, IMDb, Twitter, and Wikipedia were used. These sources provide APIs in order to access their data with specific parameters instead of providing the data with easy-to-use certain text file formats. Therefore, different wrappers were developed for accessing these APIs throughout this study. In this study, it was also explored that how using different feature sets together affects the prediction performance, while exploring the effect of using Factorization Machines approach on this regression problem. Therefore, the features were grouped by their data sources, metadata and social media, and their data types, continuous and discrete values, in order to decide which group of data results in better performance. After all, 6 different feature sets were used to feed the models according to this grouping process. Multivariate Linear Regression is used in many previous studies since it is easy to implement and interpret. Therefore, Multivariate Linear Regression method is selected as the baseline method for performance comparisons with Factorization Machines. In order to calculate performance metrics, 10-fold cross-validation was used by randomly dividing the training data. The performance metrics were calculated as the average of the metrics from these folds. The mean square error (MSE) and coefficient of determination (R2 score), both are the most common performance evaluation metrics, were used as the performance metrics. The best performance metric was achieved an MSE 1.19 and R2 score 0.88 by using the Factorization Machines approach with both continuous and discrete features together for movie metadata and social media. Although there is an improvement by using Factorization Machines approach compared with Linear Regression approach, it is still needed to be enhanced. The experimental results show that Factorization Machines approach increases the performance using continuous and discrete metadata features together. The combination of movie metadata and social media data slightly changes the performance for predicting movie rating outcomes. Factorization Machines approach has also promising results for movie rating prediction as it can characterize latent factors for movie metadata and social media data. Our proposed method improves the prediction accuracy compared to the traditional methods.