Veri madenciliği
284 theses under this subject heading
İki katmanlı entegrasyon mimarisiyle hastalığa özel birliktelik ağı çıkarımı
Hastalıklara neden olan biyolojik mekanizmaların moleküler seviyede keşfi son yıllarda üzerinde önemle durulan bir çalışma alanıdır. İnsan genom projesinin tamamlanması ve DNA dizileme tekniklerindeki ilerlemelerle hastalıklara neden olan süreçler ve bu süreçler altında yatan moleküler ilişkiler daha hızlı ve kolay bir şekilde belirlenmektedir. Gen birliktelik ağları farklı fenotiplere sahip örneklerde benzer örüntüler sergileyen genler arasındaki ilişkilerden oluşan moleküler ilişki ağlarıdır. Benzer örüntü sergileyen genlerin yapılan literatür çalışmalarında benzer biyolojik fonksiyonlara sahip olduğu ve benzer süreçlerde yer aldıkları anlaşılmıştır. Tez kapsamında mikrodizin gen ifadesi, RNA- Seq ve miRNA- hedef gen verileri üzerinde farklı gen ağı çıkarım algoritmaları kullanılarak gen birliktelik ağları elde edilmiştir. Literatürde farklı biyolojik veri kümeleri ve gen ağı çıkarım algoritmalarını aynı yapı içerisinde kullanarak hastalıklarla ilişkilendirilmiş kapsamlı ve doğruluklu gen birliktelik ağı çıkarımı gerçekleştiren çalışma sayısı kısıtlıdır. Tez kapsamında temel hedefimiz farklı gen ağı çıkarım algoritmaları ve biyolojik veri kümelerini birlikte kullanarak göğüs ve prostat kanseriyle ilgili yüksek doğruluklu ve kapsamlı gen birliktelik ağları oluşturmaktır. Bu hedefle kesişim, basit çoğunluk oyu ve birleşim gibi temel entegrasyon yöntemleriyle iki katmanlı bir yapı oluşturularak gen birliktelik ağlarının entegrasyonunu gerçekleştirilmiştir. İki katmanlı entegrasyon mimarisi ile aynı veri kümesi üzerinde farklı gen ağı çıkarım algoritmalarından elde edilen gen birliktelik ağlarının entegrasyonu birinci entegrasyon aşamasında, farklı biyolojik veri kümeleri kullanılarak elde edilen gen birliktelik ağlarının entegrasyonu ise ikinci entegrasyon aşamasında gerçeklenmiştir. Elde edilen gen birliktelik ağlarının performansı biyolojik ve topolojik özelliklerine göre değerlendirilmiştir. Bu iki değerlendirme kriterine ek olarak literatür verileri ile örtüşme analizi yapılmıştır. Sonuç olarak, sadece gen ağı çıkarım algoritmaları kullanılarak yapılan gen birliktelik ağı entegrasyonunun performans arttırımına etkisi kısıtlı iken, farklı biyolojik veri kümelerinden elde edilen gen birliktelik ağlarının entegrasyonunun performans artışı sağladığı gözlemlenmiştir. Çalışmamızda aynı zamanda daha önce miRNA- hedef gen verileri üzerinde gen birliktelik ağı çıkarımında hiç kullanılmamış hash tabanlı birliktelik kuralı algoritmasını uygulayarak ilgili veri kümelerinden teorik olarak 152 hastalıkla ilişkili GBA'lar elde edilmiş ve bu algoritma ARNetMiT R paketi halinde kullanıcılara sunulmuştur.
Sınıflandırma problemleri için matematiksel programlama temelli çözüm yaklaşımları
Yeni teknolojiler, araçlar ve yöntemler insan hayatını kolaylaştırmak amacıyla geliştirilmiş ve geliştirilmeye de devam etmektedir. Örneğin görüntü tanıma yöntemiyle kimlik tespiti, bir hastalığın teşhis edilmesi, el yazılarının metine dönüştürülmesi gibi konular araştırmacıların ilgisini çekmiş ve bu konularda daha hızlı ve doğru sonuç verecek yöntemler geliştirmeye yönlenmiştir. Bu çalışmada bu amaçlara hizmet edebilecek Çok Yüzlü Konik Fonksiyonlar algoritmalarına yeni matematiksel modeller eklenerek sınıflandırıcıların oluşturulması, özellikle de bu yaklaşım temelli yeni modeller geliştirilerek yaklaşımlarının incelenmesi ve yeni bir yaklaşım önerilmesi, son olarak da Çok Yüzlü Konik Fonksiyonlar temelli algoritmaların kümeleme temelli yaklaşımlarla geliştirilmesi üzerine çalışılmıştır. Süre ve başarı oranlarında verimlilik sağlanmaya çalışılmıştır.
Açık ve uzaktan öğrenme sistemlerinde kümeleme analizi yöntemiyle öğrenen gruplarının belirlenmesi
Bu araştırmanın amacı, 2014-2015 eğitim-öğretim yılında Anadolu Üniversitesi Açıköğretim Sistemine kayıtlı öğrenenlerin özelliklerini analiz ederek kümelere ayırmak, öğrenen türleri ve özelliklerine uygun stratejilerin belirlenmesine yön göstermektir. Açıköğretim Sisteminde öğrenim gören 43.106 öğrenene uygulanan anket verileri ile bu öğrenenlerin kurum veritabanlarındaki bilgileri birleştirilerek elde edilen veri kümesinin kullanıldığı bu çalışmada, öğrenen gruplarını elde etmek için tanımlayıcı veri madenciliği yöntemlerinden biri olan kümeleme analizi kullanılmıştır. Kümeleme analizi ile grupları elde etmek için IBM SPSS Modeler 14.2 yazılımında veriler üzerinde deneysel çalışmalar yapılmış ve veri setinin özelliklerine uygun olan algoritma TwoStep olarak belirlenmiştir. Araştırmanın sonucunda, hazırlanan veri seti üzerinde yapılan TwoStep algoritması ile üç küme elde edilmiştir. Bu kümelerin boyutları %36,9, %35,7 ve %27,5 olarak dağılmıştır. Kümelerin belirlenmesindeki en ayırt edici özellikler akademik başarı notu, aylık gelir, çalışılan sektör, çalışma süresi, cinsiyet, internet erişim olanağı, medeni durum, iletişim araçları sahipliği ve yaş olarak belirlenmiştir. Bu çalışmadan elde edilen sonuçlar ile öğrenen odaklı akademik, yönetsel, kurumsal ve destek hizmetlerine yönelik kararların alınması kolaylaşabilir, bu grupların özelliklerine uygun olarak hizmetlerin farklılaştırılmasına ve tasarlanmasına destek olunabilir. Anahtar Kelimeler: Açık ve Uzaktan Öğrenme Sistemleri, e-ÖğrenenlerinGruplandırılması, Kümeleme Analizi, Segmentasyon, TwoStep Algoritması.
Suç soruşturmalarında veri madenciliği, yapay zeka, uygulamaları ve geleceği python ve opencv ile gerçek zamanlı yüz tanıma uygulaması
Tarih boyunca, sosyal hayatta, ekonomide, bilimde ve teknolojide yaşanan gelişmeler insanlık hayatını birçok alanda etkilemiş, bu etki insanlığı iyi yönde geliştirdiği gibi aksi yönde de insanlığın gelişimini sağlamış, ilk dönemlerinden bu yana basit ve çeşit olarak az olan suçun günümüze kadar birçok alana yayılmasına ve karmaşık bir hal almasına sebep olmuştur. Bunun yanında insan nüfusunun artması da eklenince suç soruşturmalarında çeşitli ihtiyaçlar ortaya çıkmıştır. Bunların başında suçluların kimliklerinin tespit edilmesi gelmektedir. Genellikle suç soruşturmalarında kimlik tespitinde yavaş olan eski geleneksel yöntemler kullanılmakta ya da veri madenciliği ve yapay zeka uygulamaları olan biyometrik sistemler (parmak izi sistemi, retina tarama vb.) kullanılmaktadır. Bu uygulamalarda da kişinin kendine ihtiyaç duyulduğu görülmekte bu da bizim karşımıza farklı bir problem olarak çıkmaktadır. Suç soruşturmalarında kimlik tespitinde hem hızlı hem de kişinin kendisine ihtiyaç duyulmayan ve aynı zamanda her zaman güncel kişi verileri olan bir sistem şarttır. Bu çalışma da yüz tanıma sistemi ile gerçek zamanlı örnek bir uygulamayla kişinin kendisine ihtiyaç duymadan hızlı bir şekilde kimlik tespiti yapılacağı örnek bir uygulama yapılmıştır. Bu uygulama ile bir fotoğraf, video veya bilgisayara bağlı bir kameradan kişilerin yüzlerini algılayan ve bilgisayarımızdaki veri tabanına kaydeden, sonrasında ise bu görüntü ile veri tabanındaki yüz görüntüleri karşılaştırılarak kişi kimlik tespiti yapılmaktadır. Uygulama da programa 10 adet fotoğraf verisi öğretilerek, her bir fotoğraf için 30 adet yüz verisi alınmış ve toplamda 300 fotoğraf bulunan bir veri kaynağı elde edilmiştir. Program test edildiğinde (12) adet yüz verisinden (1) tanesini yanlış tanıyıp (1) tanesini de tanıması gerekirken tanımamış, %83,33'lük doğru tahmin ve %36 hata payıyla da başarılı sayılabilecek şekilde sonuç vermiştir. Böylece, klasik olarak yapılan kimlik tespit yöntemlerine alternatif olarak çevrimiçi çalışan, kontrolü yapılabilen, otomatik olarak kimlik tespiti yapabilen ve yüz görüntülerinden kimlik oluşturabilen kişi tanıma uygulaması geliştirilmiştir.
Üretim işletmeleri için finansal başarısızlığın tahmininde veri madenciliği uygulaması
Finansal başarısızlığın tahmin edilmesi ve buna ilişkin çalışmalar kırk yılı aşkın süredir ilgi gören ve literatürde geniş yer edinen alanlardan biri olmuştur. Gerek akademik gerek sektörel açıdan önemini her zaman koruyan finansal başarısızlığın tahmin edilmesine ilişkin; farklı veri setleri ve yöntemlerinden faydalanan pek çok model geliştirilmiştir. Fakat her durum ve şartlar altında geçerli olabilecek genel bir tahmin modeline rastlanmasa da; önemi itibariyle bu konuda araştırmalar artan hızla devam etmektedir. Bu çalışmada, işletmelerin finansal olarak başarısızlığını yüksek bir doğruluk yüzdesiyle tahmin edebilecek ve pek çok durum için genellenebilecek bir model geliştirilmesi amaçlanmaktadır. 2008 – 2017 yılları arasında BİST'te (Borsa İstanbul) işlem gören üretim işletmelerinin finansal verilerinden faydalanılmış, ilgili işletmelerin başarısızlığının tahmin edilmesinde veri madenciliği tekniklerinden Karar Ağaçları, Rassal Ormanlar ve Yapay Sinir Ağları yöntemleri kullanılmıştır. Çalışmada, işletmeleri finansal olarak başarılı ve finansal olarak başarısız şeklinde sınıflandırmanın yanında; tahmin doğrultusunda önlemlerin alınması ve stratejilerin geliştirilmesi açısından finansal olarak riskli işletmeler sınıfının da ele alınmasının faydalı olacağı düşünülmüştür. Çalışmanın bu yönüyle farklılaşacağı ve literatüre katkı sağlayacağı umulmaktadır. Çalışmada işletmelerin başarısızlığına ilişkin geliştirilen altı tahmin modeli, veri indirgeme işlemlerine göre farklılaştırılmıştır. Ayrıca geliştirilen modellerden elde edilen sonuçlar klasik yöntemle karşılaştırılmıştır.
E-ticaret E-devlet ilişkisi ve Türkiye'de elektronik ticaret
Globallesme çagında elektronik ticaret, firmalara zamandan, mekandan vepiyasaya giris kıtlamalarından ayrı olarak daha bagımsız bir sekilde mal ve hizmetlerinmaliyetlerinde müthis düsüsler getirme sansını dogurmustur. Bu çalısmanın ilkbölümünde e-ticaretin tanımı yapılarak önemi açıklanmıs ve e-ticaretin kategorileritartısılarak e-dönüsüm sürecinin asamaları açıklanmıstır. Genel olarak e-ticaret tümticari faaliyetler için degerler yaratır. Teknolojik degisiklikler küresellesmeninyogunlasmasıyla e-ticareti sürekli olarak gelisen ve ilerleyen bir konsept halinegetirmistir. Toplum yasamında inanılmaz degisimler yaratan bilgi ve iletisimteknolojileri temelinde gelisen ve oldukça yeni bir kavram olan e-devlet ve e-ticaret,iktisadi etkiler de dogurmaktadır. Bazı bireylerin bilgi teknolojilerine ulasmaları imkanıolmadıgı anlamına gelen dijital uçurum, bu iktisadi degisimler içerisinde sayılabilecekönemli bir unsurdur.E-devlet faaliyetleri devlet görevlerinin yerine getirilmesinde vetamamlanmasında önemli bir kavramdır. Tüm dünya için geçerli olan ve oldukça yenigelisen bu kavram, devletin vatandaslarına daha iyi hizmet sunabilmesi anlamına gelir.E-devlet faaliyetleri iyi yönetisimin unsurları arasında yer alan katılımcılık vedemokrasi ile birlikte devletin seffaflık kriteriyle hesap vermesi açısından oldukçaönemlidir. E-devlet kamu ve ekonomi yönetimi için evrimsel bir niteligi ifadeetmektedir. Kamusal faaliyetlerin internet aracılıgı ile daha iyi yönetilebilmesini saglar.Devletin birimleri, kendilerine ait web sitelerini açarak kendi faaliyetleri ile ilgili berrakve detaylı bilgiler verilmesini saglarlar.Bu çalısmada elektronik ticaret ve etkileri üzerinde durulmustur. Aynızamanda bu kavramın Türkiye ekonomisi açısından önemi, tüm dünya ekonomilerindenayrı olarak belirtilmistir. E-ticaret çok hızlı gelisen bir fenomen olarak dünya ticaretininparametrelerini degistirmekte ve dünyadaki ekonomik düsünce kalıplarını kırmaktadır.Bilgi teknolojilerindeki son gelismeler çok fazla sayıdaki ticari girisimlerin globalpiyasaya e-ticaret fırsatını kullanarak erisebileceklerini göstermistir. Çalısmanın sonbölümünde KOB_'lerde e-ticaret kullanımının önemine deginilmistir. Aynı zamanda tüm dünyada ve Türkiye'de KOB_'ler için e-ticaretin en önemli yönleri ortayakonulmustur. Son olarak devlet ve is dünyası iliskileri ve kamu özel sektör isbirligi ilee-ticaretin Türkiye'deki gelisim sürecindeki incelenmistir.
Deprem verilerinin analizi için veri madenciliği yaklaşımı
Türkiye, öncelikle deprem olmak üzere çığ, sel, yangın, heyelan gibi doğal afetlere sıklıkla maruz kalmış ve kalmaya da devam eden bir ülkedir. Bu nedenle yaşanan afetlerin yarattığı can ve mal kayıpları ile birlikte ekonomik kayıpların da azaltılması gerekmektedir. Bu da depreme hazırlık aşamasında yapılan etkili bir çalışma ile sağlanabilir. Bu tezde veri madenciliği tekniği ile deprem verilerinin analiz edilip değerlendirilmesi amaçlanmıştır. Veri madenciliği büyük miktarlardaki verinin içinden anlamlı ve yararlı ilişki ve kuralların bilgisayar programları aracılığıyla aranması ve analizidir. Kütahya ve etrafındaki 250 kilometrelik yarıçaplı çemberi kapsayan bölge uygulama bölgesi olarak seçilmiş ve çember etrafında, 1900'lü yıllardan günümüze gelene kadar meydana gelen depremlerin büyüklüğü, zamanı, derinliği, sıcak su kaynağı üzerinde olup olmaması, toprak çeşidi ve Kütahya merkeze olan uzaklığı incelenmiştir. Bu amaçla deprem verilerinin daha anlamlı hale getirilip içerisindeki gizli değerleri analiz edebilmek ve bu verileri değerlendirme imkanı bulabilmek için Weka 3.6.8 veri madenciliği yazılımı kullanılmıştır. Deprem verilerinin sınıflandırılmasında farklı yaklaşımlar kullanılmış ve yapay sinir ağlarının çok katmanlı algılayıcı ağ modeli 0.87 doğruluk oranı ile en uygun yaklaşım olarak bulunmuştur. Bunun dışında deprem verileri ile ilgili daha ayrıntılı analiz için k-ortalamalar algoritması ile kümeleme analizi gerçekleştirilmiştir.
A hybrid approach for data classification based on mathematical modelling and improved online learning algorithm for general fuzzy min-max neural network
The Fuzzy Min-Max Neural Network (FMNN) is a machine learning algorithm that utilizes hyper-boxes for classification and clustering tasks. It is built using hyper-box fuzzy sets, which allow for the representation of fuzzy data. This makes FMNN particularly effective for handling uncertain and imprecise data. Both the FMNN classification and clustering are based on this concept, making it a powerful tool for a variety of applications. Mixed integer programming models can offer improved performance and global optimality compared to other methods, but they are limited in their ability to handle large datasets because of the presence of binary variables and can be difficult to solve optimally. In this thesis, we aim to enhance the MILP model proposed by a well-known publication by providing an initial solution. This thesis presents a new hybrid approach that integrates mixed integer linear programming (MILP) and an improved online learning algorithm for general FMNN (IOL_GFMM). The IOL_GFMM method is employed to generate initial hyper-boxes to enhance the efficiency of the MILP model. The new hybrid approach is tested on both real and artificial datasets and has been shown to be efficient. The new hybrid approach significantly speeds up training time by up to 76 times and reduces the number of misclassified data by up to 17 times.
Türkçe belgelerin anlam tabanlı yöntemlerle madenciliği
Bilgisayar sistemlerinin ilk uygulama alanları veri toplama ve raporlama üzerinedir. Veri saklama kapasitelerinin ve bu verileri işleyecek bilgisayar işlemci gücünün artması ile daha fazla veriyi saklama ve inceleme imkanı doğmuştur. (Fayyad vd, 1996a). Böylece daha önce verilerden elde edilemeyen ilişkilerin, desenlerin ortaya çıkarılması mümkün hale gelmiştir. Geleneksel sorgulama yöntemlerinden farklı olan bu yöntemler veri madenciliği adı altında toplanmıştır.Veri madenciliği, verilerin içerisindeki desenlerin, ilişkilerin, değişimlerin, düzensizliklerin, kuralların ve istatistiksel olarak önemli olan yapıların yarı otomatik olarak keşfedilmesidir (Hand vd., 2001). Belge bazlı veri yığınları içinden doğru belgelerin bulunması, belgelerin birbirleri arasındaki ilişkilerin sorgulaması işlemleri için veri madenciliği alanındaki teknikler birebir uygulanabilir değildir. Bu nedenle belge madenciliği yapmak için farklı yöntemler geliştirilmiş ve bu alan metin madenciliği, belge madenciliği, yarı yapısal veri madenciliği gibi isimler altında toplanmıştır. Belge madenciliği çalışmalarında amaç belge içeriğinin, bir insan tarafından okunmuşçasına bilgisayar ortamında belirlenmesini içerir. Bu durumda belgelerin hangi dilde yazıldığı önem kazanmaktadır. Bu yönü itibariyle doğal dil işleme alanı ile belge madenciliği arasında sıkı bir ilişki doğmuştur. Hem belge madenciliği hem de doğal dil işleme çalışmaları uzun yıllardan beri İngilizce başta olmak üzere farklı diller üzerinde yapılmıştır. Türkçe doğal dil işleme çalışmalarının somut sonuçları yeni yeni elde edilmekte ve henüz net olarak araştırmacılar arasında paylaşılmış değildir. Bu nedenle doğal dil işleme tekniklerini içinde taşıyan bir Türkçe belge madenciliği çalışması yapmak, özellikle bu tez çalışmasının temellerinin atıldığı 2004 yılı içinde pek anlamlı ve mümkün olmamıştır. Bu tez çalışması Türkçe belgeler üzerinde belge madenciliği yapmak amacıyla, Gizli Anlambilimsel Dizinleme (GAD) yöntemini kullanmakta ve kelimelere uygulanan n-gram yaklaşımını bu yöntemle birleştirmektedir. Belge madenciliği çalışmalarının uluslararası çapta değerlendirilebilmesi için, her belge madenciliği yöntemi ile kullanılabilecek standart belge kümeleri geliştirilmiştir. Bu konuda Türkçe yapılan çalışmalar olmakla birlikte, standart kabul edilmiş bir derlem ya da belge kümesi henüz bulunmamaktadır. Türkçe belge madenciliği için ortaya attığımız yöntemi test edebilmek için 2000 yılından bu yada yayınlanan iş dünyası dergilerinden elde edilen makalelerden bir belge kümesi oluşturulmuş ve bu küme üzerinde sorgulama ve demetleme teknikleri kullanılarak testler yapılmıştır. Sorgulama testlerinde geleneksel GAD yöntemi, önerdiğimiz n-gram destekli GAD yönteminden geri kalmıştır. Benzer şekilde n-gram destekli GAD ile yapılan demetleme işlemi, geleneksel GAD yöntemini geride bırakmıştır. Önerdiğimiz yöntem, Türkçe belgelerin madenciliği için kullanılmıştır. Bu amaçla bir Türkçe belge kümesi oluşturulmuştur. Ancak bu belge kümesi, uluslararası standart belge kümeleri gibi Türkçe için kabul edilmiş bir standart değildir. Bu nedenle elde edilen neticelerin değerlendirilmesinde, belge kümesinin yanlılığı gibi bir sebebe dayalı subjektiflikler olduğu iddia edilebilir. Bunu ortadan kaldırmak için aynı yöntem uluslararası kabul görmüş standart İngilizce Reuters21578 belge kümesine uygulanmıştır. Türkçe belge kümesinde elde edilen sonuçlara paralel olarak Reuters21578 belge kümesi üzerinde yapılan sorgulama ve demetleme işlemleri başarılı neticeler vermiştir. Anahtar Kelimeler : Veri Madenciliği, Belge İşleme, Bilgi Çıkarımı, Bilgi Erişim, Bilgi Arama
Prediction of students' success employing data mining algorithms
Most higher education institutions now priorities student achievement as a key strategic goal. Academic institutions are focusing more on keeping students enrolled in their classes without sacrificing educational level in response to budget constraints and rising operational costs. The use of machine learning to forecast students' success using academic and behavioural data has been the subject of numerous initiatives and studies. We applied the popular machine learning algorithms in order to predict student achievement including Random Forest, Support Vector Machine, Logistic Regression etc. The employed Support Vector Machine has achieved to provide the best accuracy (93.8%) and sensitivity (98.75 %) scores. Additionaly, the implementation of stack-based ensemble model is very effective in the predicition of student success. Therefore, a stacked-based ensemble learning model is cerated in order to compare the efficiency of it in the prediction of students' succes with the other machine learning algorithms. At the end, the stacked-based ensemble model has provided the best accuracy score (93.9%) in the prediction of students' success.
Computer network traffic classification using data mining
In this work, we explore different data sets for Network Intrusion detection. Classify the attack signals from normal ones. With the increase in network connections, computer security and intrusion detection became a challenging problem. Our research used different feature selection techniques: Information gain, Gain ratio, Chi2, and Relief. We train different models based on ten thresholds with a quantization range of 10% to 90% for each feature selection algorithm we used. We train Decision trees, Random Forest, Extra trees, GradiantBoosing, XGBoost, AdaBoostm, Linear, SVM, and Logistic Regression. We use cross-validation and feature selection with different thresholds for each of these models. Then, we compare all of these models based on the validation accuracy obtained from cross-validation. The stacking model achieves 97.79% test accuracy on the UNSW-NB15 data set using only 15 features with Random Forest, Extra Trees, and XGBoost as base models (level-0 models) and Logistic Regression as a meta-classifier model. By changing the top model to MLP with 5 hidden layers we achieve 97.82% test accuracy, but the complexity of the stacking model is increased too much to improve the accuracy with only 0.03% this note should be considered when choosing the model for deployment which will affect the inference time of the stacking model.
Metin madenciliği ile metin sınıflandırma
Bilgisayarların çıkısı ve gelismesiyle her geçen gün biraz daha değisen ve gelisen bir dünyada yasamaktayız. Bilgisayarlar yasantımıza birçok kolaylık katmakta, yapılan islerin yükünü hafifletmekte, daha iyi sonuçlara, daha kısa yollardan ulasmamızı sağlamaktadır. Bilgisayarlar aynı isi otomatik olarak ve daha verimli yapacağından insan kaynaklı hatalar en aza indirgenir. Bilgisayarların gelisimine paralel olarak, insanlar daha fazla bilgiye erisim olanakları bulmus ve günden güne, çok sayıda veriyi depolayan sistemler, yani veritabanları olusturulmus ve bu veritabanlarının boyutları da günden güne büyümüstür. Çesitli tipte veritabanları mevcuttur. Metin halindeki verilerin bulunduğu veritabanlarından bilgiyi kolayca elde etmek için metin kategorizasyon yöntemleri uygulanır. ?lk zamanlarda insan aracılığıyla yapılan sınıflandırma, günümüzde doküman sayısının çok hızlı bir sekilde artması dolayısıyla otomatik olarak yapılır hale gelmistir. Bunun için, daha önceden kategorileri tanımlanmıs olan eğitim dokümanları yardımıyla metin halindeki veriler sınıflandırılabilmektedir. Tezde, amaç doğrultusunda, metin halindeki verilerin sınıflandırılmasında kullanılan metin kategorizasyon teknikleri (Naive Bayes, k-NN) ve çesitli ağırlıklandırma yöntemleri incelenmis olup, daha sonra bu teknikleri kullanarak VisualBasic.NET programlama dili ile metin kategorizasyon programı yazılmıs ve aynı zamanda ilgili tekniklerin doğru sınıflandırma olasılıkları açısından kıyaslamaları yapılmıstır. Bu tezde, metin sınıflandırması üzerinde çalısmak için Anadolu Ajansı adlı Türkçe bir veri kümesinin derlemesi sunulmustur. Anahtar Kelimeler: Metin kategorizasyonu, naive bayes ve k-nn algoritmaları, metin madenciliği, sınıflandırma, joker (wild card) yöntemi.
Lise giriş sınavında öğrenci başarılarının makine öğrenmesi teknikleri ile analizi
Son yıllarda Eğitsel Veri Madenciliği çalışmalarında Makine Öğrenmesi algoritmaları oldukça yaygın biçimde kullanılmaya başlanmıştır. Bu çalışmada öğrencilerin ders başarı notları ile bireysel ve çevresel özelliklerini içeren veri seti kullanarak LGS sınavındaki başarı tahminlemesi yapılmıştır. Çalışma aynı zamanda tek tabanlı ve topluluk (Ensemble) algoritmalarının performanslarını karşılaştırılmak suretiyle en iyi modeli de önermektedir. Oluşturulan modelleri kıyaslamada R-Squared değeri referans kabul edilirken MSE, RMSE, MAE ve MAPE metriklerine de bakılmıştır. Çalışmada aynı zamanda Feature Selection metodlarının da model performansına etkileri araştırılmıştır. Elde edilen sonuçlarda Feature Selection uygulanmadan tüm veri seti kullanılarak Stacking mimaride Super Learner model ile en iyi performans elde edilmiştir. Modelin R-squared değeri 0,79 olurken MSE 161,32 olarak hesaplanmıştır. Çalışmanın sonuçları çalışılan modelin gelişime açık bir model olduğunu ortaya koymaktadır. Öte yandan öğrencilerin öğrenim ve kişisel özelliklerini içeren veriler kullanılarak merkezi sınavlardaki başarı düzeylerinin modellenebileceğini de göstermektedir. Kullanılan bu teknik ilerleyen dönemlerde öğrencilerin güçlü ve zayıf yönlerinin belirlenmesinde ve öğrencilerin başarısının arttırılmasında önemli bir yere sahip olabilir.
Makine öğrenme yöntemleriyle öğrencilerin akademik performanslarının farklı öznitelik seçim teknikleri uygulanarak sınıflandırılması
Öğrenci ve eğitimci açısından akademik başarının artırılması her zaman istenilen durumdur. Akademik başarıyı etkileyen etmenlerin önceden bilinmesi çok önemlidir. Çalışmada, farklı öznitelik seçim teknikleri ve makine öğrenmesi algoritmaları kullanarak ortaokul öğrencilerinin akademik performanslarını sınıflandırmak amaçlanmıştır. Kullanılan veri seti, MEB'e bağlı bir ortaokuldaki 728 öğrenciden elde edilmiştir ve 24 öznitelik içermektedir. Elde edilen veri seti üzerinde ön işleme ve öznitelik seçim teknikleri uygulanmıştır. Veri ön işleme aşamasında, veri seti içerisinde yer alan kategorik değerler sayısal değerlere dönüştürülmüştür. Kullanılan veri setinin dengesiz sınıf dağılımı olduğu için SMOTE algoritması kullanılarak dengeli hale getirilmiştir. Temel veri seti ve 7 farklı öznitelik seçim tekniği kullanılarak toplam 8 veri seti elde edilmiştir. Bu veri setleri Hold out ve 5 kat çapraz doğrulama yöntemleri ile bölünmüştür. Öğrencilerin sene sonundaki başarıları 3-seviyeli sınıflandırma tekniği ile 9 farklı algoritma kullanılarak sınıflandırılmıştır. Çalışmada kullanılan sınıflandırma algoritmaları için en uygun parametre setleri deneme yanılma yöntemi ile belirlenmiştir. Öznitelik seçim yöntemleri kullanmadan, veri setindeki 23 öznitelikle kurulan Gradyan Artırma algoritmasıyla doğruluk değeri %95.17'ye ulaşılmıştır. Gömülü yöntemler ile öznitelik seçim yöntemleri kullanarak 11 özniteliğe indirgenen veri seti ile kurulun Gradyan Artırma algoritmasında doğruluk değeri %93.31'e düşmüş fakat Rastgele Orman algoritmasında doğruluk değeri %95.54'e çıkmıştır. Sonuç olarak, Rastgele Orman algoritması gömülü yöntemler öznitelik seçim teknikleri ile birlikte kullanıldığında, öğrenci performansını tahmin etmek için en etkili algoritma olduğu görülmüştür.
İstanbul'daki binaların veri madenciliği yaklaşımıyla kümelenmesi
İstanbul'daki binaların elde edilebilen verileri doğrultusunda, kat, bodrum kat, taşıyıcı sistem, kullanım amacı ve binanın zemininin jeolojik özelliklerine (özniteliklerine) göre kümelenmesi ve oluşan kümelerin haritadaki dağılımının bir konulu harita aracılığı ile gösterilmesi amaçlanmıştır. Kullanılan veriler İstanbul'a ait bina ve jeoloji verileridir. Verilerin kümelemeye girmesi için önişleme yapılmıştır. Bu aşama en zaman alıcı bölümdür. Birkaç yazılım/program yardımıyla işlemine göre hangisinde daha hızlı yapılabilirse o yazılım/program tercih edilmiştir. Bunlar MS Access, MS Excel, MapInfo, ArcMap ya da C++'da yazılan programlardır. Önişleme adımları, veri birleştirme, veri temizleme, veri indirgeme ve düzgüleme (normalleştirme) olarak sıralanabilir. Veri madenciliği kapsamında geliştirilmiş GUYTMK (DBSCAN) Harezmi yolu kullanılmıştır. Veri madenciliğindeki birçok yöntem gibi burada da kullanıcının müdahalesi gerekmiş ve deneme yanılma yoluyla belirlenen değiştirgelerin sonucunda yedi adet küme oluşturulmuştur. Daha sonra bunlardan üç tanesi kat özniteliğinde yüksek ölçünlü (standart) sapma değerine sahip olduğu için ortalama değer esas alınarak bölünmüştür. Bu kümelere bir de kümelemeye girmeyen (aykırı) değerlerin oluşturduğu yeni bir küme eklenerek toplam 11 adet küme elde edilmiştir. Bu kümelerin özniteliklere göre dağılımları hem kümeleme için kullanılan özgün nesneler hem de tüm nesneler için çizgeler halinde görselleştirilmiştir. Son olarak kümelerin ilçelere göre dağılımları çizge olarak ve konumlarına göre dağılımları da konulu harita olarak görselleştirilmiştir.
Makine öğrenmesi ile BİLSEM'de öğrenci başarısını tahmin etme
Bu tez, Türkiye'deki üstün yetenekli öğrencilerin belirlenmesi süreçlerinde makine öğrenmesi algoritmalarının kullanımını ve etkilerini incelemektedir. Çankırı ve Ankara'daki Bilim ve Sanat Merkezleri (BİLSEM) tablet uygulamasının birinci aşamasını geçen öğrencilerin verileri kullanılarak öznitelik seçimi ve model eğitimi yapılmıştır. Bu sayede uygulamada başarılı olacak öğrencilerin tahmin edilmesi sağlanmıştır. Kullanılan 19 öznitelik seçimi ve 12 tane model eğitim algoritması arasında en çok Variance Thereshold öznitelik seçimi algoritması ile birlikte RadialSVM model geliştirme algoritması 0.67 başarı oranı ile uygulamadaki başarılı öğrencilerinin tahminini yapmıştır. Bulgular, bu algoritmaların öğrenci başarılarını tahmin etmede yüksek doğruluk oranlarına sahip olduğunu göstermektedir. Öğrencilerin bireysel başarıları, ailelerin sosyo-ekonomik durumu, ebeveynlerin eğitim düzeyi ve okulun fiziksel koşulları gibi faktörlerin öğrenci başarıları üzerinde önemli bir etkisi olduğu tespit edilmiştir. Böylece, BİLSEM seçim sürecinde kullanılabilecek yeni bir karar destek sistemi önerilmiştir. Önerilen sistem, öğrenci verilerinin analizi ve modelleme süreçlerinde doğruluğu artırarak seçim sürecinin daha objektif ve adil yürütülmesini sağlamaktadır. Bu sayede, üstün yetenekli öğrencilerin erken yaşta tespit edilmesi ve uygun eğitim programlarına yönlendirilmesi mümkün olacaktır.
E-ticaret sitelerine öneri sisteminin uygulanması
Dijitalleşme sadece metalar ve maddi varlıklar doğrultusunda değil, kişilerin davranış ve alışkanları üzerinden de mümkün bir hâle gelmiştir. Bu durum, birçok alan ve amaç için yeni veri depolarının doğmasına sebebiyet vermiştir. Söz konusu veri kaynaklarını kullanmak ise başta e-ticaret olmak üzere çeşitli alanlarda verimliliğin artmasında rol oynamıştır. Bu çalışmada, depolanan verilerin aktif bir şekilde kullanılabilmesi adına geliştirilmiş olan veri madenciliği, veri madenciliğinde maksimum fayda sağlayan öneri sistemleri ve öneri sistemlerinin verimli kullanımına katkı sağlayacak öneri sistemi uygulamaları ele alınmıştır. Detaylandırılmış alt kısımlarla birlikte dört ana bölüme ayrılmış olan bu çalışmada öncelikle veri madenciliğine yer verilmiştir. Her bir ana bölüm içeriğine bağlı olarak alt kısımlara ayrılmış olup ana başlıkla ilgili tüm detayları içerecek şekilde hazırlanmıştır. Olası problemlere çözüm önerileri verilirken ihtiyaçlar birçok farklı açıdan da değerlendirilmiştir. İlk bölümde yer verilen veri madenciliğinin tanımsal kavramlarıyla birlikte süreçleri ve modelleri, yol haritalarıyla desteklenip konu bağlamında anlatılmıştır. Bu bölüm, ana fikri destekleme noktasında önem taşımanın yanında çalışmanın üzerine oturtulduğu temellerden biri olarak da görev yapmaktadır. İkinci bölüm ise veri madenciliği ile elde edilen verilerden yola çıkarak uygulamaya konulan öneri sistemlerine ayrılmıştır. Öneri sistemlerinin kullanım amaçları, uygulama yöntemleri ve faydalarının yanı sıra getirdiği zorluklar da incelenmiştir. Ayrıca e-ticaret sektöründeki aktif ve gelişmeye devam eden öneri sistemlerinden de bahsedilmiştir. Literatür araştırmasının yer aldığı üçüncü bölümün ardından dördüncü bölüm olan materyal yönteme geçilmiştir. Burada da veri madenciliği temelinden ve öneri sistemleri bağlamından kopulmamış olup ilk olarak sistem verilerine değinilmiştir. Sistem verileri, aktivite verileri ile desteklenmiştir. Bu süreçte proje tasarımları ve yapılması gereken analizler de öne sürülmüştür. Son kısım, veri madenciliğini doğru ve etkin bir şekilde uygulayıp majör faydalara erişimin stratejisini belirleme açısından önem taşımaktadır. Bu çalışma, öneri sistemi uygulamalarının mevcut verimini yukarı taşımak için bir ihtiyaç olarak doğan segmentasyon, analiz ve filtreleme süreçlerini yönetebilmek adına önermeler sunmaktadır. Söz konusu önermeler sunulurken istatistikler ve örnek çalışmaların performansları referans alınmıştır.
Automated patent classification from the perspective of technology management: Deep learning methods and transformer models
Patents have become a widely used source of data for technology development, monitoring, and prediction due to their ability to disclose prior technologies and provide information about new technologies. Examining a patent application and assigning it to the appropriate class is a time-consuming and labor-intensive process for the patent expert. Automatic patent classification approaches can significantly help with this problem. The aim of this thesis is therefore to make a contribution to solving this problem on the basis of various leading studies. The thesis comprises four studies, which can be summarized as follows. The first study includes a bibliometric analysis of automatic patent classification. The second study evaluates patent texts using a hierarchical attention mechanism. The third study compares ensembled deep learning methods with the transformer encoder model. The last study investigates how the pre-trained Bert model addresses the challenge of automatic patent classification. It is worth mentioning that the studies conducted in this thesis aim to provide practical and useful solutions for automatic patent classification
Improvement of classification performance for triple test using data mining approaches
The triple test is a screening test used to calculate the probability of a pregnant woman having a fetus that has an aneuploidy. AFP (Alpha-Fetoprotein), hCG (Human Chorionic Gonadotropin), and uE3 (Unconjugated Estriol) values of pregnant women are computed and compared with the similar records where the outputs (healthy baby or having a disease) are actually known. Bayes theorem is combined with a prior probability derived from maternal age at expected date of delivery is used to calculate the likelihood ratio of a fetus to have diseases like Down syndrome. Current approaches to the calculation of likelihood are known to produce high bias. In this paper, a data mining analysis has been performed to find the best model that is capable of explaining the likelihood of a fetus to have an aneuploidy. 81 triple test records of actually completed pregnancies have been analyzed. 76 of the 81 singleton pregnancies were detected unaffected and 5 of them associated with Down syndrome. The number of 5 pregnancies were increased to 50 pregnancies with the over-sampling technique SMOTE (Synthetic Minority Over-sampling Technique). The Multilayer Perceptron model provided the least false positive rate (13%) and the best detection rate (94%) among several modeling alternatives with the proposed approach. It has been seen that performance of the triple screening test has been significantly improved when compared to the conventional risk assessment.
Product search engine using product name recognition and sentiment analysis
In this study, a novel product search engine system which consists of a focused crawler, a record linkage system and a sentiment analyzer is proposed. We develop an original focused web crawler for E-commerce sites, and the challenges and our proposed solutions are presented in detail. A sentiment analyzer is developed to classify E-commerce product comments into polarities as negative or positive. A novel record linkage system for E-commerce products is proposed to recognize the same product names collected from different E-commerce sites. The record linkage system is based on a modified dynamic/incremental Hierarchical Agglomerative Clustering algorithm which employs our proposed product code matching system to reduce number of product name comparisons during clustering. In addition to these systems, a search system and a user interface are developed for the product search engine. In this thesis, we present a full scale product search engine that obtains %472 performance boosts in the crawler, 91.08% accuracy in the sentiment analysis, 96.25% F-measure in the record linkage, and 100% precision in most related products search. The proposed system achieves to provide better user experience than the existing systems.
Effects of feature extraction techniques on classification of turkish texts
The purpose of this thesis is to determine the most effective method for extracting features and to develop an effective method of selecting features for the classification of Turkish documents in different types. We analyze the effects of preprocessing methods, weighting schemes, and feature selection on the performance of Turkish document classification. In the study, 5 different term weighting methods that are tf, tp, logtf, normtf, tf*idf are compared and it is found that "tf" and "tf*idf" give the best results. After that effects of stopwords removal are investigated, and it is observed that stopwords removal improves classification performance. Then we compare 5 different stemming algorithms that are Zemberek, Affix Stripping, Fixed Prefix 3, 5, and 7 to find out the effects of stemming algorithms on the classification. The results of classification obtained from applying stemming and using the raw form of terms are compared, and the raw form of terms gives more accurate classification results. The effects of n-gram based feature extraction, and feature selection methods that are our proposed standard deviation based method, well-known information gain, and chi-square algorithms are compared. The experimental results indicate that the n-gram feature extraction and standard deviation-based feature selection algorithms give the best results and these methods improve the classification accuracy positively.
Benzetim verileri üzerinde dağıtılmış hizmet reddi saldırılarının tespiti için bir yaklaşım
Veri madenciliği, verilerin toplanması, temizlenmesi, işlenmesi, analiz edilmesi ve verilerden yararlı bilgiler elde edilmesi süreçlerinin tamamına verilen isimdir. Bilgisayar endüstrisinde en hızlı büyüyen alanlardan biridir. Bilgisayar biliminde ve istatistikte küçük bir ilgi alanı olarak başlamış ve hızla kendi alanını oluşturmaktadır. Büyük veri kümelerine uygulanabilmesinden dolayı, perakende, üretim, telekomünikasyon, sağlık, sigorta ve ulaşım gibi neredeyse tüm sektörlerde kullanılabilmektedir. Tahmin tabanlı modelleme üzerine yapılan çalışmalar, son zamanlarda artış göstermektedir. Özellikle sağlık, hizmet, bilişim alanında modelleme tabanlı algoritmalar oldukça sık kullanılmaktadır. Bu çalışmada amaçlanan Dağıtılmış Hizmet Reddi saldırılarını tespit etmek için veri madenciliği temelli bir tahmin modeli oluşturmaktır. Bu model saldırıların ilk başladığı anda sisteme vereceği zararı tahmin etmek ve saldırının başarı yüzdesi hakkında tahminde bulunabilmektir. Bu çalışmada gerçek hayat dağıtık hizmet engelleme saldırı senaryoları baz alınarak 500 durum içeren simüle veri üretilmiştir. Veri setinde bulunan bağımsız değişkenler paketlerin yaşama süresi, atak yapılan paket sayısı, düşük ağ performansı durumu, web sitelerine erişimde yavaşlık durumu, ağ bağlantılarında kesilmeler olup olmaması, spam e-postaların sayışında artış olup olmaması, web sitesinin belli bölümlerine erişimin engellenmesi durumudur, bağımlı değişken ise yapılan atağın başarı durumudur. Bu çalışmada sınıflandırma yöntemi olarak literatürde sık kullanılan ve iyi bir performansa sahip Random Forest yöntemi ele alınmıştır.
Hastane bilgi yönetim sistem verilerine veri madenciliği ile işlerlik kazandırılması için bir adım : K-ortalama algoritmasında uygun parametre seçimi
Sağlık kurumları yöneticileri; finansal, tıbbi işlemleri, teknolojik gelişmeleri ve risk faktörleri gibi çok sayıda alt sistemleri de yönetebilmelidir. Yöneticilerin kuruluşlarını güvenli, verimli yönetebilmeleri, sorumluluklarını daha iyi yapabilmeleri, yönetsel becerilerini daha kolay ortaya koyabilmeleri için Hastane Bilgi Yönetim Sistemlerine (HBYS) ihtiyaç duyulmaktadır. Sağlık alanında toplanan manuel veya tıbbi cihazlardan elde edilen farklı formattaki tıbbi verileri, bilişim ve iletişim teknolojilerdeki gelişmelere bağlı olarak dijital ortamlara aktarılmaktadır. Ülkemizde HBYS'lerin yapısal gelişiminde ilerlemeler olmasına rağmen, sistemde toplanan verilere hala yeteri kadar işlerlik kazandırılmış değildir. HBYS'ler sağlık yöneticilerine yardımcı olacak bazı raporlar içerse de, veriler arasında çoklu bağlantıları ortaya çıkarabilecek raporları kapsamamaktadır. Veri madenciliği yöntemlerinin sistemlere adapte edilmiş olmaması, veri-bilgi dönüşüm sürecini yönetebilecek deneyimli ve yeterli bilgi seviyesi olan sistem sorumluların bulunmaması bu sistemler için önemli bir eksikliktir. HBYS'lerin uygun analiz yöntemlerle entegre olmuş, kolay kullanılabilen daha kapsamlı tasarlanmasına ihtiyaç vardır. Tıp alanındaki bilimsel çalışmalarda veri madenciliği kümeleme yöntemlerinden K-ortalama algoritması yaygın olarak kullanılmaktadır. Ancak K-ortalama algoritmasının başlangıç parametreleri olan küme sayısının ve başlangıç merkezlerinin kullanıcı tarafından belirlenmesi gereği algoritmanın önemli dezavantajıdır. Bu probleme çözüm olabileceği düşünülerek, yöntemin parametre değerlerine ihtiyaç duyulmadan çalışan mevcut algoritmayı geliştirmek amaçlanmıştır. NAMGY (Noktalar Arası Mesafe ve Gözlemlerin Yoğunluğu) isimli algoritmayı içeren yazılım ile HBYS'lerdeki veriler kullanarak hastane yöneticilerin ihtiyac duyduğu bilgiler daha kolay rapor edilebilecek ve atıl olarak biriken büyük miktardaki veriler işlerlik kazanmış olacaktır. Ek olarak, çalışma NAMGY K-ortalama algoritması, HBYS verilerinin bilgiye dönüştürülmesinde daha kolay ve kullanıcı dostu yazılım ile sağlık kurumları yönetimine katkı sağlayıp, kurumlar için ekonomik açıdan bir değer oluşturacaktır.
Veri madenciliği tekniklerini kullanın enfeksiyon kanıtını belirlemek Irak'ta coronavirus "Covid-19"
As the novel coronavirus pandemic spreads all over the world, countries continue to develop different ways to combat it and limit the spread. As part of the measures taken to combat the virus, information on diagnostic methods, infection symptoms, and the latest research regarding treatment and vaccine has been updated. The main objectives of this research is, to reduce the enormous burden on the healthcare system by providing the best way to diagnose patients and predict the infection of Covid-19 effectively. Moreover, focuses on the most important and demanding medical-appropriate data mining algorithms and aims to explore how data mining can assist physicians in diagnosing Covid-19. Also, to observe a large flow of data through official reports, together with the number of epidemiological and scientific studies in the field of Covid-19. A database was created specifically for (Covid-19) disease, based on one clinical diagnosis sheet organized by the Iraqi Ministry of Health, which is used to detect cases of infection with the virus, (the number of samples was 727). The database included 28 features that were actually associated with the disease to determine the infection because there are many algorithms and data mining tools available, this study considers them only a few tools to evaluate these applications and develop classification rules that can be used for forecasting. Nine algorithms were utilized to determine the most efficient algorithm to build the model. The Random Forest algorithm (RF) received the overall best performance compared to other models in terms of the classification accuracy of 86.30 % to determine the incidence of the virus.