Doğal dil işleme
Bu konu başlığı altında 129 tez
Dönüştürücü dil modellerine etkili hassas ayar yapmak için veri mühendisliği yöntemleri
Geleneksel yöntemlerle metinden öznitelik çıkarmak ve bir doğal dil işleme görevini yerine getirmek mümkündür, fakat kısıtlı miktardaki etiketli veriyle cümle yapısı ve kelime vektörleri yeterince öğrenilmediği için model performansı kısıtlı kalmaktadır. Bu sebeple son yıllarda araştırmacılar önceden eğitilmiş dil modellerine hassas ayar yapmayı, geleneksel yöntemlere göre daha çok tercih etmektedir. Büyük miktarda veriyle hazırlanan önceden eğitilmiş dönüştürücü dil modelini kullanarak belirli bir görev üzerinde hassas ayar yapmak birçok doğal dil işleme görevinde en yüksek performansı vermektedir. Etiketli veri hazırlamak maliyetli bir işlem olduğu ve etiketli veri sınırlı bir kaynak olduğu için araştırmacılar az veri kullanarak daha iyi sonuç alma yöntemlerini incelemektedir. Bu sebeple veri arttırma yöntemleri olarak aktif öğrenme ve zayıf denetim yolları kullanılmıştır. Aynı zamanda yarı denetimli ve denetimsiz yöntemler de üzerinde çalışılan araştırma konuları olmuştur. Bu tezin kapsamı ise, kısıtlı miktardaki etiketli veri kullanılarak, dönüştürücü dil modellerine en etkili hassas ayar yapma yöntemini araştırmaktır. Etkili hassas ayar yapmak için çapraz dilli eğitim, zayıf denetim, geri çeviri, aşırı örnekleme, aktif öğrenme gibi veri mühendisliği yöntemleri kullanılmıştır. Bu tez kapsamında incelenen konu üç farklı doğal dil işleme görevi üzerinde incelenmiştir. Bu görevler, kontrole değer iddiaların tespiti, taraf tespiti ve konum tespitidir.
A natural language processing aided relational information management approach for architectural knowledge fabrication
Throughout the ages, the cumulative production of knowledge has driven civilization forward. The knowledge fabrication process is extracting and analyzing meaning from unstructured information heaps and the knowledge of architecture is not an exception to this. Accordingly, the organization of this information is one of the most vital elements for developing disciplines. Human collects and juxtaposes information within its capacity and limitations, which may inadvertently lead to biased and bounded conclusions. Therefore, no matter how detailed and extensive the content of architecture is, the fabricated knowledge will be within the boundaries of the researcher's knowledge, interest, and capacity. There is a complex body of data for the architecture discipline spread over many fields and fed from various disciplines, events, and approaches. It can be claimed that each piece of information that dwells in architecture is relationally intertwined with each other creating a network. This study aims to try a new relational information organization method for architecture that might lead to new theoretical expansions by making complex and undiscovered relational analyzes readable and manageable for researchers' perceptions. Obsidian.md was deemed appropriate for this study, which is a hypertext-based networked content tool that produces layered, relational, and expandable networks between semantic data pieces. With a potential auxiliary tool to embody and simulate the network of relationships for architectural knowledge, it is aimed to manage the chaotic information into meaningful and readable expertise to the human and reveal uncharted associations for researchers. Due to the sheer volume of data and the need for a systematic, consistent, and rapidly established structure, the use of artificial intelligence algorithms for such a tool has emerged. For this reason, the artificial intelligence field NLP (Natural Language Processing), which is used for semantic data organization, is included in the study. The scope of the thesis covers two themes: the presentation of NLP and a relational content management tool as a possible axillary tool for architectural information organization; and the investigation of fundamental principles and definitions to be used for this NLP aided content management approach for structuring and exploration of architectural knowledge. As a result of the study, a workflow was established between NLP technology tools and Obsidian.md. Within the scope of the determined subject Ankara Roman Bath, a relational knowledge network was obtained through the Obsidian.md tool and the integration of future source texts into this network graphic was optimized.
Avrupa Birliği kamu alımı ihaleleri ilan metinlerinin ekonomik etkilerinin doğal dil işleme ile incelenmesi
Küresel bazda kamu alımları 11 trilyon dolar tutarı ile muazzam bir ekonomik aktiviteye denk gelmektedir. 250 binden fazla Avrupa Birliği kamu otoritesi her yıl Avrupa Birliği'nin (AB) gayri safi yurtiçi hasılasının (GSYİH) yüzde 14'ünü oluşturan yaklaşık 2.3 trilyon euroyu kamu alımları için harcamaktadır. Yapılacak küçük çaplı iyileştirmeler bile kamu kaynaklarının kullanımını büyük ölçüde etkilemektedir. Bu nedenle kamu kaynaklarının etkin kullanımı için rekabetçi ve maliyet etkin kamu alım süreçlerinin oluşturulması önem arz etmektedir. Kamu otoriteleri ise piyasa rekabet gücünün sağlanması, verilerin şeffaflığı ve güvenilirliği gibi Avrupa Birliği Komisyonunun direktiflerininin uygulamasından sorumludur. Kamu alımları faaliyetlerini kontrol edebilmek için ilan edilmeden önceki süreçte ihale ölçütlerini tahmin edebilmek önem arz etmektedir. Binlerce belge içerisinden ihale ölçütlerinin belirlenmesi başlı başına önemli bir problem olarak karşımıza çıkmaktadır. Bu çalışmada kullanılan veri kümesi, 2011'den 2018'e kadar 22 AB üye ülke dilini kapsayan AB'nin Resmi Gazetesine Ekinin çevrimiçi versiyonu olan Tenders Electronic Daily'deki (TED) kamuya açık sözleşme belgelerindeki sözleşme açıklama metinlerinden derlenmiştir. Gerçek veriler kullanılarak yapılan deneylerde, çok dilli hassas ayarlanan dönüştürücü modeller, cümle temsil vektörleri tabanlı yaklaşımlar ve öznitelik tabanlı yaklaşımlar önerilen metotlar olarak sunulmaktadır. Önerilen metotlar yalnızca ilan açıklamalarını kullanarak tek teklifli sözleşmeler, toplam teklif sayısı, yabancı firma sözleşmeleri ve sözleşme fiyatının etkinliği olmak üzere dört ekonomik ölçütü tahmin etmek için kullanılmaktadır. Önerilen yöntemler, tüm tahmin görevlerinde kelime frekans vektörlerini ve ekonomik göstergeleri kullanan modeller de dahil olmak üzere tüm temel modellerden daha iyi performans göstererek, ilan açıklamalarının kamu ihalelerinin sonuçlarında önemli bir rol oynadığını göstermektedir. Ayrıca, çok dilli eğitimin tüm görevlerde orjinal dildeki eğitime göre tahmin performansını geliştirdiği görülmektedir. Bu ise kullanılan veri kümesinin diğer ülkelerin kamu ihale ilanları için de kullanılabileceğini göstermektedir. Geliştirilen modeller, kamu ihale yetkilileri tarafından ihale ilanlarının inceleme sürecini otomatikleştirmek ve düşük rekabete neden olanları tespit etmek için kullanılabilir. Ayrıca katılımcı firmalar karşılaşacakları potansiyel rekabeti tahmin etmek için geliştirilen modelleri kullanarak daha öngörülebilir kararlar alabilir ve geleceğe yönelik risklerini azaltabilirler. Aynı zamanda belirtilmelidir ki geliştirilen modeller sadece kamu alımı ilan metinlerindeki açıklamaları kullanmaktadır. Bu nedenle model performansları ihale süreçlerini etkileyen diğer ekonomik etkenler dahil edilerek iyileştirmeye açık olmakla birlikte bu çalışmanın kapsamının dışında kalmaktadır.
Yoğun bakım hastalarının mortalite ve hastanede kalma sürelerinin derin öğrenme yöntemleri ile tahmini
Günümüzde dijital dönüşüm hızının artması ile beraber fiziksel olarak saklanan verilerin elektronik ortamlara aktarılması da hız kazanmıştır. Bu durum, birçok alana olduğu gibi sağlık alanına da doğrudan yansımıştır. Geçmişte fiziksel olarak saklanan hastaya ait kayıtlar bu sayede dijital ortamlara geçirilmiştir. Dijital ortama aktarılan hastaya ait demografik bilgiler, laboratuvar sonuçları, yaşamsal gözlem verileri, klinik notlar, tanı kodları ve benzeri birçok veri Elektronik Sağlık Kaydı (ESK) olarak tanımlanmaktadır. Sağlık alanındaki dijital dönüşüme ek olarak, derin öğrenme yöntemlerine olan geniş ilgi, araştırmacıları, finans, sosyal medya, siber güvenlik gibi birçok alanda yapay zeka yöntemlerini kullanmaya teşvik etmektedir. Elektronik sağlık kayıtlarının araştırmacılar için kullanılabilir hale gelmesiyle birlikte, bu veri setlerini kullanarak derin öğrenme modelleri geliştirmeye olan ilgi artmaktadır. Tez kapsamında yapılan deneylerde, günümüzdeki en popüler ve erişilebilir elektronik sağlık kayıt veri seti olan Medical Information Mart for Intensive Care (MIMIC-III) kullanılmıştır. Yoğun bakımda yatan hastaların, yaşamsal gözlem verilerini ve diğer klinik bilgilerini ölçerek, hastaların mevcut sağlık durumlarını anlamlandırmak ve gelecek sağlık durumlarını tahmin etmek önemli bir problemdir. Tez kapsamında, hastaların hastane içinde ve yoğun bakımda mortalite ihtimalleri ile yoğun bakımda 3 ve 7 günden fazla kalıp kalmayacakları çok-kipli derin öğrenme tabanlı yöntemler ile tahmin edilmiştir. Gerçekleştirilen çalışma üç ana bölüme ayrılmıştır. İlk bölümde, yoğun bakımda yatan hastalara ait yaşamsal gözlem verileri, laboratuvar sonuçları gibi özniteliklere ek olarak hastalara ait klinik notlar da model eğitimine dahil edilmiş ve modelin klinik problemleri tahmin etme başarısı arttırılmaya çalışılmıştır. İkinci bölümde, klinik notların doğrudan kullanılması yerine, varlık isim tanıma yöntemi ile notlar içerisinden medikal terimlerin çıkartılması sağlanmıştır. Elde edilen medikal terimlerin, mortalite ve yoğun bakımda kalma süresi tahmini problemlerine etkisi araştırılmıştır. Yapılan son çalışmada ise, hastaların zaman serisi özniteliklerine ilave olarak, hastaların yoğun bakımda kaldıkları süre boyunca kullandıkları ilaçların moleküler temsilleri kullanılmış ve klinik problemlerin tahminine etkisi üzerine deneyler yapılmıştır. Ek olarak, bu çalışma sonunda, hastanede mortalite tahmini için eğitilen modelin açıklanabilirliğini arttırmak amacıyla SHapley Additive exPlanations (SHAP) yöntemi kullanılmıştır. SHAP yönteminin çıktısı, zaman-serisi ve klinik ilaç özniteliklerinin model üzerindeki etkisininin daha derin bir analizinin yapılmasını sağlamaktadır. MIMIC-III veri seti içerisinde hastaya ait farklı veri türlerinin bir arada bulunması, tez kapsamında yapılan deneylerde bu veri türlerinin bir arada kullanılabilmesine ve farklı deneylerin gerçekleştirilebilmesine olanak sağlamıştır. Farklı veri türlerini aynı model içerisinde kullanabilmek için çok-kipli derin öğrenme tabanlı yöntemler önerilmiştir. Yapılan deney sonuçları incelendiğinde, zaman-serisi özniteliklerin yanı sıra hastaya ait klinik notların, medikal terimlerin ve ilaç bilgilerinin modele girdi olarak verilmesinin, klinik problemlerin başarımına olumlu yönde etki ettiği görülmüştür.
Sosyal medyada kullanıcı gizliliğini korumak için taraf tespiti görevinde dönüştürücü dil modellerini yanıltma yöntemleri
Doğal dil işleme alanındaki heyecan verici yeni gelişmeler dillerin karmaşıklıklarının daha iyi anlaşılmasını, metinler üzerinden yapılan anlam çıkarımları ve analizlerle daha başarılı sonuçlar ortaya koyulmasını sağlamıştır. Doğal dil işleme modelleri için geniş veri kümeleri sunan sosyal medya platformlarının kullanımı her geçen gün artarak insanların günlük hayatlarının önemli bir parçasına haline gelmiştir. İnsanlar, sosyal medya platformları üzerinden paylaştıkları metinlerde duygularını, düşüncelerini, deneyimlerini ve kendileriyle ilgili kişisel birçok bilgiyi ifade edebilmektedir. Yapay zekâ modellerinin, bu verileri insanların takip edilmesinde kullanabilmesi, kullanıcılarda önemli gizlilik endişelerini de beraberinde getirmiştir. Bu tez çalışmasında, sosyal medya platformlarını kullanan bireylerin yapay zekâ modelleri tarafından tespit edilememeleri için yapabileceklerini araştırıyoruz. Araştırmamızda birçok konuda kullanıma açık olan taraf tespiti görevini çeşitli konulardaki Türkçe ve İngilizce veri kümeleriyle ele alıyoruz. BERT ve BERTurk tabanlı dönüştürücü modellerini, yanıltmak amacıyla yeniden ifade etme ve kasıtlı yazım hataları yapma tabanlı yöntemler öneriyoruz. Önerilen 13 farklı yöntemin modellerin performanslarını etkileme seviyelerine göre etkinliklerini araştırıyoruz. Deneylerimiz sonucunda, yazım hataları karşısında BERT ve BERTurk tabanlı modellerin performanslarının belirgin bir şekilde düştüğü gösterilmiştir. Yazım hatalarına yönelik yöntemlerden iki dilde de en etkili yöntemlerin görsel olarak benzer karakterleri birbirleri yerine kullanma, boşluk ekleyerek kelimeyi bölme ve kelimelerdeki harflerin sıralarını karıştırma olduğu sonucuna ulaşılmıştır. Fakat bunula birlikte, yeniden ifade etme yöntemlerinin bu modellerin performanslarını etkileme konusunda başarılı olmadığı görülmüştür. Yöntemlerin uygulanmasında manuel ve otomatik olmak üzere iki farklı yöntem kullanılmıştır. Yöntemlerin otomatik uygulanması sonucunda elde edilen metinlerin hâlâ eski anlamlarını koruyarak okunabilir olması istenmiştir. İki değerlendirici tarafından bu kontroller sağlanmış olup harf sıralarını karıştırma, hashtag silme ve boşluk ekleme yöntemleri kullanılarak yapılan otomatik değişiklikler sonucunda okunurluğun azalması ve anlam değişmeleri gibi durumlar tespit edilmiştir. Bu sebeple bu yöntemlerin uygulanması konusunda daha dikkatli olunması gerektiği sonucuna ulaşılmıştır. Diğer bir nokta ise hashtag'lere dayalı yöntemlerde hashtag seçimleri oldukça önemli olup modellerin daha iyi performans göstermesine de sebep olabilmektedir. Bununla birlikte hashtag silme ve hashtag kullanılmaması çoğu durumda daha etkili sonuçlar vermiştir. Önerdiğimiz yöntemler ve elde ettiğimiz sonuçlar, bilgi ve gizliliklerini yapay zekâ modellerinden korumak isteyen kullanıcılar için yol gösterici nitelik taşımaktadır.
Soğan mimarisinde metin içeriklerinin yapay zekâ destekli modeller ile değerlendirilmesi ve dağıtımı
Bu tez çalışması, müşteri geri bildirimlerinin yapay zekâ destekli modellerle analiz edilmesi ve elde edilen içgörülerin soğan mimarisi kullanılarak dağıtılmasını amaçlamaktadır. Araştırma, özellikle havayolu taşımacılığı sektöründe müşteri memnuniyetini artırmak ve hizmet kalitesini iyileştirmek için yenilikçi yöntemler sunmayı hedeflemektedir. Tez kapsamında, doğal dil işleme (NLP) teknikleri ve derin öğrenme modelleri kullanılarak metin tabanlı müşteri yorumları analiz edilmiştir. Çalışmanın birinci amacı, müşteri yorumlarından anlamlı içgörüler elde etmek olup, bigram, trigram analizleri ve duygu analizi gibi yöntemlerle müşterilerin yoğunlaştığı konular ve duygusal tepkileri belirlemektir. İkinci amaç, duygu analizi ile müşteri memnuniyetini değerlendirerek pozitif, negatif veya nötr duyguların sınıflandırılmasını sağlamaktır. Üçüncü amaç, elde edilen analiz sonuçlarının soğan mimarisi ile etkin bir şekilde dağıtılmasıdır. Bu mimari, yazılım geliştirme süreçlerinde katmanlı ve modüler bir yaklaşım sunarak uygulamaların sürdürülebilirliğini ve esnekliğini artırır. Son olarak, dördüncü amaç, müşteri geri bildirimlerinden elde edilen verilerle hizmet kalitesini iyileştirmek için karar destek sistemleri geliştirmektir. Araştırma kapsamında kullanılan veri seti, havayolu sektöründe müşteri deneyimlerine ait metin tabanlı yorumları içermektedir. Bu yorumlar, doğrulama durumu, içerik, değerlendirme puanı, tavsiye durumu ve duygu analizi gibi bilgiler içermektedir. Veri seti, duygu analizi için ön işleme tabi tutularak eğitim ve test seti olarak ayrılmıştır. Derin öğrenme modelleri ve optimizasyon algoritmaları kullanılarak elde edilen sonuçlar, hizmet kalitesinin artırılması ve müşteri memnuniyetinin iyileştirilmesi için stratejik öneriler sunmaktadır.
Evaluating zero-shot learning capabilities of vision-language models
Vision-Language Models (VLMs) stand at the forefront of artificial intelligence research, aiming to bridge the gap between visual content and natural language understanding. Their significance lies in their potential to enable machines to comprehend and interact with the world in a more human-like manner. However, the evaluation of VLMs poses twofold challenges that require careful consideration and innovative approaches. One of the primary challenges in evaluating VLMs revolves around understanding the intricate relationship between visual and linguistic information. While these models are good at processing individual modalities, such as images, videos, or text, effectively integrating these modalities to derive meaningful insights remains a complex task. Particularly in dynamic and context-rich scenarios, VLMs must navigate diverse visual stimuli while interpreting accompanying textual cues, requiring robust mechanisms for cross-modal fusion and comprehension. Furthermore, the lack of transparency in VLMs adds another layer of complexity to their evaluation. While these models may exhibit high performance on benchmark datasets, understanding the underlying reasoning processes and knowledge representations remains elusive. Deciphering how VLMs leverage their learned knowledge to generate responses and make predictions is essential for gaining insights into their capabilities and limitations. This thesis addresses these challenges by conducting a comprehensive comparative analysis of Multimodal Large Language Models (MLLMs) and Video-Language Models (VidLMs). It focuses on their ability to bridge the semantic gap between visual inputs and linguistic outputs. Through empirical evaluation, this research examines the strengths and limitations of these models in comprehending and articulating visual content in both static and dynamic contexts. This thesis makes two main contributions. Firstly, it conducts a comprehensive analysis of few-shot In-Context Learning (ICL) and Chain-of-Thought (CoT) strategies on MLLMs, revealing that these strategies can significantly boost performance compared to zero-shot settings. Secondly, it introduces a novel zero-shot foiling test for VidLMs, designed to assess their proficiency in recognizing actions and actors within dynamic scenes. The findings indicate that current VidLMs face challenges in temporal reasoning and action recognition, performing only marginally better than chance, thereby highlighting the imperative for advancements in VidLMs architectures to effectively handle spatio-temporal tasks. In conclusion, this thesis sheds light on the performance of MLLMs and VidLMs, offering valuable insights and identifying areas for future improvement. It indicates the importance of ongoing innovation in multimodal architectures to develop more robust and contextually aware language models capable of bridging the gap between visual content and natural language.
Developing a comprehensive emotion lexicon for Turkish
Social media and mood meters on websites have made expressing ideas easy and clear. These communication channels have produced useful data that can be used across disciplines. These data have helped researchers in several ways. Such investigations, also called text analysis, can yield materials from politics to psychology. Emotion analysis, focuses on the extraction of emotions from textual data. Extraction from texts enables the conduct studies that have interdisciplinary applications. For one, emotional analysis can provide insights into the sentiments and emotions experienced by customers towards a particular product, service, or brand. This data has the potential to enhance customer satisfaction and foster customer loyalty. Emotional analysis also holds potential in fraud detection as it enables the identification of distinctive patterns of emotional language that are closely linked to fraudulent behavior. When the recent studies on emotion analysis in Turkish are analysed, it is seen that mostly English sources are translated into Turkish. However, it is inevitable that there are structures that cannot be translated and suffixed languages such as Turkish make this structure even more complex. For this purpose, our main hypothesis in this study is that the data used in a language analysis should be in its own language. In this way, an accurate and more reliable analysis will be possible. For this, it was decided to create a emotion analysis data containing many emotions in Turkish. While this thesis was being prepared, studies were carried out in three main phases. In the first phase, it was aimed to create a data that can be used with emotions in Turkish by using 100 literary works. For this purpose, 213 different emotions in Turkish were searched in the sentences taken from the books and the number of times the words were used with the related emotion was recorded. Thus, a word for each emotion and an emotion-word vector containing the number of times the word occurs with that emotion were created. In the next phase, it was aimed to cluster these emotions by using clustering algorithms on the data to form groups with each other. For this, firstly, words that do not make sense in the data were removed and the data was scaled. Since the data is very large and sparse on these processes, valuable words were used by putting this data into PCA structure. Then, these data were tested on different clustering algorithms and results were obtained. Finally, an interface was created to test the behaviour of text input. Afterwards, the distance between the input text and the emotion vectors was calculated with the cosine distance formula to extract emotions from input data. The results of the model created using texts of different lengths and with different emotions were evaluated. A cross-validation study was conducted to compare the emotion assignments from the study and ChatGPT. A consensus was reached by four individuals regarding the experience of at least one emotion among the five identified emotions, thus indicating successful recognition of the predominant emotion conveyed in the text.
Türkçe metinlerde duygu analizi için yapay zeka çeviri araçlarının etkisi
Duygu analizinde, belirli bir görev için en verimli modeli belirlemek genellikle zordur. Zaman, maliyet ve başarım gibi kriterler model seçiminde belirleyici rol oynar. Bu nedenle modellerin performanslarının karşılaştırılması önem taşır. Ön eğitimli dil modellerinin bazıları sadece İngilizce olarak eğitilmiştir ve bu modeller ile Türkçe metinler üzerinde duygu analizi yapabilmek için çeviri yapılması gerekmektedir. Hatalı veya eksik çeviri ile İngilizce eğitilmiş modellerde doğru başarımlar elde edilemeyeceğinden çeviri aşaması oldukça önemlidir. Bu çalışmada GPT, Google Translate ve Amazon Translate servislerinin İngilizce çeviri performansları gözlemlenmiştir. Metinlere Türkçe→İngilizce→Türkçe biçiminde döngüsel çeviri işlemleri uygulanmıştır. Orijinal ve çeviri ile elde edilmiş Türkçe metinlerin vektör temsilleri elde edilmiş, aralarındaki Levenshtein uzaklığı, Kosinüs Benzerliği ve semantik benzerlik oranları elde edilmiştir. Bu değerlerin ortalamaları ile başarımları hesaplanarak zaman ve maliyet gibi kriterlerde göz önüne alınmıştır. Google Translate, yüksek semantik benzerlik oranı, ücretsiz ve hızlı olduğundan İngilizce modellerin performans değerlendirmesi için veri setlerinin çeviri yöntemi olarak kullanılmıştır. Pozitif (Olumlu), Negatif (Olumsuz) veya Nötr (Tarafsız) olarak etiketlenmiş veri setiyle Türkçe ve İngilizce olarak yapılan duygu analizi model performans değerlendirmelerinde, online API ile erişim sağlanabilen GPT ve Amazon Comprehend servisleri, ön eğitimli modeller (pre-trained models) olan Google BERT ve Facebook RoBERTa modellerinin gerisinde kalmıştır. En başarılı modelin Türkçe için eğitilmiş Google BERT modeli olduğu sonucu ortaya çıkmıştır. İyi eğitilmiş Türkçe modeller, İngilizce modellere göre daha başarılıdır.
Yapay zeka yöntemlerinin doğal dil işlemede etkin kullanılması
Dilin soyut ve dinamik doğası, dili yapay zekâ ile modellememizde belli sınırlılıklara yol açmaktadır. Bu sınırlılıklarını en aza indirgemek için dili ve bağlamını çok boyutlu yapılar olarak ele almak ve modellemede veriye özgü yöntem stratejisi belirlemek gereklidir. Bu tez çalışmasında, yapay zekâların içerik üretme performansı, içeriklerin analizi ve içeriklerin sınıflandırılması ele alınmıştır. Yapay zekaların performansı eğitim bilimleri kapsamında ele alınmış ve içerik üretme kapasitelerinin etkili istem tasarımı ile nasıl geliştirilebileceği üzerine odaklanılmıştır. Eğitim bilimlerinde Bloom Taksonomisine uygun olarak soru tasarımı gerçekleştirilmiş ve taksonomiye uygun soru hazırlamada rehberlik eden referans noktalar özenle dikkate alınmıştır. İçeriklerin analizi için Sinema filmlerine ait içerikler film puanı ve türünün makine öğrenimi modelleriyle tahmini için kullanılmıştır. Bu bağlamda öznitelik seçimine ve girdi oluşturulmasına değinilmiş ve belirli özniteliklerle film puanı için regresyon modelleriyle tahmin yapılmıştır. film özetlerini içeren tür sınıflandırılması ele alınmıştır. Günümüz önemli mental sağlık sorunları arasında olan anksiyete, depresyon ve intihar eğilimlerinin ilgili sosyal medya gönderileri ile belirlenmesi mümkün hale gelmiştir. Sosyal medya gönderilerinin sınıflandırması için metin ön işleme tekniklerinin ve hiper parametre yöntemlerin başarıma etkileri ele alınmıştır. Diğer taraftan metin vektörel temsilleri için farklı yöntemler ele alınmış ve sınıflandırma performansı incelenmiştir. Sadece tekrarlayan ifadeleri kaldırarak uygulanan ön işlemden sonra yapılan Roberta modeli ile %87,2 başarım elde edilmiştir. Bi-LSTM modeli eğitiminde ön eğitimli Roberta, word2vec ve TF-IDF vektörlerinin birleştirilmesiyle oluşturulmuş hibrit vektör sınıflandırma başarımını %13 kadar artırdığı görülmüştür. Yapay zekâ yöntemlerinin doğal dil işlemede etkin kullanılması için üç farklı problem farklı yöntem ve tekniklerinin değerlendirilmesi yapılmıştır. Yapılan uygulamalarda görüldüğü üzere gerek metin içeriklerinin çeşitliliği gerek önişlemlerin sırası ve yapılması ve gerekse hiper parametre yöntemlerinin uygulanması başarımı ciddi şekilde etkilediği görülmüştür.
Rule-based chunking of semantic roles for Turkish
In our work, we approached to semantic role labeling from a different angle. Contrary to related works, which focused on determining single role like noun phrase or predicate, we worked on all of the roles. We claim that, morphological analysis of a word and its context can be useful for semantic role labeling task. For that, we first determine the possible semantic chunk boundaries by examining the morphological analysis of words and their contexts. For further improvement in determining the boundaries, we do the first process with the combination of the morphological analysis and the boundary output from the first pass. We use these boundaries to create semantic chunks and labeled them according to their content.
Machine learning based lay summarization in biomedical domain
Communicating scientific research to the general public poses both a vital and challenging endeavor. Bridging the gap between scientific knowledge and public understanding often necessitates the use of lay summaries, which offer simplified versions of research findings. In this thesis, we explore the effective communication of biomedical research to the general public by generating concise lay summaries. Drawing upon curated datasets from prominent biomedical journals, namely PLOS and eLife, we develop a system that generates lay summaries from the abstract and main text of research articles. This thesis explores two distinct approaches for Biomedical Lay Summarization. In Model 1, the input articles undergo text preprocessing techniques including the removal of non-ASCII characters and redundant parentheses. The Stanza library is employed to identify and tag bio-entities, utilizing named entity recognition models specifically designed for biomedical text, such as BC5CDR and JNLPBA. Model 2, on the other hand, utilizes the original abstract text as a summary and combines it with summaries generated by a BART-based model trained on preprocessed full-text articles. To accommodate the model's input length limit of 1024 characters, longer articles are divided into sections and fed sequentially into the model. The model's output is then concatenated to form the complete summary. Post-processing techniques, including text cleaning and the use of the Stanza library for unknown word identification and tagging, are applied to refine the generated summaries. These two approaches contribute to the advancement of automatic summarization systems in the biomedical domain, facilitating the comprehension and dissemination of scientific knowledge to a broader audience.
Türkçe'de varlık ismi tanıma
Uzun yıllardır insanoğlunun makineler ile kendi doğal dilini kullanarak etkileşime geçmek istemesi ve bu konuda yapmış olduğu araştırmalar yapılan en heyecanlı araştırmalar arasında yer almaktadır. Robotlarla ya da bilgisayar sistemleri ile konuşmak, onların bizi anlaması, bizim adımıza araştırmalar yapması yapılan birçok bilim-kurgu çalışmasının ana temalarından olmuştur. Makineler ile insanlar arasındaki etkileşimi doğal dil üzerinden yapılmasını sağlamak, doğal dilin anlamlandırılması, diller arasında otomatik çevriminin yapılması, doğal dil ile yazılmış metinlerden bilgi çıkarımı yapılması gibi görevler Doğal Dil İşleme (DDİ) araştırma alanın çalışma konularıdır. Yazılı metin içerisinden bilgi çıkarımı görevi ele alındığında metin içerisinde geçen tanımlı varlıkların tespit edilmesi önemli bir görev adımıdır. Metin içerisinde geçen kişi, organizasyon, yer adları, sayısal değerler, tarihsel ifadelerin tespit edilerek işaretlenmesi Varlık İsmi Tanıma (VİT) olarak adlandırılmaktadır. VİT görevinde tanınacak varlıklar ihtiyaçlara göre değişiklik gösterebileceği gibi VİT çalışmalarında genel olarak ENAMEX (kişi, organizasyon ve yer isimleri), NUMEX (sayısal eğerler, parasal ifadeler, yüzdeli ifadeler), TIMEX (tarih ve zaman ifadeleri) varlık kategorilerinin işaretlenmesi olarak değerlendirilmektedir. Bununla birlikte özelleşen sistemlerde e-posta adresleri, telefon numaraları, kitap başlıkları, proje isimleri gibi kategoriler de Varlık İsmi olarak ele alınabilmektedir. Örnekleri çoğaltmak gerekirse biyoinformatik ve kimya alanlarındaki metinlerden protein isimleri, RNA, DNA, hücre bilgileri, ilaç adları, kimyasal adlarının tespit edilmesi de Varlık İsmi Tanıma görevi olarak değerlendirilmektedir. VİT ile ilgili çalışmalar 1990'larda başlamış ve 1996 sonrasında hız kazanmıştır. Türkçe için ise bilinen ilk çalışma ise 1999 yılında gerçekleştirilmiş olup 2009 sonrasında bu alandaki çalışmalar ilgi görmeye başlamış ve hız kazanmıştır. İngilizce gibi dillerde hem çalışma sayısının fazla olması hem de İngilizce'nin Türkçe gibi dillere göre daha basit biçimbilimsel yapısından dolayı VİT genel olarak çözülmüş bir problem olarak görülmektedir. Öte yandan Türkçe, Fince gibi dillerde dilin ek yapısı VİT görevini karmaşık hale getirmektedir. Bu durum VİT konusunu Türkçe'de halen güncel bir problem haline getirmektedir. VİT alanında yapılan çalışmalar incelendiğinde ilk çalışmaların kural tabanlı sistemlerden oluştuğu gözlemlenmektedir. İlerleyen çalışmalarda örnek veri kümelerinin artması ile birlikte kural tabanlı geliştirilen sistemler yerlerini istatistiksel sistemlere bırakmışlardır. Türkçe'deki istatistiksel yöntemler ile geliştirilen sistemlerde özellikle makine öğrenmesi yöntemlerinden Koşullu Rastgele Değişkenler (CRF) yöntemi gerçeklenen sistemler ön plana çıkarken diğer dillerde Yapay Sinir Ağı temelli yöntemler sıklıkla kullanılmakta ve başarılı sonuçlar elde edildiği gözlemlenmektedir. Yapay Sinir Ağları (YSA) insan sinir ağları model alınarak tasarlanan bir makine öğrenmesi metodolojisidir. Yapay sinir ağlarının temel yapısı insan sinir hücresi, nöron, model alınarak gerçeklenen yapay nöronlardan oluşmaktadır. Yapay Sinir Ağı alanındaki çalışmalar incelendiğinde bu alandaki teorik çalışmaların 1960'larda başlamış olmasına rağmen birçok teorik çalışmanın uygulanması, donanımlardaki yeni gelişmelerle ile birlikte son yıllarda mümkün hale gelmiştir. Yapay Sinir Ağlarında nöronlar genellikle tekil olarak kullanılmazlar, problemin çözümüne bağlı olarak nöronlar farklı bağlantı modelleri ile birbiriyle ilişkilendirilerek kullanılırlar. Özellikle yapay sinir ağı yapılarının katman sayısı ve nöron sayılarının arttırılması ile birlikte oluşturulan Derin Öğrenme Sistemleri görüntü işlemeden, doğal dil işlemeye birçok araştırma alanındaki problemlerin çözümünde başarılı sonuçlar ortaya koymaktadır. Bu tezin amacı Türkçe'de dile özgü özellikleri de kullanarak yapay sinir ağı tabanlı bir Varlık İsmi Tanıma Sistemi tasarlamak ve gerçekleştirmektir. Tez çalışması kapsamında gerçeklenen VİT Sisteminin başarısının değerlendirilebilmesi için Türkçe'de birçok çalışmada kullanılan bir Türkçe VİT Derlemi kullanılarak öğrenme ve başarım ölçüm işlemleri gerçekleştirilmiştir. Önerilen yapay sinir ağı tabanlı Türkçe VİT sistemi en iyi modelde %93.69 F1 puanı ulaşılmıştır. Gözlemlediğimiz kadarıyla çalışma kapsamında önerdiğimiz en iyi modelde ulaşılan sonuç, literatürde en başarı sonuç olarak karşılaştığımız olarak ulaşılan %93.59 değerini az da olsa geçerek literatürdeki en başarılı Türkçe VİT sonucu haline gelmiştir.
Offensive language detection in Turkish Twitter data with BERT models
As insulting statements become more frequent on online platforms, these negative statements create a reaction and disturb the peace of society. Identifying these expressions as early as possible is important to protect the victims. Offensive language detection research has been increasing in recent years. Offensive Language Identification Dataset (OLID) was introduced to facilitate research on this topic. Examples in OLID were retrieved from Twitter and annotated manually. Offensive Language Identification Task comprises three subtasks. In Subtask A, the goal is to discriminate the data as offensive or non-offensive. Data is offensive if it contains insults, threats, or profanity. Five languages datasets, including Turkish, were offered for this task. The other two subtasks focus on categorizing offense types (Subtask B) and targets (Subtask C). The last two subtasks mainly focus on English. This study explores the effects of the usage of Bidirectional Encoder Representations from Transformers (BERT) models and fine-tuning methods on offensive language detection on Turkish Twitter data. The BERT models that we use are pre-trained in Turkish corpora. Our fine-tuning methods are designed by considering the Turkish language and Twitter data. The importance of the pre-trained BERT model in a downstream task is emphasized. In addition, experiments with classical models are conducted, such as logistic regression, decision tree, random forest, and support vector machine (SVM).
Similar qa pairs detection system to improve chat quality in turkish conversation groups
Nowadays, social media applications have become one of our essential communication tools. These applications can be used to communicate individually or in groups. Retrieving information by processing the text data produced in user groups increases the quality of the chat. Consequently, creating a system that will prevent the same question from being asked multiple times in groups with thousands of users will help increase efficiency in the chat. With the help of the application developed on the Slack platform in this study, users can search for similar questions in old messages and retrieve their answers. In cases where there is no similar question in the conversation, a mechanism has been developed to direct the question that is asked by a user to a user who has knowledge of the subject. The BERTurk model is fine-tuned for sentence classification and question answering tasks, which are natural language processing techniques. Since a large amount of training data is needed, datasets created in other languages are translated to Turkish and open-source datasets are used.
An attention based deep neural network architecture for identification of phishing URLS through character level n-gram embeddings
Despite the various technological advancements that have been made in the fight against phishing attacks, the problem still remains one of the most common threats in the cybersecurity domain. Due to the increasing number of communication channels and the rise of social media, the need for effective and rapid phishing detection has become more prevalent. In this thesis, we focused on developing an end-to-end deep learning model named Grambeddings that can recognize malicious websites from URL information while introducing the following novelties into the literature; (1) constructing and employing n-gram embeddings seamlessly without requiring any preliminary learning stage, (2) eliminating the necessity of language-knowledge by representing terms from n-grams instead of words or sub-words, (3) providing fast, intelligent and efficient n-gram/feature selection procedure. Besides, we also published an exclusive large-scale novel dataset that contains 800.000 real-world half of which were legitimate and half were phish. Grambeddings presents an adjustable and automated n-gram extraction and selection mechanism along with a new deep architecture that enables to merging of four different n-gram level features from its corresponding channel while each channel obtains required deep features through cascading CNN, LSTM, and attention layers. In this way, the model becomes able to capture the multiple discriminative character sequence patterns without requiring any hand-crafted operation. As a result, the proposed approach contributes the following features to the phishing detection domain: (1) real-time inference and protection while providing excellent performance, (2) language-agnostic corpus and embedding construction, and (3) eliminating the necessity of hand-crafted features, or the need of using any third-party service. In addition, we conducted a series of comparative experiments in both dataset-wise and method-wise manner. We verified the superiority of our model in all tests since it outperforms the other models in the literature by achieving 98.27\% accuracy. Lastly, we also analyzed the Grambeddings' robustness against adversarial attacks and examined in-depth the characteristics of the model both in the pre-trained and re-trained conditions in terms of seeing any adversarial sample before during the training phase. Our codebase is shared with the community to be used for benchmarking purposes in the future.
Derin öğrenme yöntemleri ile ilişkisel doküman sınıflandırılması
Metin sınıflandırması, geniş ve karmaşık metin havuzlarından anlamlı bilgiler çıkarmak ve bu metinleri otomatik olarak kategorilere ayırmak için kullanılan doğal dil işleme (NLP) uygulamalarından biridir. Ancak, zengin morfolojik yapıya sahip dillerde ve çeşitli veri kaynaklarında bu yöntemler yetersiz kalabilir. Bu sorunu ele almak için, bu çalışma Named Entity Recognition (NER) modelleri ve ön eğitimli BERT tabanlı modeller ile Wikidata'dan elde edilen varlık-ilişki bilgilerinin metinlere entegrasyonunu araştırmaktadır. Türkçe ve İngilizce metin veri setleri üzerinde yapılan değerlendirmeler, çeşitli makine ve derin öğrenme sınıflandırma algoritmalarının performansını incelemiştir. Bulgular, varlık-ilişki bilgilerinin metinlere eklenmesi ile algoritmaların başarımını önemli ölçüde artırdığını göstermektedir. Özellikle BBC-News ve TTC-4900 veri setlerinde, ilişkisel bilgi entegrasyonu sınıflandırma başarısını belirgin şekilde iyileştirmiştir. Türkçe metinlerin zengin yapılarını etkin bir şekilde işleyebilmek için TRT-Haber web sayfasından elde edilen veri seti üzerinde graf tabanlı derin öğrenme teknikleri uygulanmış, bu tekniklerle dikkate değer bir doğruluk oranı elde edilmiştir. Araştırmanın sonuçları, ilişkisel bilginin eklenmesinin metin sınıflandırmasında etkinliğini ve potansiyelini göstermekte olup, Türkçe metinlerin daha iyi anlaşılmasına katkıda bulunmaktadır. Bu çalışma, ilişkisel metin sınıflandırma sistemlerinin geliştirilmesine önemli katkılar sağlamış ve gelecek araştırmalar için önemli bir referans noktası oluşturmuştur.
Türkçe için sahte haber tespit modelinin oluşturulması
Basılı medyanın çevrim içi ortamlarda faaliyet gösteren medyaya dönüşmesi, internetin ve sosyal medyanın haber kaynağı olarak giderek artan yoğunlukta kullanımı, medya okuryazarlığı kavramını ve insanların haber edinme alışkanlıklarını çarpıcı şekilde değiştirmiştir. Bu doğrultuda, bireyler ve organizasyonlar haber edinmek için çevrim içi haber sitelerinden ve sosyal medya platformlarından yoğun olarak yararlanmaya başlamıştır. Bu daha hızlı, daha kolay ve nispeten daha ucuz olan fırsat; insanların bilgiye erişimi açısından kolaylık sağlarken, haberlerin potansiyel etkileri düşünüldüğünde önemli problemleri de beraberinde getirmektedir. Daha önce görülmemiş bir hızda, devasa boyut ve çeşitlilikte yayılan haberleri, doğrulamak veya bilgiye dönüşebilecek okumaya değer bir veri olduğunu saptamak; içinde bulunduğumuz çağda insan gücü ile üstesinden gelinemeyecek bir problemi doğurmuştur. İnsanların içerik yönünden muğlak veya sahte bir haberi gerçek bir habere oranla daha hızlı yayma eğilimi, problemi daha da zor bir hale sokmaktadır. Sahte haberlerden kaynaklı gelişmelerin etkisiyle oluşan olumsuz durumlar arttıkça, değişik amaçlarla bilinçli veya bilinçsiz şekilde vuku bulan bu asimetrik tehdide karşı sosyal medya platformları, ticari organizasyonlar, kurumlar ve hatta devletler kendi önlemlerini almaya başlamışlardır. Bu durum araştırmacıları; çoğunlukla metin türündeki bu haberleri analiz etmeye, bilimsel altyapılar oluşturmaya, sahte haber tespitini amaçlayan akıllı sistemler geliştirmeye motive etmiştir. Temel olarak metinsel aldatma/sahteciliğin tespiti, Metin Analizi/Madenciliği ve Doğal Dil İşleme (DDİ) disiplinlerinin kesişim alanına girmektedir. Geniş perspektiften değerlendirildiğinde ise problem; büyük veri analizi, yapay zekâ, makine öğrenmesi, derin öğrenme vb. gibi birçok sistematiğin birlikte kullanılmasını gerektiren bir araştırma alanı haline dönüşmüştür. Haber etiketleme ve doğrulama sistemleri; metinsel aldatma, içerik sahteciliği, video/foto kaynak tespiti, gerçeklik kontrolü, ironi tespiti, kitle kaynak kullanımı vb. birçok boyutuyla değerlendirilen karmaşık ve iç içe geçmiş alt sistematikleri kullanmak üzere kurgulanmaktadır. Özellikle metinsel aldatmanın tespitinde başarım, dile özgü kaynak ve kütüphanelerin gelişmişlik düzeyiyle doğrudan orantılıdır. Sahte Haber Tespiti alanında literatürdeki birçok çalışma İngilizce diline özgüdür. Her ne kadar bazı analiz ve modellemeler genelleştirilebilir olsa da Türkçenin de içinde bulunduğu birçok dilin kendilerine özgü karakteristik analizi doğru sonuçlara ulaşmak için elzemdir. Özellikle son 5 yıldaki gelişmeler alan için akademik anlamda bir bilgi birikimi oluşturmuş olsa da Türkçe Sahte Haber Tespitine yönelik literatürde bilinen bir çalışma olmadığı görülmektedir. Bu durum, Türkçe gibi sondan eklemeli diller için de dile özgü karakteristiklerin üzerinde durularak konunun ele alınmasını gerekli kılmaktadır. Çalışmamızın ana çerçevesi ve temel hipotezi, potansiyel sahte haberlerin yenilikçi dilbilimsel yaklaşımlar kullanılarak hibrit/melez metodolojilerle tespit edilebileceği fikrine dayanmaktadır. Bu doğrultuda, Türkçe Sahte Haber Tespitine yönelik temel alınabilecek, geliştirilebilir bir model oluşturulması amaçlanmıştır. Tez kapsamında üç temel hedefe ulaşılması için çalışmalar yapılmıştır. Bu hedeflerin ilki; tez kapsamında elde edilen veri setinin alanda temel olabilecek, tüm disiplinlerin erişimine açık bir kaynak olarak sunulacak olmasıdır. İkinci temel hedef, bu veri seti kullanılarak elde edilen ve probleme farklı bir bakış açısı katmak üzere Dil Modellemesi yapılarak Türkçe Sahte Haber Sözlüğü geliştirilmesidir. Tez kapsamında hedeflenen diğer önemli husus ise, Türkçe Sahte Haber Tespitine yönelik makine öğrenmesini de içine alan hibrit bir yaklaşımla sürdürülebilir bir model oluşturulması ve sonuçların deneysel çalışmalarla gösterilmesidir. Tez, temel olarak üç fazda kurgulanmıştır. Birinci faz; literatür taraması, problemin Türkçe açısından ele alınmasında kullanılacak analiz çalışmaları, Türkçe için bu amaçla kullanılacak ve halihazırda literatürde eksik olan veri setinin elde edilerek literatüre kazandırılması ve tüm ön hazırlık işlemlerini kapsayan giriş fazıdır. Bu fazda; ana akım haber medyasındaki haber metinleri, haber doğrulama platformu kaynaklı haber metinleri ve manuel yöntemler kullanılarak toplanan verilerin, tamamı etiketlenerek ve doğrulama işlemi yapılarak göreceli büyük bir derlem oluşturulmuştur. Bu faz, ikinci fazda geliştirilmesi hedeflenen Türkçe Sahte Haber Sözlüğü oluşturulması için gerekli tüm ön işlemleri kapsar. İkinci fazda, ilk fazda elde edilen veri seti istatistiksel analizlere tabi tutulmuş ve FanLexTR olarak adlandırdığımız dört kategoriye sahip Türkçe Sahte Haber Dil Modeli/Sözlüğünün geliştirilmesi hedeflenmiştir. Her kategori için terim sıklıkları ve oransal gözlenme sıklıkları hesaplamaları ile terimlere ait ton değerlerinin bir başka deyişle skor değerleri oluşturulmuştur. Terimlere polarite değeri verilmesi de ayrıca denenmiştir. Fakat ton değerlerinin daha kararlı sonuçları verdiği gözlemlenmiştir. Bu doğrultuda ortaya çıkan Türkçe Sahte Haber Sözlüğü kullanılarak sözlük temelli metinsel aldatma tespiti yapılmıştır. Kullanılan yöntem dikkate alındığında, çalışmadan oldukça başarılı sonuçlar elde edilmiş ve literatürdeki ilk sözlük temelli Sahte Haber Tespiti çalışması olması olarak yerini almıştır. Üçüncü ve son fazda, Türkçenin karakteristikleri de göz önüne alınarak, probleme farklı bakış açılarından yaklaşılmış, sahte haberlerin tespitine yönelik özellik/öznitelik seçimi ve çıkarma işlemleri gerçekleştirilmiştir. Bu fazda ikinci fazda kullanılan sözlük temelli yaklaşım, üçüncü fazdaki makine öğrenmesi ve derin öğrenme yaklaşımına öznitelikler şeklinde dahil edilmiş ve ikinci fazda elde edilen sonuçlar geliştirilmiştir. Geliştirilen modelin performans değerlendirmesi sunulmuştur. Ayrıca tez kapsamında problemin çözümünü pratiğe yansıtmak açısından yenilikçi bir çözüm önerisinde bulunulmuş ve dijital kütüphanecilik teknolojisini barındıran bir çerçeve ortaya konmuştur.
Towards understanding intuitive physics with language and vision
Visual question answering (VQA) is one of the difficult tasks in multimodal machine reasoning. VQA requires machines to provide correct answers to questions about an image or a video. Here, the machine should perceive the scene and infer true judgements on the relationships between different entities. Recent benchmarks on VQA have been mostly proposed for static images and they only question spatial reasoning capabilities of artificial models. In other words, it is not a requirement for the machines to learn the physical properties of objects and understand different physical relationships among them. Hence, it is not possible to evaluate whether the models have intuitive physics or causal and temporal reasoning capabilities using these datasets. This thesis proposes a new benchmark, CRAFT, which is designed to evaluate these capabilities of artificial intelligence models. In particular, it comprises of 38K video and question pairs that are automatically generated from 3K videos of dynamic scenes. These scenes are synthetically created using a physics engine by considering ten different two-dimensional scene layouts containing variable number of dynamic objects. While generating the questions in CRAFT, we consider five different categories, two of those (descriptive and counterfactual) have been investigated in earlier works. However, in our work, we have introduced three new question categories (cause, enable, and prevent) which are proposed inspired by the representations of causal relationships in cognitive science. A special attention has been given to data generation process to focus on creating questions which are easy to solve by humans, but difficult for machines. In order to support this claim, CRAFT questions are asked to both artificial models and 12 adult participants. Our experimental results demonstrate that although the tasks seem intuitive for human participants, there is a large gap between them and the most successful artificial model.
Türkçe dizi etiketleme için sinir ağ modelleri
Türkçe gibi sondan eklemeli dillerde aynı kökten birçok kelimenin türetilmesinden dolayı kelimelerin bir bütün olarak modellenmesi seyreklik problemini de beraberinde getirmektedir. Bundan ötürü, kelimeyi bir bütün olarak ele almaktansa karakterleri üzerinden bir kelimeyi ifade etmek ya da morfem ve morfemin etiket bilgisini hesaba katmak kelime hakkında daha detaylı bilgi vermekte ve seyreklik problemini de azaltmaktadır. Bu çalışmada Türkçede kelime dizilerini etiketleme problemleri için derin sinir ağlarını kullanan bir model önerilmiştir. Seyreklik problemini çözmek için kelimelerin karakter ve morfem bilgilerin dizi etiketleme problemi kapsamındaki etkisi incelenmiştir. Bu çalışmada literatürdeki güncel derin öğrenme modelleri Türkçe için farklı kelime veya alt-kelime düzeyinde gösterimler kullanılarak Varlık İsmi Tanıma ve Sözcük Türü İşaretleme problemleri için uygulanmıştır. Sonuçlar, kelimelerin morfem bilgisinin kullanılmasının Türkçede dizi etiketlemeyi iyileştirdiğini göstermektedir. Ayrıca kelime dizilerinin etiketlerini bulurken komşu kelimelerin bilgilerinden de yararlanılarak doğruluğu daha yüksek sonuçlar elde edilmiştir
Yemek tariflerini etiketleme ve çizge üretimi
Processing instructions is significant to accomplish daily tasks. Instructions can be found in many different forms for a variety tasks. Machine understanding of instructions, similarly, can be beneficial for artificial agents/robots to perform a task automatically. Building systems checking if a task is carried-out in conformity with the instructions is important for many mission critical tasks, for instance factories, workers who repair the electronic devices etc. In this thesis, it is aimed to automatically extract the steps of a certain task with the aid of instructions. Instructions dataset is needed to train model and extract the steps of a task. Recipes are the examples of instructions that are easy to follow and can be found in large quantities. Understanding of how to cook a recipe step by step requires extraction of course of actions, ingredients, tools and, the relationships between each other through Natural Lan- guage Processing (NLP) Techniques. Supervised and rule-based model is proposed to clarify and extract actions and components. Instead of a fully supervised method, NLP Techniques are used to find relations between components and actions in the text. The workflow of the recipes are finally produced by a rule-based method. When compared to a state-of-the-art unsupervised method which models the task as a whole, the proposed method benefits from the output of smaller and well-studied NLP Techniques.
Anlamsal veb ortamında varlıkların bağlanması
Son yıllarda metin veriyi bir üst seviye anlamsallıkta temsil edebilmek için varlık bağlamaya gösterilen ilgi artmıştır. Güncel varlık bağlama sistemleri uzun zaman ve çaba ile oluşturulmuş kapsamlı bilgi kaynaklarına dayanmaktadırlar. Ancak çoğu iş alanında böylesine kapsamlı bilgitabanları bulunmamaktadır. Bu yüzden, bu iş alanlarında varlık bağlama yapmak için alan bilgisi oluşturmaya yoğun bir çaba harcanması gerekir. Güncel yaklaşım bir varlık bağlama sistemi geliştirmeden önce kapsamlı alan bilgisi oluşturulmasına odaklanır. Bunun aksine, bu tez çalışması, iş odaklı sonuca hızlıca varabilmek için varlık bağlama bilgisinin yönetimine ilişkin yeni bir yaklaşım önermektedir. Bu yaklaşım, varlık bağlama uygulamasını ve varlık bağlama bilgisini bir arada geliştirmeye dayanan evrimsel bir yazılım geliştirme metodolojisidir. Bu amaçla, tez kapsamında, varlık bağlama mimarisi hızlı prototipleme ve tekrarlı geliştirime olanak tanıyacak biçimde uyarlanmıştır. Diğer yandan, Anlamsal Veb araştırmacıları son yıllarda bilgi çizgeleri üzerine yoğunlaşmakta ve kurumsal bir bilgi çizgesi oluşturmanın iş alanları için birçok fırsat yarattığı kabul edilmektedir. Bu doğrultuda, varlık bağlama da metin bilgiyi bilgi çizgesine dahil etmeyi sağlamaktadır. Ancak, yapısal bilginin bulunmadığı iş alanlarında bilgi çizgesi oluşturmak için hem bilgitabanı geliştirilmesi hem de metin verinin bilgitabanına bağlanması gerekmektedir. Bu tez kapsamında önerilen yöntem, böyle alanlarda test yönelimli ve tekrarlı bir biçimde bilgi çizgesi oluşturmayı sağlar. Bu yöntemin uygulanabilirliğini değerlendirmek amacıyla tez kapsamında bir durum çalışması yapılmıştır.
Türkçe doğal dil işleme araçlarının ilk ve ortaokul fen bilimleri ders kitapları analizinde kullanımı: Sözcük ve sözcük kökü frekanslarının karşılaştırmalı analizi
Bu tez çalışmasının amacı, ilkokul ile ortaokul sınıf düzeylerinde okutulan Fen Bilimleri ders kitaplarını doğal dil işleme araçları yöntemleriyle otomatik olarak analiz edilmesine dayanmaktadır. Nicel araştırma yönteminin kullanıldığı bu çalışmada doküman analizi kullanılmıştır. Milli Eğitim Bakanlığı Eğitim Bilişim Ağı'nda 2020-2021 Eğitim-Öğretim yılı için yayınlanmış olan PDF formatındaki her sınıf düzeyinden iki Fen Bilimleri ders kitabı örneklemi olmuştur. Üniteler PDF formatından Microsoft Word belgesi ardından düz metin belgesine dönüştürülmüştür. NKod yazılımı yardımıyla sözcük frekans listeleri elde edilmiş olan üniteler RStudio programı yardımıyla R programlama dilinde uygun kütüphaneler ve gerekli kodlamalarla, otomatik metin analizi yapılarak karşılaştırılmıştır. Metinlerdeki 134915 sözcük ve 19363 isim kökü ile çalışılmıştır. Yapılan analizlerde ilk olarak ders kitaplarının sözcük frekans listelerinin ilk 20 sözcüğünün sınıflandırılmış ve ünitelerin içeriğini yordamaya yardımcı olduğu sonucuna varılmıştır. İkinci olarak elde edilen sözcük frekans listeleri normal dağılıma uymadığından üniteler arasındaki korelasyonlar için Spearman Sıra Korelasyonu Testi uygulanmıştır. Analizler farklı kitapların aynı üniteleri arasında güçlü ve orta kuvvette ilişki (0.3≤𝜌≤0.5), farklı üniteleri arasında ise düşük kuvvette ilişki (𝜌<0.3) veya ilişki olmadığını (𝜌≅0) göstermiştir. Parametrik olmayan Ki-kare testi ile her sınıf düzeyindeki tüm ünitelerin, ünite bazında istatistiksel olarak farklılaşan terimleri (𝜒2 >3.84 𝑣𝑒 𝑝<0.05) elde edilmiştir. Elde edilen sonuçlar üniteye özgü terimler, günlük hayata veya fen bilimleri derslerine özgü nesneler ve diğer kategorilerine uygun olup olmama durumlarına göre yorumlanmış ve tartışılmıştır. Sınıf seviyesi yükseldikçe üniteye özgü farklılaşan terimlerin sayısında gözle görülür artış tespit edilmiştir.
Text normalization using lexical and contextual features
The informal nature of social media text, renders it very difficult to be automatically processed by natural language processing tools. Text normalization, which corresponds to restoring the noisy words to their canonical forms, provides a solution to this challenge. We introduce an unsupervised text normalization approach that utilizes not only lexical, but also contextual and grammatical features of social text. The contextual and grammatical features are extracted from a word association graph built by using a large unlabeled social media text corpus. The graph encodes the relative positions of the words with respect to each other, as well as their part-of-speech tags. The lexical features are obtained by using the longest common subsequence ratio and edit distance measures to encode the surface similarity among words, and the double metaphone algorithm to represent the phonetic similarity. Unlike most of the recent approaches that are based on generating normalization dictionaries, the proposed approach performs normalization by considering the context of the noisy words in the input text. Our results show that it achieves state-of-the-art F-score performance on a standard data set. In addition, the system can be tuned to achieve very high precision without sacrificing much from recall.