Büyük dil modelleri kullanan derin öğrenme tabanlı dinamik çok modlu veri özetleme yaklaşımları

Veri özetleme problemlerinde özetlenecek veri formatına bağlı olarak doğal dil işleme, bilgisayarlı görme, yapay zeka ve veri madenciliği teknikleri kullanılabilir. Farklı tipte verilerin aynı problem veya sistem içerisinde beraber kullanılması veya bir verinin farklı tipte bir veri moduyla özetlenme ihtiyacı çok modlu veri özetleme uygulamalarının geliştirilmesine sebep olmuştur. Bu kapsamda bu çalışmada farklı çok ve tek modlu veri özetleme yaklaşımları geliştirilmiştir. Tez çalışmasının metin özetleme uygulamaları kapsamında, haber metinlerinin soyutsal ve çıkarımsal özetlenmesine odaklanan bir yöntem, diyalog metinlerinin soyutsal özetlenmesine odaklanan bir yöntem ve hasta sorularını içeren metinlerin soyutsal özetlenmesi için bir yöntem geliştirilmiştir. Geliştirilen ilk metin özetleme yaklaşımında özgün bir kodlayıcı – kod çözücü nöral mimarisi sunulurken diğer metin özetleme yaklaşımlarında öneğitimli büyük dil modellerinin ince-ayarlamaları gerçekleştirilmiştir. Geliştirilen metin özetleme yaklaşımları literatürdeki mevcut yöntemlerle karşılaştırılarak sağladığı katkılar net bir şekilde sunulmuştur. Video ve ses özetleme uygulamaları kapsamında, akıllı şehirlerde kullanılan gözetleme videoları, çevrimiçi platformlardan sunulan aktivite içerikli videoların sorgu odaklı çok-modlu özetlenmesi ve çevrimiçi toplantı videolarının çok-modlu özetlenmesine odaklanılmıştır. Bunlardan gözetleme videolarına odaklı yaklaşımda video özetleme işlemi nesne-merkezli ve olay-merkezli iki özetleme modülünden elde edilen farklı video özetleriyle gerçekleştirilmiştir. Nesne-merkezli özetleme modülü için %90'ın üzerinde istatistiksel özellik koruyabilen, genetik algoritma tabanlı bir yöntem geliştirilirken, olay-merkezli video özetleme modülü için %90'ın üzerinde sınıflandırma başarımına sahip özgün bir transformer mimarisi geliştirilmiştir. Çevrimiçi aktivite videolarının özetlenmesi için kullanıcı sorgusu odağında çapraz dikkat mekanizması kullanan çok modlu bir video özetleme yaklaşımı geliştirilmiştir. Sunulan yaklaşımın video özetleme performansı %87,1'dir. Videolara ait sorgu odaklı özetlerin elde edilmesinin ardından özet videoların metin açıklamaları için yeni bir görü dil modeli de önerilen yöntem kapsamında geliştirilmiştir. Toplantı videosu özetlenmesi için otomatik konuşma tanıma sonrasında toplantıya ait çıkarımsal metin, video ve ses özetleri elde edilerek, toplantıya ait farklı bölümlerin soyutsal vurgularının üretilmesi sağlanmıştır. Önerilen yöntemde özetleme işlemleri için öneğitimli büyük dil modellerinden yararlanılmıştır ve toplantı videolarının %75'in üzerinde kısaltılması sağlanmıştır. Geliştirilen bütün video özetleme yaklaşımlarının performansı literatürdeki diğer çalışmalarla karşılaştırılmıştır ve önerilen yöntemlerin performans üstünlüğü net bir şekilde gösterilmiştir.