Use of transfer learning for automatic dietary monitoring through throat microphone recordings

Giyilebilir cihazların ve teknolojilerin sağlık hizmetlerinde kullanılması, mühendislik yaklaşımlarının geliştirilmesini ve entegrasyonunu hızlandırmaktadır. Diyet takibi, diğer sağlıkla ilgili servislere kıyasla zorlu bir uygulamadır. Günümüzde tercih edilen takip yöntemleri ise kişisel kayıtlara dayalıdır. Ancak bireyler genellikle gıda tüketimlerini hafife alma eğilimindelerdir. Bu yüzden tutulan günlükler ve raporlar oldukça yanlı olup, gerçeği yeterince yansıtmamaktadır. Otomatik diyet takibi (ODT) bu soruna çözüm üretmek için akıllı ve giyilebilir bir yaklaşım önerir. ODT üzerine yapılan güncel araştırmalar, algılayıcı cihazlar üzerinden şekillendirilip, geneleksel makine öğrenimi kullanılarak eğitilirler. Bu konuda farklı bir yaklaşım önerilip, ilk önce çiğneme ve yutma algılamalarının sunulduğu bir ODT sistemi, gırtlak mikrofonu (GM) kayıtları üzerinden tanımlanır. Bu yaklaşım, GM algılayıcısını boyun üzerine monte edilmiş invazif olmayan bir yapı olarak kullanarak, gıda tüketiminin takip edilmesi için akıllı bir yapı sunar. Takip eden bölümlerde, gelişmiş tespit ve sınıflandırma sistemleri tasarlamak için öğrenim aktarımı olarak bilinen yeni bir yaklaşım derinlemesine araştırılır. Geleneksel konuşma mikrofonları (KM) ile kaydedilmiş bol miktarda etiketli tüketim verilerine ulaşmak mümkün olsa da, GM kayıtlarından gelen veriler azdır. Bu sorun, derin mimarileri eğitmede önemli bir eksiklik yaratır. Yakın zamanda öğretmen-öğrenci (Ö/Ö) öğrenim paradigması, büyük bir öğretmen ağını taklit eden daha küçük bir öğrenci ağını eğitmek için model sıkıştırma yöntemi olarak tanıtılmıştır. Bu tezde Ö/Ö eğitimine dayanan yeni bir öğrenim aktarımı önerilmektedir. Öğretmen ağı, bol miktarda yüksek kaliteli KM kayıtları üzerinden eğitilirken, öğrenci ağı ise GM kayıtlarını girdi olarak alır ve paralel bir KM ve GM verisetinde derin öznitelikleri çıkarır. Bu, önemli ölçüde daha büyük bir verisetinin kullanılmasına izin verir. Diğer yandan Ö/Ö eğitimi, ortaya çıkan modele sağlamlık kazandırır ve gıda tüketiminin tespit ve sınıflandırma başarımını önemli ölçüde geliştirir.