Personalizing treatments via contextual multi-armed bandits by identifying relevance

Kişiselleştirilmiş tıp bireyler için özel tedavi seçenekleri sunar, bu da her hasta farklı olduğu için hayati bir önem taşır. Herkese uyması beklenen ortak yaklaşımlar genellikle etkili değildir ve çoğu hasta kanser, kalp hastalıkları ve diyabet gibi çeşitli hastalıklarda kişiselleştirilmiş bakıma ihtiyaç duyar. Tıpta (aynı zamanda ağ-tabanlı tavsiye sistemleri ve akıllı radyo ağları gibi diğer alanlarda) çok miktarda verinin elde edilebilmesi ile çevrimiçi öğrenme yöntemleri belirsiz ortamlarda hızlı öğrenme yetenekleri nedeniyle popülerlik kazanmaktadır. Bu tür uygulamalarda bağlamsal çok kollu haydut algoritmaları güvenilir karar verme seçenekleri sunar. Medikal uygulamalarda(ayrıca yukarıda belirtilen uygulamalarda), veriler (bağlamlar) ve eylemler (kollar) genellikle yüksek boyutludur ve çok boyutluluğun lanetinden dolayı geleneksel bağlamsal çok kollu haydut yöntemlerinin performansları neredeyse rasgele seçim kadar kötü olur. Neyse ki, çoğu zaman karar verme görevi ile ilgili bilgiler tüm boyutlara bağlı değildir, bunun yerine boyutların az sayıda eleman içeren ve ilgili boyutlar adı verilen bir alt kümesine bağlıdır. Bu tezde, hastaların sonuçlarına ilişkin beklenen ödüller bağlam ve kol boyutlarının yalnızca küçük bir alt kümesi üzerinde değişiklik gösterdiğinde bağlamsal çok kollu haydut yaklaşımları kullanarak zaman içinde ardışık olarak gelen hastalar için kişiselleştirilmiş tedaviler sağlamak hedeflenmiştir. Bu amaç için, ilk olarak bağlam-kol uzayı üzerinde yeni bir bölümlendirme stratejisi kullanarak ve bir aday ilgili boyut değişkenler grubu oluşturarak ilgi öğrenen ilgi öğrenmeli bağlamsal çok kollu haydut(contextual multi-armed bandit with relevance learning veya kısaca CMAB-RL) algoritması kullanılmıştır. Bu modelde, ilgili hasta özellikleri kümesinin farklı bolus insulin dozları için farklı olmasına izin verilen bir ortamı ele alınmıştır. Daha sonra, bağlam-kol uzayı üzerinde tanımlanan beklenen ödül fonksiyonunun bir Gauss sürecinden örneklendiği bir ortam ele alınmıştır. Bu ortam için, bağlamsal Gauss süreci üst güven sınırı(contextual Gaussian process upper confidence bound veya kısaca CGP-UCB) algorithmasının bir uzantısı olan ve ilgi öğrenmeyi her boyut için bir ağırlık atama sağlayan çekirdek fonksiyonlarını entegre ederek ve negatif logaritmik marjinal olabilirliği eniyileyerek öğrenen ilgi öğrenmeli CGP-UCB(CGP-UCB with relevance learning veya kısaca CGP-UCB-RL) algoritması önerilmiştir. Sonrasında, bu yaklaşımın kan şekeri düzenlemesi problemine uygunluğu incelenmiştir. Bolus insulin düzenlenmesi problemine uygulanmalarının yanında, iki algoritmanın performansları referans olması için sentetik olarak yaratılmış ortamlarda değerlendirilmiştir.