Learning efficient visual embedding models under data constraints

Derin öğrenme modelleri, düşük ve orta seviye desenleri ve üst seviye anlambilimden oluşan zengin kümeleri öğrenmek için büyük ölçekli veri kümelerini gerektirir. Bu nedenle, yüksek kapasiteli bir sinir ağı göz önüne alındığında, bir modelin performansını iyileştirmenin bir yolu, modelin üzerinde çalıştığı veri kümesinin boyutunu artırmaktır. Bir ağı eğitmek için gereken hesaplama gücü miktarını elde etmenin kolay olduğu göz önüne alındığında, veriler mevcut makine öğrenme çözümlemelerinin yükseltilmesinde ciddi bir tıkanıklık haline gelir. Bu tezde, bilgisayar görme uygulamalarında yükselen iki ana veri darboğazını inceliyoruz: (I) çeşitli nesne kategorileri kümesinde eğitim verisi bulma zorluğu, (II) sinir ağı modellerini eğitim amacıyla hassas kullanıcı bilgisi içeren verilerin kullanılmasının zorluğu. Bu konuları ele almak için sırasıyla sıfır atış öğrenme ve merkezi olmayan öğrenme şemalarını inceliyoruz. Sıfır atış öğrenme, denetimli ve sıfır atış sınıfları arasındaki dağılım farklılıkları nedeniyle denetimsiz öğrenme yoluyla önemli ilerlemenin potansiyel olarak gerçekleştirilebileceği en umut verici sorunlardan biridir. Bu nedenle, birkaç çalışma, ayrımcı alan uyarlama tekniklerinin sıfır atış öğrenmeye dahil edilmesini araştırmaktadır; ancak bu, sıfır atış öğrenmenin doğruluğunda mütevazi gelişmelere yol açmaktadır. Buna karşılık, denetlenmeyen örneklerden doğal olarak öğrenebilecek ve görünmeyen sınıflara yönelik eğitim örneklerini yalnızca sınıf gömülerine dayanarak sentezleyen bir üretici modeli öneriyoruz. Bu nedenle, sıfır atış öğrenme problemini denetlenen bir sınıflandırma görevine indirgiyoruz. Önerilen yaklaşım iki önemli bileşenden oluşmaktadır: (I) denetlenmemiş veri örneklerinin özelliklerini taklit eden örnekler üretmeyi öğrenen koşullu bir üretici grup ağı ve (II) Sentezlenen örneklerden elde edilen gradyan sinyalinin kalitesini ölçen gradyan eşleşmesi kaybı. Gradyan eşlemesi kayıp formülasyonumuzu kullanarak, üreticiyi doğru sınıflandırıcıların eğitilebileceği örnekler üretmesi için zorlarız. Çeşitli sıfır atış öğrenme ölçütü veri seti üzerinde elde edilen deneysel sonuçlar, yaklaşımımızın gelişmiş sıfır atış öğrenme modellerine göre genelleştirilmiş sıfır atış sınıflandırmada önemli gelişmelere yol açtığını gösteriyor. İşbirlikçi öğrenme teknikleri, sahipleri tarafından paylaşılmayan bazı özel veri setleri üzerinde eğitim sağlayarak gizlilik koruma çözümü sunar. Bununla birlikte, son zamanlarda, mevcut işbirlikçi öğrenme çerçevelerinin üretken bir çekişmeli ağ saldırısı yapan aktif bir düşmana karşı savunmasız olduğu gösterilmiştir. Bu çalışmada, bu tür saldırılara karşı tasarım açısından dayanıklı yeni bir sınıflandırma modeli öneriyoruz. Daha spesifik olarak, bir çekişmeli üretken ağ saldırısı için gerekli bilgileri etkin bir şekilde saldırgandan saklayan, sınıfa özgü özel anahtarlar kullanarak sınıf puanlarını koruyan bir anahtar tabanlı sınıflandırma modeli ve ilkeli bir eğitim programı sunuyoruz. Ayrıca, model karmaşıklığını arttırmadan saldırılara karşı sağlamlığı artırmak için yüksek boyutlu anahtarların nasıl kullanılacağını gösteriyoruz. Detaylı deneylerimiz önerilen tekniğin etkinliğini göstermektedir.