Deep learning enhanced microscopy by training a convolutional neural network and a generative adversarial network with data collected using a line scanning confocal microscope

Odak dışı arka planı ortadan kaldırması ile, geniş alan aydınlatma mikroskopiye göre konfokal mikroskopi, daha yüksek çözünürlüklü ve sinyal-gürültü oranına sahip görüntüler sağlar. Konfokal mikroskopideki ilerlemelerin yanı sıra, ışıklı levha mikroskopi, yapılandırılmış aydınlatma mikroskopi, çizgi taramalı konfokal mikroskopi ve derin öğrenme ile geliştirilmiş mikroskopi gibi yeni teknikler, daha yüksek görüntü alma hızları, daha iyi kontrast ve çözünürlük gibi avantajları ile beraber daha uygun maliyetli olması nedeniyle dikkat çekiyor. Bu çalışmada, ilk olarak, bir dijital ışık projektörü (DLP) ve rolling shutter'lı CMOS kamera kullanılarak geliştirilen bir çizgi taramalı konfokal mikroskobun çalışmasını gösteriyoruz. Bu yöntemde, odaklama objektifi ile DLP tarafından örnek üzerine bir dizi aydınlatma çizgisi yansıtılır (50X, NA=0.55). Yansıyan ışık, rolling shutter'lı CMOS kamera ile görüntüleniyor. Çizgi taramalı konfokal görüntüleme, aydınlatma çizgileri ile sensörün rolling shutter'ı ile üst üste bindirilerek elde edilir. Bu teknik kullanılarak görüntü kontrastında ve minimum özellik boyutunda önemli iyileştirmeler elde edilir. Daha sonra bu yöntem kullanılarak bir kağıt mendilin liflerinin görüntülenmesiyle elde edilen 500 çift görüntüyü içeren bir veri seti hazırlandı. Bu veri seti, derin öğrenme ile geliştirilmiş mikroskopi için bir Evrişimsel Sinir Ağı (CNN) ve Çekişmeli Üretici Ağlar (GAN) eğitimi için kullanılır. Bunun için 500 çift basit ve çizgi tarama modu görüntüsünü içeren bir veri seti kullanılmıştır. Bu miktarın %95'i ağın eğitimi için, kalan %5'i ise test için kullanılır. CNN ve GAN'ın çıktılarında, gerçek referrans görüntüleri ile karşılaştırılabilir önemli derecede kontrast iyileştirmesi elde edildi.