Traffic light management using reinforcement learning methods

Trafik ışıkları, 19. yüzyıldan bu yana aktif olarak kavşaklardaki karmaşıklığı ve düzensizliği azaltmak amacı ile faaliyet gösteriyorlar. Kaynaklara göre, insanlar trafikte saatler geçiriyor, ki bu da hem insan sağlığı hem de çevre bakımından bozulmalara sebep oluyor. Trafik ışıklarının görevi trafik sıkışıklığını ve kaza sayısını azaltmak olsa da, şu an çalışan çoğu sistem modern zamanın gelişmeleri ile artan isteklere ve hızlı değişen kavşak dinamiklerine uyum sağlayamıyor. Bunlardan biri olan sabit zamanlı sistemler, önceden tanımlanmış ayarları kullanıyorlar ve performansını daha da artırmak için zaman dilimleri tanımlanıyor. Başarılı girişimler ve düzeltmeler görülse de, bugünün ihtiyaçlarına cevap veremiyorlar. Daha sonra, sistemlere sensörler ve detektörler eklenerek daha akıllı, dinamik ve adaptif sistemler geliştirildi. Son çalışmalar ise, pekiştirmeli öğrenmenin ve özellikle pekiştirmeli derin öğrenmenin kavşaklar gibi karmaşık ortamların dinamiklerini öğrenebildiğini gösterdi. Tekli kavşaklarda buna yönelik çalışmalar olmasına rağmen, gerçek dünya ile tam olarak tutarlı olmadığı, simülatörler vasıtasıyla tüm ortamın görünür ve karar verilen aksiyonların sınırsız olabileceğinin varsayıldığı fark edildi. Bu çalışma, pekiştirmeli öğrenme yöntemlerinin başarısı ve sağladığı fayda ile gerçek dünyanın sınırlarını birleştirmeyi hedeflemektedir. Bu çalışmada yapılmış olan deneyler gösteriyor ki, her bir yolun başına ve sonuna yerleştirilmiş olan sensörler vasıtası ile elde edilen kuyruk değerleri ve kısıtlı aksiyonlar kullanılarak geliştirilen pekiştirmeli öğrenme yöntemleri iyi bir performans sergiliyor ve özellikle A2C yöntemi çevrenin dinamiklerini öğrenerek nispeten kısa sürede yakınsıyor ve stabil hale geliyor.