Deep reinforcement learning for urban modeling: Morphogenesis simulation of self-organized settlements

Kendiliğinden örgütlenen kentsel büyüme modları, yüksek kaliteli kentsel alanlar üretme, uygun fiyatlı konut sağlama ve şehirler içinde ekonomik fırsatlara daha geniş erişim sağlama gibi potansiyelleri barındırır. Bu tip yerleşimler, ve tabandan yukarı örgütlenen tasarım süreçleri kısıtlı alanda ve özellikle eğimli arazilerde, çevresel etmenler açısından da verimli çözümler sunar. Bu tip doğrusal olmayan, karmaşık ve dinamik sıralı kentsel toplama süreçlerinin modellenmesi, uyarlanabilir, sıralı kararlar almayı gerektirir. Bu çalışmada, belirli performans hedeflerini en üst düzeye çıkaran kendiliğinden örgütlenmiş yerleşimler oluşturmak için derin pekiştirmeli öğrenme (Deep Reinforcement Learning: DRL) yaklaşımı önerilir. Bu yaklaşım kapsamında, kendiliğinden örgütlenen yerleşimlerin morfogenez problemini simüle edecek tekil ajanlara dayalı (single-agent) bir pekiştirmeli öğrenme (Reinforcement Learning: RL) çerçevesi önerilmiştir. Önerilen çerçeve, iki hücresel otomata temelli kentsel büyüme modeline dayanan üç ortam geliştirilerek, derin Q-öğrenme (DQN) ve Proksimal Politika Optimizasyonu (Proximal Policy Optimization: PPO) algoritmaları kullanılarak, RL ajanlarının eğitilmesiyle ve bu ortamlardaki performans metriklerine dayalı sıralı kentsel oluşum politikaları üretilmesi yoluyla test edilir. Ajanlar, performansı en üst düzeye çıkarmak, geçiş hakkını korumak ve topografik kısıtlamalara uyum sağlamak için kentsel biçimi uyarlarken, yerleşimleri sırayla büyütmeyi sürekli olarak öğrenirler. Bu çalışmada önerilen yöntem sadece önceden belirlenmiş performans hedeflerine dayalı olarak kendi kendine organize edilen yerleşim büyümesini modellemek için değil, aynı zamanda benzer nitelikli tasarım problemlerinin formülizasyonu için de kullanılabilir bir çerçeve sunar.