Theses supervised by Yrd. Doç. Dr. M. Elif Karslıgil

Gerçek zamanlı güvenlik kamerası videolarının insan tabanlı özetlenmesi

Bu tez çalışmasında güvenlik kameralarından alınan video görüntülerinin insan tabanlı özetlemesini yapan bir sistem tasarlanmış ve gerçekleştirilmiştir. Önemli bir olay gerçekleştiğinde, bazen kayıtların saatler süren bölümlerinin incelenmesi gerekmektedir. Aynı zamanda yapılan kayıtların tamamının saklanması mümkün olmadığından, belirli aralıklarla eski kayıtlar silinmekte, bu durumda da gerektiğinde istenilen kayıtlara ulaşmak her zaman mümkün olmamaktadır. Bu nedenlerden dolayı bu görüntülerin özetlenerek kısaltılması ve sadece anlamlı parçalarının kullanılması bir gereklilik haline gelmiştir.Çalışma gerçekleştirilirken ön işlem adımları olarak Gauss Karışım Modeli ile ön plan çıkarımı yapılmıştır. Daha sonra çıkarılan ön plan Blob Analizi ile çerçeve içine alınmıştır. Çerçeve içine alınan nesnenin hareket bilgisini elde etmek için optik akış yöntemi kullanılmıştır. Hareket bilgisi çıkarılan nesneye yönlü gradyanlar yöntemi uygulanarak özellik çıkarımı yapılmıştır.Her nesne için çıkarılan yönlü gradyan özellikleri kullanılarak, çevrimdışı olarak oluşturulan eğitim seti yardımıyla Destek Vektör Makinesi yöntemi kullanılarak nesnenin insan olup olmadığına karar verilmiştir. Eğer nesne insan ise Kalman Filtresi ile insan takibi gerçekleştirilir. Yönlü gradyan bilgilerini taşıyan histogramlara zaman bilgisi eklenerek, video boyunca nesneye ait hareket bilgisi sürekli hale getirilmiştir. Sürekli hale getirilen gradyan bilgisi üzerine Şablon Eşleme yöntemi uygulanarak hareket kalıpları ve bu hareket kalıplarının tekrar başlangıçları bulunmuştur. Bulunan hareket kalıplarının geçiş noktaları da hareket geçişleri olarak işaretlenmiştir. Hareket geçişleri özet video için videonun önemli anlarıdır.Çalışma 4 ayrı veri setinde test edilmiştir. Sistemin özetleme başarısı, periyodik hareketleri tespit etme başarısıdır. İlk olarak test edilen veri seti genel kullanıma açık olan Weizmann İnsan Hareketi Veri Seti'dir. Bu veri setinden 6 kişiye ait 9 farklı hareket için özetleme işlemi gerçekleştirilmiştir. Bu örneklerde %89,47 özetleme başarısı tespit edilmiştir. İkinci kullanılan veri setinde güvenlik kamerası kayıtlarında olaşabilecek çeşitli durumlar için senaryolar 3 farklı kişi tarafından gerçekleştirilmiştir. Veri seti üzerinde gerçekleştirilen test çalışmaları sonucunda %93,44 başarı oranı elde edilmiştir. İkinci veri setiyle benzer senaryoların farklı kamera açısıyla gerçekleştirildiği üçüncü bir veri seti üzerinde yapılan denemeler sonucunda %89,29 başarı oranı yakalanmıştır. Birden fazla kişinin bulunduğu videolarda ise %75,76 gibi bir başarı gözlemlenmiştir.

Gizli Markov modeli ile geniş sözlüklü sürekli konuşma tanıma

Bilgisayar bilimlerinde ses ile ilgili çalısmalar genel olarak üç ana baslık altında toplanabilir: bunlar konusma tanıma, konusmacı tanıma-doğrulama ve konusma sentezlemedir. Ana baslıklardan konusma tanıma ile makine-bilgisayar tarafından insan konusmasının anlasılması veya bundan bilgi çıkarımı hedeflenmektedir. Bu tez çalısmasında çok boyutlu bir tanım uzayına sahip olan konusma tanıma probleminin genis sözlüklü sürekli konusma tanıma gereksinimlerini karsılayacak sekilde çözümüne yönelik bir uygulama gerçeklestirilmistir. Mel Frekans Kepstral Katsayı (MFKK) özellik çıkarımı ve Gizli Markov Modeli (GMM) ile özellik sınıflandırılması bu çalısmanın temel adımlarını olusturmaktadır. MFKK özellikleri konusmacı bağımsız olarak ses verisine iliskin özelliklerin ortaya konmasında etkili bir yöntemdir. GMM de ardısıl özelliklerin gelis sırası dikkate alınarak sınıflandırılmasını sağlayan bir yöntemdir. MFKK özellik çıkarım adımlarının ses verisine uygulanması ile reel değerlikli özellik vektörleri elde edilir. MFKK katsayılarına K-ortalama yönteminin uygulanması ile tek boyutlu ayrık değerlikli bir özellik uzayına geçilir. Herbir fon için dört durumlu, soldan sağa, ayrık çıkıs olasılıklarına sahip GMM temel modelleri uygun ilk durumları verilerek olusturulur. Eğitimde kullanılan ses verisine iliskin çözümleme doğrultusunda temel GMM'ler bir araya getirilerek sesler arası geçis sayılarına göre olasılıklandırılırlar. Tüm eğitim seti üzerinde Baum-Welch algoritması çoklu gözlem durumu dikkate alınarak uygulanır ve tüm temel GMM'ler için model parametreleri güncellenir. Kullanılan yaklasım ile GMM modelinin eğitim asamasında ses üzerinde etiketleme, bölümleme, kelime baslangıcı ve bitisi isaretleme gereği olmadan ses verisine iliskin istatistiki yapı elde edilebilmektedir. Sistem basarısı iki farklı kelimeyi ayrık olarak tanıma, çok sayıda kelimeyi ayrık olarak tanıma, kısıtlı sayıda tekrarlı kelimeleri sürekli konusma yapısında tanıma, sürekli konusma yapısında cümle tanıma deneysel kurguları üzerinde incelenmistir. Anahtar Kelimeler: Genis sözlüklü sürekli konusma tanıma, Gizli Markov Modeli, Mel Frekans Kepstral Katsayıları.

Resimli doküman görüntülerinde doku özelliğine göre metin alanlarının bulunmasını sağlayan bir sistem

Sayısal ortama aktarılan yazılı ve basılı dokümanlar;, bilgiye erişim, depolama, güncelleme ve en önemlisi de bilgi paylaşımında kolaylık sağlamıştır. Ancak bu sayısal dokümanların düzenlenmesi için sunulan sayfa planını çıkartma, resim ve metin bölgelerini ayırt etme konusunda yapılan çalışmaların artmasına neden olmuştur. Bu çalışmada, yazı karakterlerinden oluşan metin bölgelerindeki dokusal özelliğin, resim bölgelerindeki dokusal özellikten farklı olduğu değerlendirilerek doküman görüntüsü üzerinde metin alanlarını tespit eden bir sistem geliştirilmiştir. Yazı karakterlerinin duyarlı olduğu açı değerlerine göre hazırlanan tek değer oranlı Gabor filtresinin görüntü üzerine uygulanmasıyla yüksek frekanslı bileşenler ve düşük frekanslı bileşenler elde edilmiştir. Yüksek frekanslı bileşenlerin olası yazı karakteri olduğu kabul edilmiş , buna uymayan çizgi, çerçeve v.b. yüksek frekanslı bileşenler, bağlı-parçacıklar yöntemiyle elenmiştir. Mevcut yöntemlerden farklı olarak, kelime ve cümleleri oluşturan karakterlerin devamlılık ve komşuluk özellikleri de değerlendirilerek olası yazı karakterleri üzerinde eleme yapılmıştır. Yazı karakteri, karakter takibi olarak adlandırılan bu eleme yöntemiyle bulunmuştur. Oluşturulan doküman modeli optik karakter tanıma işlemi için hazır hale getirilmiştir. Önerilen yöntem doğrultusunda tasarlanılan sistemin Gabor filtreleme basamağında, tek değer oranlı Gabor filtresi kullanılarak metin alanlarının bulunması hızlandırılmıştır. Yeni bir yaklaşım olarak sunulan karakter takip yöntemiyle yazı karakterlerinin tespitinde sistemin başarı oranı arttırılmıştır. Bu sistemle, karmaşık sayfa planına sahip Latince ve Kirilce gibi farklı alfabelerin harflerinden oluşan değişik dillerdeki dokümanlarda metin alanlarının bulunmasında başarılı sonuçlar elde edilmiştir. Anahtar Kelimeler: Metin alanlarının çıkarılması, Gabor filtreleme, çok kanallı filtreleme, sayfa plan analizi, karakter takibi.

Seyir halindeki gemilerin çalışma sesinden tanınması

Karma uyarım doğrusal öngörüm kodlaması yöntemi ile disfonik konuşmadan normal konuşma elde edilmesi

Konuşma, günlük etkileşimin en etkin ve verimli biçimlerinden biridir. Ses telleri, gırtlak içinden geçen havanın etkisiyle titrer ve ses çıkartılmasını sağlar. Damak, dil ve dudakların hareketiyle ses şekillendirilir ve konuşma halini alır. Oluşan sesin şiddetini akciğerler tarafından oluşturulan subglottik basıncın büyüklüğü belirler. Ses tellerinin gerginliğinin, şeklinin ve ses tellerine gelen hava basıncının değişmesiyle ses farklı şekillerde çıkar. Ses bozuklukları, gerek sinirsel, gerek yapısal, gerekse de ses telleri üzerinde oluşan patolojiler nedeniyle, konuşma için gırtlaktan çıkardığımız sesin tizliği, yüksekliği ve kalitesinde meydana gelen istenmedik değişikliklerdir.Sesini tamamen kaybetmiş hastalar için elektro gırtlak ya da ses protezi gibi tıbbi ve mekanik çözümler önerilmiştir. Ancak bu teknikler enfeksiyon riski taşıyabilmekte ya da üretilen ses kalitesiz olabilmektedir. Bu tekniklerle üretilmiş seslerin kalitesinin yükseltilmesine yönelik çalışmalar son 15 yılda hızlanmış ve birçok sistem tasarlanmıştır. Ancak literatürde bu tekniklere alternatif olarak kullanılabilecek doyurucu bir çalışma mevcut değildir. Bu çalışmada, konuşma yeteneğini tamamen kaybetmiş hastalar için ses protezi gibi kullanılabilecek yazılım tabanlı bir sistem tasarlanmış ve gerçeklenmiştir.Tasarlanan sistemde, iyileştirilmiş konuşmanın sentezi için KUDÖK (Karma Uyarımlı Doğrusal Öngörüm Kodlaması, MELP) kullanılmıştır. Disfonik konuşma için ötümsüz sessiz içeren çerçeveler tespit edilmiş ve bu çerçeveler dışındaki çerçeveler için formant frekansları ve perde bağlantısı kullanılarak perde oluşturulmuş, formant yapısı değişikliği yapılmış ve seslilik eklenmiştir. Perde üretimi için perde-formant frekansı ilişkisinden yararlanılmıştır.Geliştirilen sistem ile elde edilen sentetik sesin kalitesinin incelenmesi için spektral uzaklık hesabı yapılmış ve öznel dinleyici testlerine başvurulmuştur. Testler sonunda sentetik sesin disfonik sese göre normal sese yaklaşık %20 oranında daha yakın olduğu saptanmıştır. İleriki çalışmalarda sentetik ses kalitesinin arttırılması ve gerçek zamanlı bir gömülü sistem uygulaması haline getirilmesi ile sesini tamamen kaybetmiş hastaların yeniden etkin sesli iletişim kurabilmelerine yardımcı olacak alternatif bir metod geliştirilebilir.Anahtar Kelimeler: Ses Bozuklukları, Ses Değiştirme Teknikleri, Karma Uyarım, Doğrusal Öngörüm Kodlaması

Gerçek zamanlı video görüntülerinden insan hareketlerinin tanınması ve yorumlanması

İnsan hareketlerinin tanınması ve yorumlanması video anlamlandırma çalışmalarının önemli bir parçasını oluşturmaktadır. Bu tez çalışmasında, video görüntülerini değerlendirerek yapılan hareketin ne olduğuna karar veren özgün bir sistem geliştirilmiştir. Böylece, otomatik olarak hareket algılayabilen gürbüz bir sistem oluşturulmuş ve ortam anlamlandırmaya ön adım olabilecek bir yapı ortaya konulmuştur.Önerilen sistemde hareket zamansal bir örüntü olarak tanımlanmış ve bu durumu ifade etmek için anlık durağan görüntü bilgisi ile hareket bilgisinin birleşiminden faydalanılmıştır. Bu işlemin gerçeklenmesinde, öncelikle ön plan çıkarımı ile bilgi içermeyen bölge elenmiştir. Daha sonra ön plan üzerinde insan konumu ve koordinatları blob analizi ile çıkarılmıştır. Optik akış hesabı ile bu bölge üzerindeki hareket bilgisi elde edilmiş ve beraberinde bu bilgi hareketin gücünü ifade eden bir hale dönüştürülmüştür. Elde edilen optik akış güç şekli yönlü gradyanlar histogramı yardımıyla betimleyici bir hale dönüştürülmüştür. Betimleyiciler zaman düzleminde ardışık dizilerek, hareket bilgisinin ve durgun görüntü bilgisinin yanı sıra zaman kavramını da içeren son betimleyiciler elde edilmiştir. Bu betimleyicilerin güçlülüğü ve güvenirliliği esas alınarak zaman düzleminde bir pencere çerçevesinde kayan basit bir sınıflandırıcı ile tanımlayıcı oluşturulmuştur.Bu tez çalışmasında, insan hareketlerinin hareket, durgun görüntü ve zaman bilgisinin birleştirilmesi ile etkili biçimde ifade edilebileceği ortaya konulmuştur. Sonuç olarak ise değişken boyutta, değişen koşullar altında başarıyla çalışabilecek, otonom hareket tanıyabilen ve bu sayede video anlamlandırabilen bir yapı oluşturulmuştur.

Gerçek zamanlı video görüntülerinden insan hareketlerinin tanınması ve yorumlanması

İnsan hareketlerinin tanınması ve yorumlanması video anlamlandırma çalışmalarının önemli bir parçasını oluşturmaktadır. Bu tez çalışmasında, video görüntülerini değerlendirerek yapılan hareketin ne olduğuna karar veren özgün bir sistem geliştirilmiştir. Böylece, otomatik olarak hareket algılayabilen gürbüz bir sistem oluşturulmuş ve ortam anlamlandırmaya ön adım olabilecek bir yapı ortaya konulmuştur.Önerilen sistemde hareket zamansal bir örüntü olarak tanımlanmış ve bu durumu ifade etmek için anlık durağan görüntü bilgisi ile hareket bilgisinin birleşiminden faydalanılmıştır. Bu işlemin gerçeklenmesinde, öncelikle ön plan çıkarımı ile bilgi içermeyen bölge elenmiştir. Daha sonra ön plan üzerinde insan konumu ve koordinatları blob analizi ile çıkarılmıştır. Optik akış hesabı ile bu bölge üzerindeki hareket bilgisi elde edilmiş ve beraberinde bu bilgi hareketin gücünü ifade eden bir hale dönüştürülmüştür. Elde edilen optik akış güç şekli yönlü gradyanlar histogramı yardımıyla betimleyici bir hale dönüştürülmüştür. Betimleyiciler zaman düzleminde ardışık dizilerek, hareket bilgisinin ve durgun görüntü bilgisinin yanı sıra zaman kavramını da içeren son betimleyiciler elde edilmiştir. Bu betimleyicilerin güçlülüğü ve güvenirliliği esas alınarak zaman düzleminde bir pencere çerçevesinde kayan basit bir sınıflandırıcı ile tanımlayıcı oluşturulmuştur.Bu tez çalışmasında, insan hareketlerinin hareket, durgun görüntü ve zaman bilgisinin birleştirilmesi ile etkili biçimde ifade edilebileceği ortaya konulmuştur. Sonuç olarak ise değişken boyutta, değişen koşullar altında başarıyla çalışabilecek, otonom hareket tanıyabilen ve bu sayede video anlamlandırabilen bir yapı oluşturulmuştur.

Gerçek zamanlı video görüntülerinden insan hareketlerinin tanınması ve yorumlanması

İnsan hareketlerinin tanınması ve yorumlanması video anlamlandırma çalışmalarının önemli bir parçasını oluşturmaktadır. Bu tez çalışmasında, video görüntülerini değerlendirerek yapılan hareketin ne olduğuna karar veren özgün bir sistem geliştirilmiştir. Böylece, otomatik olarak hareket algılayabilen gürbüz bir sistem oluşturulmuş ve ortam anlamlandırmaya ön adım olabilecek bir yapı ortaya konulmuştur.Önerilen sistemde hareket zamansal bir örüntü olarak tanımlanmış ve bu durumu ifade etmek için anlık durağan görüntü bilgisi ile hareket bilgisinin birleşiminden faydalanılmıştır. Bu işlemin gerçeklenmesinde, öncelikle ön plan çıkarımı ile bilgi içermeyen bölge elenmiştir. Daha sonra ön plan üzerinde insan konumu ve koordinatları blob analizi ile çıkarılmıştır. Optik akış hesabı ile bu bölge üzerindeki hareket bilgisi elde edilmiş ve beraberinde bu bilgi hareketin gücünü ifade eden bir hale dönüştürülmüştür. Elde edilen optik akış güç şekli yönlü gradyanlar histogramı yardımıyla betimleyici bir hale dönüştürülmüştür. Betimleyiciler zaman düzleminde ardışık dizilerek, hareket bilgisinin ve durgun görüntü bilgisinin yanı sıra zaman kavramını da içeren son betimleyiciler elde edilmiştir. Bu betimleyicilerin güçlülüğü ve güvenirliliği esas alınarak zaman düzleminde bir pencere çerçevesinde kayan basit bir sınıflandırıcı ile tanımlayıcı oluşturulmuştur.Bu tez çalışmasında, insan hareketlerinin hareket, durgun görüntü ve zaman bilgisinin birleştirilmesi ile etkili biçimde ifade edilebileceği ortaya konulmuştur. Sonuç olarak ise değişken boyutta, değişen koşullar altında başarıyla çalışabilecek, otonom hareket tanıyabilen ve bu sayede video anlamlandırabilen bir yapı oluşturulmuştur.

Video görüntülerinden trafik kazası riskini gerçek zamanlı belirleyen bir sistem tasarımı

Trafikteki can ve mal güvenliğini tehlikeye atan davranışların gözlemlenmesi, nedenlerinin anlaşılması ve bununla ilgili gerekli önlemlerin alınması günümüzde önemli araştırma konularından biridir. Trafik akışının düzenli bir şekilde sağlanması, sürücü davranışlarının caydırıcı önlemler geliştirilerek kontrol altına alınması ile mümkündür. Trafik düzeninin sağlanması trafiği oluşturan tüm unsurlar için psikolojik, zamansal ve maddi kazancı beraberinde getirir. Ancak bu durumun belki de en büyük getirisi hiç kuşkusuz insan hayatının korunması ile ilgilidir. Bu çalışmanın ana amaçlarından biri araç davranışlarının analizinde bir otomasyon sağlayarak trafik akışının ve düzeninin kontrol altına alınmasını kolaylaştırmaktır.Bu çalışmada trafik görüntülerini kullanarak takip edilen araçların hareket yörüngelerini inceleyen, bu yörüngelerden trafik kamerasının görüntü alanındaki yol modellerini öğrenebilen, öğrenilen bu yol modelleri yardımıyla araçların olağandışı davranışlarını tespit eden ve birbirleri ile ilişkilerine göre de kaza olasılıklarını tahmin eden bir sistem tasarlanmış ve gerçekleştirilmiştir. Bu amaçla öncelikle, trafik kamerasının görüş açısındaki yolda hareket eden araçların davranışlarının öğrenilmesi sağlanmıştır. Video görüntüleri çeşitli ön işlemlerden geçirildikten sonra, Adaptif Gauss Karışım Modeli yöntemi ile ön plan, arka plandan ayrıştırılır. Sonrasında tüm araçların merkez noktası tespit edilir ve Lucas-Kanade Optik Akış yöntemi kullanılarak takip edilir. Araçların takibi sonucu üretilen hareket yörüngeleri kullanılarak kamera açısı dahilindeki yolun, araçların hareketlerine göre modellenmesi sağlanır. Bu amaçla üretilen tüm hareket yörüngeleri kümelendikten sonra her kümeyi temsil eden ve Gauss Karışımı destekli Saklı Markov Modeli olarak ifade edilen genel yol modelleri bulunur. Sistemin uygulama aşamasında ise takip edilen araçların üretilen genel yol modellerine göre davranışları incelenir ve bu incelemelerin sonuçlarına göre anomali trafik durumları kolaylıkla tespit edilir. Bu işlemlerin ardından uygulama sürecinde takip edilen araç için üretilen kısmi yörüngelerin genel yol modelleri ile yaptığı açı ve uzaklık bilgileri kullanılarak sınıflandırma işlemi yapılır. Araçların sınıflandırıldığı yol modelindeki durumuna ve diğer araçlarla olan ilişkilerine göre anlık hız, konum, ve hareket doğrultusu parametrelerinin değerlendirilmesi sonucunda bir kaza risk faktörü değeri elde edilir. Kaza risk faktörü düşük, orta ve yüksek risk olmak üzere 3 kategoride değerlendirilir. Kaza risk faktörünün zamana göre değişimine göre de kaza riskini belirten bir alarm üretilir. Genel yol modelinin öğrenilmesi sonucu kaza risk faktörü sadece kaza yapma olasılığı bulunan yol modellerinde hareket eden araçlar arasında incelenerek sistemin çalışma performansı artırılır.Çalışma kapsamında elde edilen deneysel sonuçlara göre sistemin %80 doğruluk ve %68 hassasiyet oranı ile kaza riskini belirlediği sonucuna ulaşılmıştır. Testlerde kazaların 2.9 ile 1 saniye öncesinden tahmin edilebildiği sonucuna ulaşılmıştır. Sistemin başarımının kamera görüş açısı, trafik yoğunluğu, hareket eden araçların doğru tespit ve takip edilmesi gibi parametrelere göre değişebildiği gözlemlenmiştir.Araç trafiğini oluşturan unsurların otomatik olarak incelenmesi ve kaza risk faktörlerinin üretilmesi ile trafik koordinasyon merkezlerinde operatör bağımlı yapıdan daha esnek ve geliştirilebilir bir yapıya geçilebilecektir. Sistemin en önemli özelliklerinden biri yol modelinin otomatik olarak öğretilebilir olmasıdır. Bu sayede mevcut trafik kameraları kullanılarak anomali durumlarının ve kaza riskinin oluştuğu anlarda ilgili noktalara odaklanma sağlanabilecektir. Bu da kamera ağının insan kaynağına minimum ölçüde bağımlı hale gelmesini sağlayacak ve genişletilmesine yardımcı olacaktır. Ayrıca anomali yaratan durumların belirlenmesi ve kazaların tahmini sonrasında ihtiyaca göre polis ekiplerinin veya sağlık ekiplerinin bölgeye sevkedilmesi süreci hızlandırılabilecektir. Hali hazırda birçok büyük şehirde trafik kameralarının kurulu olması da bu sistemin uygulanabilirliği açısından büyük bir avantaj oluşturmaktadır.Anahtar Kelimeler: Trafik kazası risk analizi, anomali tespiti, hareket yörüngesi kümeleme ve sınıflandırma, trafik görüntülerinde araç tespiti ve takib

Video görüntülerinden trafik kazası riskini gerçek zamanlı belirleyen bir sistem tasarımı

Trafikteki can ve mal güvenliğini tehlikeye atan davranışların gözlemlenmesi, nedenlerinin anlaşılması ve bununla ilgili gerekli önlemlerin alınması günümüzde önemli araştırma konularından biridir. Trafik akışının düzenli bir şekilde sağlanması, sürücü davranışlarının caydırıcı önlemler geliştirilerek kontrol altına alınması ile mümkündür. Trafik düzeninin sağlanması trafiği oluşturan tüm unsurlar için psikolojik, zamansal ve maddi kazancı beraberinde getirir. Ancak bu durumun belki de en büyük getirisi hiç kuşkusuz insan hayatının korunması ile ilgilidir. Bu çalışmanın ana amaçlarından biri araç davranışlarının analizinde bir otomasyon sağlayarak trafik akışının ve düzeninin kontrol altına alınmasını kolaylaştırmaktır.Bu çalışmada trafik görüntülerini kullanarak takip edilen araçların hareket yörüngelerini inceleyen, bu yörüngelerden trafik kamerasının görüntü alanındaki yol modellerini öğrenebilen, öğrenilen bu yol modelleri yardımıyla araçların olağandışı davranışlarını tespit eden ve birbirleri ile ilişkilerine göre de kaza olasılıklarını tahmin eden bir sistem tasarlanmış ve gerçekleştirilmiştir. Bu amaçla öncelikle, trafik kamerasının görüş açısındaki yolda hareket eden araçların davranışlarının öğrenilmesi sağlanmıştır. Video görüntüleri çeşitli ön işlemlerden geçirildikten sonra, Adaptif Gauss Karışım Modeli yöntemi ile ön plan, arka plandan ayrıştırılır. Sonrasında tüm araçların merkez noktası tespit edilir ve Lucas-Kanade Optik Akış yöntemi kullanılarak takip edilir. Araçların takibi sonucu üretilen hareket yörüngeleri kullanılarak kamera açısı dahilindeki yolun, araçların hareketlerine göre modellenmesi sağlanır. Bu amaçla üretilen tüm hareket yörüngeleri kümelendikten sonra her kümeyi temsil eden ve Gauss Karışımı destekli Saklı Markov Modeli olarak ifade edilen genel yol modelleri bulunur. Sistemin uygulama aşamasında ise takip edilen araçların üretilen genel yol modellerine göre davranışları incelenir ve bu incelemelerin sonuçlarına göre anomali trafik durumları kolaylıkla tespit edilir. Bu işlemlerin ardından uygulama sürecinde takip edilen araç için üretilen kısmi yörüngelerin genel yol modelleri ile yaptığı açı ve uzaklık bilgileri kullanılarak sınıflandırma işlemi yapılır. Araçların sınıflandırıldığı yol modelindeki durumuna ve diğer araçlarla olan ilişkilerine göre anlık hız, konum, ve hareket doğrultusu parametrelerinin değerlendirilmesi sonucunda bir kaza risk faktörü değeri elde edilir. Kaza risk faktörü düşük, orta ve yüksek risk olmak üzere 3 kategoride değerlendirilir. Kaza risk faktörünün zamana göre değişimine göre de kaza riskini belirten bir alarm üretilir. Genel yol modelinin öğrenilmesi sonucu kaza risk faktörü sadece kaza yapma olasılığı bulunan yol modellerinde hareket eden araçlar arasında incelenerek sistemin çalışma performansı artırılır.Çalışma kapsamında elde edilen deneysel sonuçlara göre sistemin %80 doğruluk ve %68 hassasiyet oranı ile kaza riskini belirlediği sonucuna ulaşılmıştır. Testlerde kazaların 2.9 ile 1 saniye öncesinden tahmin edilebildiği sonucuna ulaşılmıştır. Sistemin başarımının kamera görüş açısı, trafik yoğunluğu, hareket eden araçların doğru tespit ve takip edilmesi gibi parametrelere göre değişebildiği gözlemlenmiştir.Araç trafiğini oluşturan unsurların otomatik olarak incelenmesi ve kaza risk faktörlerinin üretilmesi ile trafik koordinasyon merkezlerinde operatör bağımlı yapıdan daha esnek ve geliştirilebilir bir yapıya geçilebilecektir. Sistemin en önemli özelliklerinden biri yol modelinin otomatik olarak öğretilebilir olmasıdır. Bu sayede mevcut trafik kameraları kullanılarak anomali durumlarının ve kaza riskinin oluştuğu anlarda ilgili noktalara odaklanma sağlanabilecektir. Bu da kamera ağının insan kaynağına minimum ölçüde bağımlı hale gelmesini sağlayacak ve genişletilmesine yardımcı olacaktır. Ayrıca anomali yaratan durumların belirlenmesi ve kazaların tahmini sonrasında ihtiyaca göre polis ekiplerinin veya sağlık ekiplerinin bölgeye sevkedilmesi süreci hızlandırılabilecektir. Hali hazırda birçok büyük şehirde trafik kameralarının kurulu olması da bu sistemin uygulanabilirliği açısından büyük bir avantaj oluşturmaktadır.Anahtar Kelimeler: Trafik kazası risk analizi, anomali tespiti, hareket yörüngesi kümeleme ve sınıflandırma, trafik görüntülerinde araç tespiti ve takib

Video görüntülerinden trafik kazası riskini gerçek zamanlı belirleyen bir sistem tasarımı

Trafikteki can ve mal güvenliğini tehlikeye atan davranışların gözlemlenmesi, nedenlerinin anlaşılması ve bununla ilgili gerekli önlemlerin alınması günümüzde önemli araştırma konularından biridir. Trafik akışının düzenli bir şekilde sağlanması, sürücü davranışlarının caydırıcı önlemler geliştirilerek kontrol altına alınması ile mümkündür. Trafik düzeninin sağlanması trafiği oluşturan tüm unsurlar için psikolojik, zamansal ve maddi kazancı beraberinde getirir. Ancak bu durumun belki de en büyük getirisi hiç kuşkusuz insan hayatının korunması ile ilgilidir. Bu çalışmanın ana amaçlarından biri araç davranışlarının analizinde bir otomasyon sağlayarak trafik akışının ve düzeninin kontrol altına alınmasını kolaylaştırmaktır.Bu çalışmada trafik görüntülerini kullanarak takip edilen araçların hareket yörüngelerini inceleyen, bu yörüngelerden trafik kamerasının görüntü alanındaki yol modellerini öğrenebilen, öğrenilen bu yol modelleri yardımıyla araçların olağandışı davranışlarını tespit eden ve birbirleri ile ilişkilerine göre de kaza olasılıklarını tahmin eden bir sistem tasarlanmış ve gerçekleştirilmiştir. Bu amaçla öncelikle, trafik kamerasının görüş açısındaki yolda hareket eden araçların davranışlarının öğrenilmesi sağlanmıştır. Video görüntüleri çeşitli ön işlemlerden geçirildikten sonra, Adaptif Gauss Karışım Modeli yöntemi ile ön plan, arka plandan ayrıştırılır. Sonrasında tüm araçların merkez noktası tespit edilir ve Lucas-Kanade Optik Akış yöntemi kullanılarak takip edilir. Araçların takibi sonucu üretilen hareket yörüngeleri kullanılarak kamera açısı dahilindeki yolun, araçların hareketlerine göre modellenmesi sağlanır. Bu amaçla üretilen tüm hareket yörüngeleri kümelendikten sonra her kümeyi temsil eden ve Gauss Karışımı destekli Saklı Markov Modeli olarak ifade edilen genel yol modelleri bulunur. Sistemin uygulama aşamasında ise takip edilen araçların üretilen genel yol modellerine göre davranışları incelenir ve bu incelemelerin sonuçlarına göre anomali trafik durumları kolaylıkla tespit edilir. Bu işlemlerin ardından uygulama sürecinde takip edilen araç için üretilen kısmi yörüngelerin genel yol modelleri ile yaptığı açı ve uzaklık bilgileri kullanılarak sınıflandırma işlemi yapılır. Araçların sınıflandırıldığı yol modelindeki durumuna ve diğer araçlarla olan ilişkilerine göre anlık hız, konum, ve hareket doğrultusu parametrelerinin değerlendirilmesi sonucunda bir kaza risk faktörü değeri elde edilir. Kaza risk faktörü düşük, orta ve yüksek risk olmak üzere 3 kategoride değerlendirilir. Kaza risk faktörünün zamana göre değişimine göre de kaza riskini belirten bir alarm üretilir. Genel yol modelinin öğrenilmesi sonucu kaza risk faktörü sadece kaza yapma olasılığı bulunan yol modellerinde hareket eden araçlar arasında incelenerek sistemin çalışma performansı artırılır.Çalışma kapsamında elde edilen deneysel sonuçlara göre sistemin %80 doğruluk ve %68 hassasiyet oranı ile kaza riskini belirlediği sonucuna ulaşılmıştır. Testlerde kazaların 2.9 ile 1 saniye öncesinden tahmin edilebildiği sonucuna ulaşılmıştır. Sistemin başarımının kamera görüş açısı, trafik yoğunluğu, hareket eden araçların doğru tespit ve takip edilmesi gibi parametrelere göre değişebildiği gözlemlenmiştir.Araç trafiğini oluşturan unsurların otomatik olarak incelenmesi ve kaza risk faktörlerinin üretilmesi ile trafik koordinasyon merkezlerinde operatör bağımlı yapıdan daha esnek ve geliştirilebilir bir yapıya geçilebilecektir. Sistemin en önemli özelliklerinden biri yol modelinin otomatik olarak öğretilebilir olmasıdır. Bu sayede mevcut trafik kameraları kullanılarak anomali durumlarının ve kaza riskinin oluştuğu anlarda ilgili noktalara odaklanma sağlanabilecektir. Bu da kamera ağının insan kaynağına minimum ölçüde bağımlı hale gelmesini sağlayacak ve genişletilmesine yardımcı olacaktır. Ayrıca anomali yaratan durumların belirlenmesi ve kazaların tahmini sonrasında ihtiyaca göre polis ekiplerinin veya sağlık ekiplerinin bölgeye sevkedilmesi süreci hızlandırılabilecektir. Hali hazırda birçok büyük şehirde trafik kameralarının kurulu olması da bu sistemin uygulanabilirliği açısından büyük bir avantaj oluşturmaktadır.Anahtar Kelimeler: Trafik kazası risk analizi, anomali tespiti, hareket yörüngesi kümeleme ve sınıflandırma, trafik görüntülerinde araç tespiti ve takib

Trafik videolarında araçların olağandışı davranışlarının tespit edilmesi

Karayolları trafik akışında sürücüler, güvenli bir şekilde seyahat edebilmek için daha önce belirlenen kurallar çerçevesinde araçları hareket ettirirler. Bu kurallar, karayollarında hareket halinde veya duran vaziyetteki araç ve yayaların birbirlerine zarar vermeden trafik akışının devam edebilmesi için belirlenmiş olup, gerek yaya gerekse araç sürücülerinin bu kurallara uymaması durumunda araç içerisinde veya dış ortamda can ve mal kaybına sebep olabilecek trafik kazaları meydana gelebilmektedir.Bu tez çalışmasında, trafik videoları kullanılarak araçların normal trafik akışından farklı olarak yapmış oldukları olağandışı davranışların tespit edilmesini sağlamak üzere bir sistem tasarımı ve gerçeklemesi yapılmıştır. Trafik videolarında araçların yapmış oldukları olağandışı davranışların tespiti amacıyla öncelikle normal trafik akışı sisteme öğretilmiştir. Bu amaçla normal trafik akışında bulunan araçların hareketleri izlenerek elde edilen araç hareket yörüngeleri, karayoluna ait hareket modellerini belirlemek amacıyla Sürekli Saklı Markov Yöntemi kullanılarak kümelenmiştir.Trafik videolarında normal karayolu trafik akışı sırasındaki görüntüler kullanılarak karayoluna ait hareket modelleri belirlendikten sonra diğer aşamada araçların anormal davranışların tespit edilmesi için çalışma yapılmıştır. Bu kısımda yörüngeye bağlı olağandışı araç hareketleri (şerit dışında hareket etme, ters şeritte ilerleme, yanlış U-dönüşü durumları) ve bağıl hıza bağlı olağandışı araç hareketleri (ani yavaşlama ve hızlanma durumları) tespit edilmiştir. Bu amaçla araçların kısmi yörüngelerinin hareket modelleri ile olan benzerliği belirlenerek hareket modelleri arasında sınıflandırma işlemi yapılmış ve sınıflandırıldığı hareket modeli ile benzerlik oranı belirli bir eşik seviyesinden düşük olan kısmı yörüngeye sahip araçların davranışları olağandışı davranışlar olarak tespit edilmiştir. Ayrıca görüntüdeki araçların hızlarında beklenmedik şekilde meydana gelen ani değişimler de, araçların gerçekleştirmiş olduğu olağandışı davranış olarak belirlenmiştir.Yapılan deneylerde olağandışı davranışlar %85 doğruluk ve %87 hassasiyet oranı ile tespit edilmiştir. Tespit edilemeyen veya yanlış olarak tespit edilen olağandışı araç davranışlarına ise genellikle araç takibinin tamamlanamaması, araç takibi sırasında merkez noktadaki aşırı kayma gibi etkenlerin neden olduğu görülmüştür.Anahtar Kelimeler: Olağandışı hareketlerin tespiti, araç tespiti, araç takibi, hareket yörüngesi kümeleme, hareket yörüngesi sınıflandırma

Trafik videolarında araçların olağandışı davranışlarının tespit edilmesi

Karayolları trafik akışında sürücüler, güvenli bir şekilde seyahat edebilmek için daha önce belirlenen kurallar çerçevesinde araçları hareket ettirirler. Bu kurallar, karayollarında hareket halinde veya duran vaziyetteki araç ve yayaların birbirlerine zarar vermeden trafik akışının devam edebilmesi için belirlenmiş olup, gerek yaya gerekse araç sürücülerinin bu kurallara uymaması durumunda araç içerisinde veya dış ortamda can ve mal kaybına sebep olabilecek trafik kazaları meydana gelebilmektedir.Bu tez çalışmasında, trafik videoları kullanılarak araçların normal trafik akışından farklı olarak yapmış oldukları olağandışı davranışların tespit edilmesini sağlamak üzere bir sistem tasarımı ve gerçeklemesi yapılmıştır. Trafik videolarında araçların yapmış oldukları olağandışı davranışların tespiti amacıyla öncelikle normal trafik akışı sisteme öğretilmiştir. Bu amaçla normal trafik akışında bulunan araçların hareketleri izlenerek elde edilen araç hareket yörüngeleri, karayoluna ait hareket modellerini belirlemek amacıyla Sürekli Saklı Markov Yöntemi kullanılarak kümelenmiştir.Trafik videolarında normal karayolu trafik akışı sırasındaki görüntüler kullanılarak karayoluna ait hareket modelleri belirlendikten sonra diğer aşamada araçların anormal davranışların tespit edilmesi için çalışma yapılmıştır. Bu kısımda yörüngeye bağlı olağandışı araç hareketleri (şerit dışında hareket etme, ters şeritte ilerleme, yanlış U-dönüşü durumları) ve bağıl hıza bağlı olağandışı araç hareketleri (ani yavaşlama ve hızlanma durumları) tespit edilmiştir. Bu amaçla araçların kısmi yörüngelerinin hareket modelleri ile olan benzerliği belirlenerek hareket modelleri arasında sınıflandırma işlemi yapılmış ve sınıflandırıldığı hareket modeli ile benzerlik oranı belirli bir eşik seviyesinden düşük olan kısmı yörüngeye sahip araçların davranışları olağandışı davranışlar olarak tespit edilmiştir. Ayrıca görüntüdeki araçların hızlarında beklenmedik şekilde meydana gelen ani değişimler de, araçların gerçekleştirmiş olduğu olağandışı davranış olarak belirlenmiştir.Yapılan deneylerde olağandışı davranışlar %85 doğruluk ve %87 hassasiyet oranı ile tespit edilmiştir. Tespit edilemeyen veya yanlış olarak tespit edilen olağandışı araç davranışlarına ise genellikle araç takibinin tamamlanamaması, araç takibi sırasında merkez noktadaki aşırı kayma gibi etkenlerin neden olduğu görülmüştür.Anahtar Kelimeler: Olağandışı hareketlerin tespiti, araç tespiti, araç takibi, hareket yörüngesi kümeleme, hareket yörüngesi sınıflandırma

Trafik videolarında araçların olağandışı davranışlarının tespit edilmesi

Karayolları trafik akışında sürücüler, güvenli bir şekilde seyahat edebilmek için daha önce belirlenen kurallar çerçevesinde araçları hareket ettirirler. Bu kurallar, karayollarında hareket halinde veya duran vaziyetteki araç ve yayaların birbirlerine zarar vermeden trafik akışının devam edebilmesi için belirlenmiş olup, gerek yaya gerekse araç sürücülerinin bu kurallara uymaması durumunda araç içerisinde veya dış ortamda can ve mal kaybına sebep olabilecek trafik kazaları meydana gelebilmektedir.Bu tez çalışmasında, trafik videoları kullanılarak araçların normal trafik akışından farklı olarak yapmış oldukları olağandışı davranışların tespit edilmesini sağlamak üzere bir sistem tasarımı ve gerçeklemesi yapılmıştır. Trafik videolarında araçların yapmış oldukları olağandışı davranışların tespiti amacıyla öncelikle normal trafik akışı sisteme öğretilmiştir. Bu amaçla normal trafik akışında bulunan araçların hareketleri izlenerek elde edilen araç hareket yörüngeleri, karayoluna ait hareket modellerini belirlemek amacıyla Sürekli Saklı Markov Yöntemi kullanılarak kümelenmiştir.Trafik videolarında normal karayolu trafik akışı sırasındaki görüntüler kullanılarak karayoluna ait hareket modelleri belirlendikten sonra diğer aşamada araçların anormal davranışların tespit edilmesi için çalışma yapılmıştır. Bu kısımda yörüngeye bağlı olağandışı araç hareketleri (şerit dışında hareket etme, ters şeritte ilerleme, yanlış U-dönüşü durumları) ve bağıl hıza bağlı olağandışı araç hareketleri (ani yavaşlama ve hızlanma durumları) tespit edilmiştir. Bu amaçla araçların kısmi yörüngelerinin hareket modelleri ile olan benzerliği belirlenerek hareket modelleri arasında sınıflandırma işlemi yapılmış ve sınıflandırıldığı hareket modeli ile benzerlik oranı belirli bir eşik seviyesinden düşük olan kısmı yörüngeye sahip araçların davranışları olağandışı davranışlar olarak tespit edilmiştir. Ayrıca görüntüdeki araçların hızlarında beklenmedik şekilde meydana gelen ani değişimler de, araçların gerçekleştirmiş olduğu olağandışı davranış olarak belirlenmiştir.Yapılan deneylerde olağandışı davranışlar %85 doğruluk ve %87 hassasiyet oranı ile tespit edilmiştir. Tespit edilemeyen veya yanlış olarak tespit edilen olağandışı araç davranışlarına ise genellikle araç takibinin tamamlanamaması, araç takibi sırasında merkez noktadaki aşırı kayma gibi etkenlerin neden olduğu görülmüştür.Anahtar Kelimeler: Olağandışı hareketlerin tespiti, araç tespiti, araç takibi, hareket yörüngesi kümeleme, hareket yörüngesi sınıflandırma