Zeki etmenlerde öğrenme kabiliyetinin geliştirilmesi ve dinamik bir atölye tipi çizelgeleme uygulaması

Bilim ve teknolojideki hızlı gelişme, problemlerin gittikçe karmaşıklaşması araştırmacıları tüm disiplinlerde kullanılmak üzere yeni yaklaşımlara ve çözüm tekniklerine yöneltmiştir. Bilgisayarların hayata girmesi ile yeni metodlar için yeni imkanlar doğmuştur. Bunların başında kuşkusuz yapay zeka teknolojileri gelmektedir. İnsanın yaşamı boyunca kazandığı tecrübelerden ve bilinçsel eylemlerinden yararlanmak amacı ile gelişim gösteren yapay zekanın bu gün geldiği son noktalardan biri de zeki etmenlerin kullanımıdır. Zeki etmenler, çevrelerindeki olayları algılayabilen, birbirinden bağımsız hareket edebilen, bulundukları ortamlara uyum sağlayabilen otonom yazılım ve donanım birimleridir. Genel olarak algılama, kavrama ve eylem birimlerinden oluşurlar. Çevredeki olayları alıcılar yardımı ile algılayarak onları belirli amaçlar doğrultusunda yorumlarlar, efektörleri yardımı ile de çeşitli eylemleri gerçekleştirirler. Mesela bir zeki etmen bir robot ise, olayları algılayıp yorumladıktan sonra efektörlerine sağa, sola dönmesini, yürümesini, konuşmasını, bir vanayı açıp kapamasını vb gibi aktiviteleri yaptırabilir. Bunun yanında robotun yürüme eylemini gerçekleştirirken önüne çıkan engelleri farkedebilmesi, ezmemek üzere durması veya alternatif bir eylem gerçekleştirebilmesi de son derece önemlidir. Bu çerçevede zeki etmenlerin bir dış etki veya komut ile değil tamamen öz bilgileri ile her zaman aktif olarak eylemlerini yürütmeleri ve anlamlı bir algılamayı gerçekleştirdikleri an gerekli tepkiyi göstermeleri yazılım sistemlerine yeni imkanlar sağlamaktadır. [Becket ve Bedler. 1993].Zeki etmenler yazılım sistemlerine bir yapısal yenilik getirmiştir. Bundan yapay zeka ürünleri de payını almaktadır. Geleneksel sistemlerden farklı olarak sistem mimarilerini standardize ederek sanal ortamlarda canlılara benzer şekilde tamamen veya yarı özerk işlev yürütmeyi sağlamaktadır. Sistemlerin bundan böyle algılama- kavrama-eylem ana birimleri ile çatılarak hedeflenen görevleri yapmak üzere çevresi ile etkileşen bir zeki etmen haline dönüştürülmelerini önermektedir. Hedeflenen görevlerin karmaşıklığına göre bir sistemin birden fazla zeki etmen kullanılarak tasarlanmasını, zeki etmenlerin çevre ile ve kendi aralarında etkileşerek işlevleri yürütme imkanını getirmektedir. Bu yapısal yenilik sistemlerin her ortama kolaylıkla adapte edilebilmelerini sağlamaktadır. Zeki etmenlerin gerek bulundukları ortama rahat uyum sağlayabilmeleri gerekse yeni yetenekler kazanabilmeleri için eğitilebilmeleri oldukça önemli bir konudur. Zeki etmenlerin eğitilmesinde gerçek zamanlı öğrenmede yeterli bilginin her zaman sağlanamaması dolayısıyla doğal ortamlarda canlıların deneme-yanılma şeklinde öğrenmelerine benzer şekilde çoğunlukla destekli öğrenme stratejisinin kullanıldığı görülmektedir. Destekli öğrenme stratejisi ile geliştirilen algoritmalar çalışma şekli birbirlerine benzerler. En önemli benzerlik, hepsinin deneme-yanılma tekniğine göre öğrenme eylemini öngörmeleridir. Burada öğrenme, zeki etmenin çevreden algıladığı aktif duruma karşın bir davranış göstermesi ve bu davranışa çevreden veya bir destekçiden gelen uyarı ile durum-davranış arasında bir eşleştirme kurabilmesi şeklinde gerçekleşir. Bu olay şöyle gerçekleşir: Zeki etmen çevredeki bir durumu algılar, onu bir değerlendirme fonksiyonuna göre değerlendirerek, duruma karşılık yapması gereken davranışı belirler ve o davranışı uygular. Bu davranış çevrede bir durum değişmesine dolayısıyla yeni bir duruma neden olur. Öğrenme boyunca zeki etmenin davranışlarını izleyen bir destekleme mekanizması çevredeki bu değişikliği değerlendirerek etmene bir yönlendirme uyarısı gönderir. Bu yapılan davranışın uygun olup olmadığı konusunda zeki etmene bir fikir verir. Oluşan yeni durum ve alınan uyarı ile zeki etmen değerlendirme mekanizmasında kullandığı kriterleri güncelleştirir. Bu deneme-yanılma çevrimi zeki etmen ilgili durum-davranış ilişkisini kavrayıncaya kadar tekrarlanır. Bu işlemler esnasında bazı problemler ortaya çıkmaktadır. Bunlardan birincisi, geçici kredilendirme problemi olarak bilinen veöğrenme esnasında oluşan hatanın nasıl geriye doğru yayılması gerektiği konusudur. İkincisi ise, kazanılmış tecrübenin yeni durumlar için nasıl kullanılacağı konusudur. Bu da yapısal kredilendirme olarak bilinir. Bu her iki problemin çözümü için yapılmış çalışmalar farklı öğrenme algoritmalarının gelişmesini sağlamıştır. Destekli öğrenme algoritmaları olarak ortaya çıkan çalışamazların en eskilerinden birisi geçici farklar üzerine tasarlanmış olan AHC algoritmasıdır. Sutton (1988) tarafından geliştirilen bu algoritma bir çok uygulamaya konu olmuş ve yenilerinin geliştirilmesine de kaynak olmuştur. Bunun yanında Watkins (1989) tarafından geliştirilen Q-öğrenme algoritması da aynı şekilde yaygın bir uygulama alanı bulmuştur. Benzer şekilde, bir takım istatistiksel değerlemeye dayanan öğrenme algoritmaları ile genetik algoritmalara dayanan bir çok algoritma literatürde yerini almıştır. Bu çalışmada sağlam bir teorik tabanı ve pratik uygulama yelpazesi bulunan Q-öğrenme algoritması ve onun yukarıda ifade edilen geçici ve yapısal kredilendirme problemlerine çözüm getirecek iyileştirme önerileri sunulacaktır. Tez boyunca amaçlar Q-öğrenme algoritmasının hedeflenen problemleri irdelenmiştir. Bu irdeleme çerçevesinde üç kademeli bir iyileştirme gerçekleştirilmiştir. Birinci adımda yalnızca yerel optimum problemini çözmeye yönelik olarak O-l yordamı (cezalandırma fonksiyonu), ikinci adımda hem yerel optimuma hem de yavaş yakınsama problemine çözüm olmak üzere paralel güncelleştirme yaklaşımı (Q-II) önerilmiştir. Son adımda ise yerel optimum, yavaş yakınsama ve genelleştirme problemlerini çözen Q-III algoritması sunulmuştur. Bu gelişmelerden sonra yeni algoritma ile öğretilmek üzere tasarlanan zeki etmenin, dinamik iş çizelgeleme problemine yeni bir çözüm getirip getiremeyeceği araştırılmıştır. Yapılan çalışmalar sonunda zeki etmenlerin öğrenme kabiliyetlerini kullanarak dinamik atölye ortamında durumlara uygun iş çizelgelemeyi başarabildiği görülmüştür. Tezin ikinci bölümünde zeki etmenler genel olarak tanıtıldıktan sonra üçüncü bölümünde destekli öğrenme algoritmaları hakkında tanıtıcı bir literatür taraması verilmiştir. Bölüm 4'te dijit oyununu oynayacak bir zeki etmen tasarlanmış ve Q- XIIöğrenme algoritması ile eğitilme çalışması sunulmuştur. Bölüm 5 Q-öğrenme ile yapılan öğretim sırasında ortaya çıkan yerel optimum problemini aşmak amacı ile bir cezalandırma fonksiyonu içeren yeni bir Q-öğrenme (Q-I) tanıtılmıştır. Bölüm 6 ise Q-öğrenme" nin yavaşlığı problemi ele alınmış ve paralel güncelleştirme yaklaşımı ile yeni bir Q-öğrenme (Q-H) algoritması önerilmiştir. Bölüm 7 sunulan her iki yeni algoritma için bir yapısal kredilendirme sistemini, Bölüm 8 ise önerilen bu yapısal kredilendirme sistemini iyileştirmek amacı ile yeni bir Q-öğrenme algoritmasını (Q- 111) sunmaktadır. Bölüm 9'da Endüstri Mühendisliği'nin önemli problemlerinden olan atölyede iş çizelgeleme ele alınmıştır. Dinamik bir atölye ortamında iş çizelgelemesini tezgahlara iş atayarak yapacak olan bir zeki etmenin tasarlanması ve Q-I1I algoritması ile durumlara göre iş atamasının da hangi öncelik kuralını kullanacağını öğrenmesi ele alınmıştır. Bölüm 10'da da tezin sonuçları verilmiştir.