Cloud computing
Bu konu başlığı altında 56 tez
Açık ve uzaktan öğrenmede öğrenme analitikleri kontrol panelinin geliştirilmesi: Öğrenme Bulutu
Açık ve uzaktan öğrenme bağlamındaki öğrenme analitikleri uygulamalarına yeni bir bakış açısı sunmayı amaçlayan bu çalışma kapsamında, Öğrenme Bulutu olarak adlandırılan yeni bir öğrenme analitikleri sistemi geliştirilerek kullanılabilirliğine ilişkin araştırmalar yapılmıştır. Çalışmanın öğrenme analitiklerine ilişkin alanyazın araştırması, atıf verilerine dayalı iki aşamalı sistematik bir yaklaşım çerçevesinde desenlenmiştir. Birinci aşamada; öğrenme analitiklerine ilişkin Web of Science veri tabanında yer alan akademik yayınların analizi yapılmıştır. İkinci aşamada ise; öğrenme analitikleri tüm detayları ile tanımlanarak tarihsel gelişimi ortaya konulmuştur. Öğrenme analitiklerine ilişkin süreçler, teknikler, araçlar, bağlantılı çalışma alanları ve uygulama örnekleri incelenmiştir. Son olarak öğrenme analitiklerine ilişkin etik tartışmalar vurgulanmıştır. Araştırma süreci; geliştirme, uygulama ve değerlendirme olmak üzere üç bölümden oluşmaktadır. Geliştirme sürecinde Öğrenme Bulutu'nun teknik altyapısı kurularak, öğrenen etkinlikleri takip mekanizmaları ve kullanıcı kontrol panelleri geliştirilmiştir. Araştırmanın uygulama süreci, Avrupa'daki eğitim-iş uyuşmazlığının azaltılması amacıyla hayata geçirilen EMLT açık ve uzaktan öğrenme sistemi kapsamında gerçekleştirilmiştir. Bu süreçte, Avrupa Birliği Erasmus+ Programı tarafından desteklenen EMLT Projesine katılan öğrenenlerin öğrenme etkinliklerinin takip edilmesi, depolanması ve analiz edilmesi amacıyla Öğrenme Bulutu kullanılmıştır. Son aşama olan değerlendirme sürecinde ise nicel araştırmalar altında sınıflandırılan betimsel tarama modeli çerçevesince Öğrenme Bulutu'nun kullanılabilirliğini belirlemeye yönelik analizler yapılmıştır. Ayrıca öğrencilerin Öğrenme Bulutu'nun kullanılabilirliğine ilişkin memnuniyet düzeylerinin ders başarısı, motivasyon, bilgisayar ve internet kullanım düzeyi, veri paylaşım tercihleri ve kitlesel açık çevrimiçi ders deneyimi bakımından farklılık gösterip göstermediği istatistiksel olarak açıklanmaya çalışılmıştır. Çalışmanın son bölümünde, araştırma sorularına ilişkin elde edilen bulgulara, bulgular doğrultusunda ulaşılan sonuçlara ve sonuçlara bağlı olarak geliştirilen önerilere yer verilmiştir. Anahtar Sözcükler: Açık ve Uzaktan Öğrenme, Öğrenme Analitikleri, Kontrol Paneli, xAPI, Experience API, Kitlesel Açık Çevrimiçi Dersler, Öğrenme Bulutu, Öğrenme Yönetim Sistemleri
Türkiye de küçük ve orta boy işletmelerde muhasebe bilgi sistemi temelinde bulut bilişim kullanım ve uygulanabilirliğinin teknoloji kabul modeli yaklaşımıyla belirlenmesi
Günümüzde gelişen teknoloji ve giderek artan rekabet, işletmelerin kendi sektöründeki teknolojik gelişmeleri takip etme zorunluluğunu getirmiştir. Bilgi teknolojisi alanındaki sürekli olarak artan gelişmeler teknoloji kullanımını çok önemli bir hâle getirmekte ve işletmeleri bu gelişmelerden yararlanmaya zorlamaktadır. Bu kullanım ve erişim kolaylığı sağlayan teknolojilerin başında bulut bilişim teknolojisi gelmektedir. Bulut bilişim bilgi, yazılım ve donanımın çevrimiçi kullanımı fikrinin temelinde yükselen günümüzün ve geleceğin en önemli girişimidir. İşletmeler için günümüz rekabet ortamında muhasebe sistemlerini düşük maliyetle, ileri teknolojik imkânlarla, uzaktan sürekli gözlemleyebileceği, güvenilir bir yapıda oluşturmak ve yürütmek temel amaç hâline gelmiştir. Bunun sonucunda bulut bilişim teknolojisi kullanan muhasebe yazılımları artık bulut muhasebe olarak adlandırılmaktadır. Bulut muhasebe, bulut bilişim tabanlı muhasebe sistemlerini kullanan işletmelerin hizmet sağlayıcılardan hesaplama, depolama ve bağlantı kaynaklarını ihtiyaçları kadar satın alıp, kendilerinin yönetebileceği ortam üzerinde kullanabilecek hizmetlere sahip olabilmeleridir. Muhasebe işlemlerini güvenilir bir şekilde yürütmek ve geliştirilmiş teknolojiyle verilere hızlı ve kolay bir şekilde erişmek önemlidir. Bu beklentileri ve ihtiyaçları tam olarak karşılayabilmek için muhasebe sisteminde bulut teknolojisi devreye girmiştir. Kullanıcılar, bulut teknolojisini kullanarak bir bulut hizmet sağlayıcısı aracılığıyla çevrimiçi muhasebe uygulamalarına günümüzde mobil akıllı telefon ya da tabletler yardımıyla kolaylıkla erişebilir. Böylece, kişisel bilgisayarlara ekstra bir yazılım indirmeye gerek kalmadan, internet bağlantısı olan herhangi bir yerden muhasebe verilerine erişmek mümkündür. Bu çalışmanın amacı, muhasebe departmanı çalışanlarının bilgiye erişim, bilgilerin kolay takibi, zaman ve maliyet tasarrufu gibi avantajlar sağlayan bulut teknolojisinin muhasebe uygulamaları üzerindeki etkilerini analiz etmektir. Çalışmanın diğer bir amacı ise KOBİ muhasebe departmanı çalışanlarının kullanıma yönelik tutum ve kullanma niyetleri üzerinde etkili olan değişkenlerin teknoloji kabul modeli ve planlı davranış teorisi çerçevesinde oluşturulan bütünleşik modelle incelemektir. Anahtar Kelimeler: Bulut Bilişim, Muhasebe Bilgi Sistemi, Bulut Muhasebe, Teknoloji Kabul Modeli
Investigation of amazon and google for fault tolerance strategies in cloud computing services
Cloud computing has recently become an attractive topic due to its ability to offer information technology solutions through virtual machines as on-demand services to share and consume resources over the Internet. As a result of rapid development in such services, the necessity of fault tolerance in the cloud is a major concern with reliability, availability and dependability is more critical to this new service type. This thesis investigates techniques and means of tolerating cloud services as well as cloud customers' systems/enterprises execution over the cloud safe from failures. As one of this findings shows, failures in cloud enabled services should be expected to occur hence they should be handled. The essential features of implementing fault tolerance strategies guarantee the business continuity, avoid financial lost, recovering systems from failures, and provide disaster recovery as well. The specific focus is to explore scenarios of avoiding/recovering from failures through redundancy, checkpoint and replication. Commercial IaaS providers such as Amazon's AWS and v Google's GCE are taken as examples as they tolerate their infrastructure from failures; in this way a robust architecture with fault tolerance property could be proposed for a system/enterprise. Hence, a general conceptual model with fault tolerance considerations has been proposed. With this basis, addressing potential failures in detail, implementing fault tolerance techniques, organizing teamwork to setup business policies are left for future work. Such limitations can be addressed through online questionnaires to collect information for case studies.
Metal Eşya Endeksine kayıtlı şirketlerin finansal performanslarının bulut endeks performans yöntemiyle değerlendirilmesi
Metal Eşya sektörü Türkiye'de imalat sanayinin lokomotif sektörleri arasında yer almaktadır. Bu sektörün varlığını sürdürebilmesi ve rekabet gücünü artırabilmesi finansal performanslarına bağlıdır. Dolayısıyla rekabet güçlerini sağlıklı bir şekilde devam ettirebilmeleri ve ne oranda başarılı olduklarını görebilmeleri finansal performanslarının ölçümünü ve analizini gerekli kılmaktadır. Özellikle Çok Kriterli Karar Verme yöntemleriyle yapılan analizler neticesinde çok sayıda kriterin ve alternatifin aynı anda analize tabi tutularak finansal performans ölçümüne gidilmesi daha sağlıklı ve bütünsel bakış açısı elde edilebilmeleri açısından önem arz etmektedir. Bu çalışmanın amacı, Metal Eşya Endeksine (XMESY) kayıtlı şirketlerin 5 yıllık verileriyle (2015-2019) finansal performanslarının değerlendirilerek, sonuçların nasıl endekslenebileceğini göstermektir. Finansal performans analizi Çok Kriterli Karar Verme yöntemlerinden dinamik bir yöntem olan Bulut Endeks Performans Yöntemiyle analiz edilmiştir. Yöntem uygulanırken oran analizinde kullanılan likidite oranları, verimlilik oranları, finansal yapı oranları, karlılık ve büyüme oranlarından 5 ana grup altındaki finansal oranlardan faydalanılmıştır. Alternatiflerin genel endeks düzeyinde puanları hesaplanıp sıralama değerleri belirlendikten sonra alt endeksler bazında da çıktılar elde edilerek işletmeler hem kendi içerisinde hem de kendi aralarında analize tabi tutulmuştur. Böylelikle karar vericilere etkili ve çok yönlü bir performans değerlendirme modeli sunmak amaçlanmıştır.
Efficient scaling with machine learning on cloud environment
Scaling in cloud environments can significantly affect the cost and efficiency of a system. In order to properly plan capacity, calculations are often made based on scaling size. Applications typically reserve resources such as cores, memory, and network in order to maintain high quality of service (QoS). When resource limits are approached, the application is scaled by running multiple copies in order to ensure system reliability under increasing traffic. This study aims to more efficiently reserve resources in order to maintain high QoS through the use of machine learning. Traditional methods reserve resources for an application and scale the application when resource usage reaches a certain threshold. However, the method implemented in this study estimates incoming traffic and scales applications based on this estimation, resulting in more efficient performance compared to using a fixed threshold value. The results of the study showed that the scaling system created based on machine learning performs more efficiently in terms of cost and resource allocation compared to the currently used static scaling methods. Keywords: Machine Learning, Cloud Computing, Scaling, Kubernetes, Resource Management, Cloud Cost
Makine öğrenmesi tabanlı gerçek zamanlı medikal nesnelerin interneti çerçevesinin geliştirilmesi
Yeni koronavirüs hastalığı (COVID-19), birçok alanda olduğu gibi sağlık sektöründe de Medikal Nesnelerin İnterneti (IoMT), Kablosuz Vücut Alan Ağları (KVAA) ve Bulut bilişim gibi yeni teknolojilere olan ihtiyacı arttırmıştır. Bu teknolojiler ayrıca milyarlarca cihazın internete bağlanmasını, birbirleriyle iletişim kurmasını ve her yerden ve her zaman erişilebilen yeni servisleri kullanmasını mümkün kılmıştır. Bu çalışmada, KVAA'lardan oluşan yeni bir IoMT çerçevesi önerilmiştir. KVAA'lardan gelen sağlık büyük verileri ile Sis (Fog) ve Bulut (Cloud) bilişim teknolojileri kullanılarak analizler gerçekleştirilmiştir. Hızlı ve kolay analizler için Sis bilişim, zaman alan ve karmaşık analizler için ise Bulut bilişim kullanılmıştır. Önerilen IoMT çerçevesi, bir diyabet ve bir kalp hastalığı tahmin senaryosu ile sunulmuştur. Hastalıkların tahmin sürecinde, bulanık mantık karar verme ile Sis bilişim üzerinde tahminler gerçekleştirilmiştir. Bulut bilişimde ise gerçek zamanlı veri akışında Node-Red ve Apache Kafka, gerçek zamanlı veri analizinde Apache Spark ve büyük verileri kolaylıkla depolayabilen MongoDB yapıları kullanılmıştır. Bununla birlikte, Apache Spark makine öğrenmesi kütüphanesi olan MLlib'in içerisindeki Karar Ağacı (KA), Rastgele Orman (RO), Gradyan Artırma (GA), Lojistik Regresyon (LR) ve Destek Vektör Makinesi (DVM) makine öğrenmesi sınıflandırma algoritmaları ile gerçek zamanlı veri analizleri yapılarak tahminler gerçekleştirilmiştir. Ayrıca, kullanılan sınıflandırma algoritmalarının performans karşılaştırmaları yapılmıştır. Sonuçlar incelendiğinde, bulanık mantık kullanılan Sis bilişimde diyabet için %64 doğruluk performansı ve Bulut bilişim de ise KA, RO, GA, LR ve DVM algoritmaları diyabet hastalığı için sırasıyla %78,77, %77,40, %84,93, %80,14 ve %79,45 doğruluk, kalp hastalığı için ise sırasıyla %89,74, %92,31, %94,87, %88,46 ve %93,60 doğruluk ile tahmin performansları sunmuştur. Ayrıca IEEE 802.15.6 standardı ve AODV yönlendirme protokolü kullanılarak oluşturulan KVAA senaryosundaki farklı önceliklere sahip heterojen düğümlerin iş çıkarım ve gecikme sonuçları da analiz edilmiştir. Bununla birlikte, veri analitiğinde kullanılan Apache Spark gerçek zamanlı veri işleme performansı incelenmiştir. Elde edilen tüm sonuçlar, önerilen yaklaşımın yüksek verimliliği ve fizibilitesini kanıtlamıştır.
Bulut teknolojisi kullanan hasta takip hizmetlerinde mikroservis temelli uç sistem tasarımı ve geliştirilmesi
Sağlık sektörünün muazzam büyüklüğü ve kendine özgü spesifik zorlukları dikkate alındığında bu sektörde kullanılacak teknolojik sistemlerin yönetilebilirliklerinin ve sürdürülebilirliklerinin ne kadar önemli olduğu bir kez daha ortaya çıkacaktır. Bu sağlık sistemlerinden biri de hem hastalara hem de sağlık personeline önemli kolaylıklar sağlayan uzaktan hasta takip sistemleridir. Son yıllardaki teknolojik gelişmeler uzaktan hasta takip sistemlerinde iyileştirmelere olanak sağlamaktadır. Özellikle bulut hesaplamanın sağladığı avantajlar ve önemli bir yazılım mimarisi olan mikroservis teknolojileri kullanılarak daha esnek hasta takip uygulamaları geliştirmek mümkündür. Bu tez çalışması, günümüzün yeni teknolojilerinin getirmiş olduğu avantajlardan faydalanan bir uzaktan hasta takip sistemi tasarımına odaklanmaktadır. En önemli özgünlüğü ise bulut sistem yükünü ve maliyetini optimize edecek uçta/kenar hesaplama alt yapısını kullanmasıdır. Ayrıca önerilen sistem üzerinde yürütülecek yazılımların yönetilebilirlikleri konteyner teknolojileri ile sağlanmaktadır. Klasik monolotik yazılım mimarilerinin uçta hesaplama için çok verimli olmamalarından dolayı mikroservis temelli yazılım mimarileri tercih edilmiştir. Bununla birlikte hastaya ve diğer yardımcı servislere ait bilgilerin dağıtık mikroservisler üzerinde nasıl tutulacağı ve yönetileceği problemi de bu tez kapsamında ele alınmaktadır. Bu tez kapsamında ilk olarak mikroservisler için ne tür bir veri yönetim modelinin kullanılabileceği incelenmiş ve aday model tipleri için gerçek zamanlı testler gerçekleştirilmiştir. Bu testlerin sonucuna göre başarılı olan model, önerilen uzaktan hasta takip sisteminde kullanılmıştır. Önerilen sistemin hayati fonksiyonları yine bir mikroservis mekanizması olan devre kesici servisler ile kontrol edilmiştir. Hem hasta tarafı hem de sağlık kurumu taraflı servisler içeren sistem, aile hekimlikleri ve onların görev kapsamında bulunan hastalara yönelik tasarlanmıştır. Performans testleri gerçek uç cihazlar kullanılarak farklı senaryolar için gerçekleştirilmiş ve sistemin performansı ispatlanmıştır.
Endüstri 4.0 entegrasyonu için bulut tabanlı üretim yönetim sistemi geliştirilmesi
Üretim sürecinin yönetilmesi işletmenin performans ve veriminin artırılması için elzem bir durumdur. Hammadde, personel ve makine gibi kaynakların bir düzen içerisinde üretimin parçasını oluşturması ise ancak iyi yönetilen bir iş akışı ile mümkün olabilmektedir. Kurumsallaşmamış olan birçok KOBİ (Küçük ve Orta Büyüklükteki İşletmeler) ölçeğindeki işletmenin bu konunda başvurduğu çözüm üretim sürecinin doğrudan bir koordinatör tarafından performans takibi göz ardı edilerek yönetilmesinden geçmektedir. Ancak bu geçici çözüm işletmelerin büyüme trendlerine sekte vuran en büyük engel olduğu görülmektedir. İnsan eli ile yapılan kontroller limitlidir. İşletmeler kapasite artışına gittiğinde ise bu insan eli ile yapılan üretim süreç yönetimi, işletme performansının ve karlılığının düşüşüne sebep olmaktadır. Bu konu hakkında yapılacak en önemli çözüm ise üretim süreç yönetiminin makinalar ve yazılımlar ile yapılmasıdır. Endüstri 4.0 entegrasyonu olmamış işletmelerde ürün süreci yönetiminin önünde makine parkurunun bilgisayar kontrollü olmayışı, tedarikten dağıtıma kadar tüm lojistik sürecin manuel yöntemler ile yönetilmesi ve çalışan personelin teknolojik altyapılarının eksikliği gibi faktörler çözülmesi gereken problemler olarak durmaktadır. Bu çalışmada, imalat sanayisinde Endüstri 3.0 üretim modeli ile faaliyet gösteren işletmelerin endüstri 4.0'a geçiş yapabilmelerini sağlayacak bulut tabanlı üretim yönetim sistemi ortaya konmuştur.
Bulut sistemlerde görev çizelgeleme problemlerine metasezgisel bir çözüm modelinin geliştirilmesi
Bulut bilişim teknolojisi birçok verinin internet ortamında barınmasını, değerlendirilebilmesini, kullanıcıların yalnızca tükettiği hizmet kadar ödeme yapmalarını sağlayan sanallaştırılabilir ve ölçeklenebilir kaynakların toplamıdır. İnternet altyapısının gelişmesi, Nesnelerin İnterneti teknolojisinin yaygınlaşması, büyük verinin hızlı artışı ve buna yönelik çalışmaların ortaya çıkması, yapay zekâ çalışmalarındaki gelişmeler gibi birçok sebep bulut teknolojilerinin yaygınlaşmasına neden olmuştur. Bulut bilişimin en önemli mekanizmalarından biri sanal makinelerdir. Sanal makineler müşterilerin ihtiyaçları doğrultusunda bulut sistem üzerindeki kaynaklardan oluşturulurlar. İş hacmine bağlı olarak müşterilerin sanal makine sayıları ve özellikleri çeşitlilik gösterebilir. Müşteriler bu sanal makinelerin özelliklerine ve kullanım sürelerine göre bulut sağlayıcıya belirli ücretler öderler. Sanal makineler üzerinde çalıştırılması gereken görevlerin yanlış çizelgelenmesi görev tamamlanma süresinin (makespan) artmasına ve doğal olarak da müşteri için maliyet artışına yol açar. Görev tamamlanma süresindeki bu artış, dolaylı olarak bulut sağlayıcının da enerji sarfiyatı ve bakım onarım maliyetlerini olumsuz etkiler. Bu sebeple bulut sitemlerde sanal makineler için iyi bir görev çizelgeleme algoritmasının kullanılması hem müşteri hem de bulut sağlayıcı açısından zorunludur. Görev çizelgeleme, NP-hard tipi bir problemdir. Deterministtik yaklaşımlar yerine metasezgisel algoritmaların kullanılması performans açısından bu tip problemlerin çözümünde sıklıkla tercih edilmektedir. Ancak öte yandan, problem tipinden dolayı, rastgele arama temelli metasezgisel algoritmaların lokal minimalara takılma olasılıkları da yüksektir. Bu olasılık görev ve sanal makine sayılarının artmasıyla daha da artabilmektedir. Bu sebeple kullanılan metasezgisel algoritmaların bu sorunu aşacak mekanizmalar kullanması gerekmektedir. Bu çalışma bu sorunun çözümü için farklı bir yaklaşım mekanizması kullanan ve güncel metasezgisel algoritmalardan olan Denizanası Arama Optimizasyonu (Jellyfish Search Optimizer) temelli bir çözüm önermektedir. Önerilen yöntemin en özgün yanı, daha hızlı bir şekilde lokal minimalardan kurtulmak için farklı bir benzerlik kontrolü ile dinamik popülasyon artışına imkân vermesidir. Böylece arama uzayında daha verimli bir keşif süreci gerçekleştirilmiş olmaktadır. Buna ek olarak bu algoritmanın, görev çizelgeleme problemi için çoklu iş parçacığı (Multi-Thread) ve çoklu-süreç (Multi-Process) analizleri de bu tez kapsamında yapılmıştır. Önerilen yöntemin performansı, CloudSim simülatöründe farklı senaryolar için karşılaştırmalı olarak denenmiş ve ispatlanmıştır.
Design of IOT based violence detection systems using lightweight virtualization mechanism
Today, violent events have become more common in public areas, schools, and sports arenas. The early detection of these events, as well as catching the perpetrators, is vital for social order. Today's Internet of Things (IoT) technologies help to overcome these problems, and for this purpose, this thesis proposes a cloud computing-based IoT violence detection system, which is able to help security forces and related institutions. This violence detection system uses edge computing technologies, and in addition, the edge devices use Docker, which is a lightweight virtualization technology, for both software execution and system sustainability. The artificial intelligence (AI) module, which detects violence, uses deep learning models that are suggested in the literature. The deep learning module includes (CNN) with LSTM, BiLSTM, Gated Recurrent Unit (GRU) and Recurrent Neural Network (RNN) models that use a pre-trained MobileNet. The images taken by the edge devices are locally evaluated, and the urgent cases are forwarded to the relevant institutions, or to the cloud environment. Computing at the edge leads to a great reduction in the increase of cloud load, and the Docker technology allows the installation and management of related AI modules on edge devices in a fast and flexible way. The training dataset consists of violent and non-violent images. In the thesis, AI modules were trained outside the edge layer, and then the trained modules were loaded on edge devices, using container technologies. The experiments were done in local environments and the performance of the system was then analysed. In addition, the resources consumed by the edge devices were examined, with an additional discussion regarding edge device performances. In practice, conventional violence detection systems may have disadvantages in terms of installation and execution costs. Moreover, these costs can increase even more with the use of IoT technologies such as cloud computing. Attention should always be paid to optimizing the cloud system load and customer cost, which was proven in this work, since the proposed IoT system model has several gains and advantages, with a clear practical and commercial potential.
Online sipariş takip otomasyonları tasarımı
Teknolojinin girdiği hemen her yerde zamandan ve maliyetten tasarruf söz konusudur. Saha sipariş takip otomasyonları da bunun örneklerinden sadece birisidir. Firma olarak, örneğin sahadaki 10 ayrı mobil temsilcinizin nerede olduğunu, hangi siparişlerle ilgilenmesi gerektiğini, koordinasyonunu, yük dağıtımını yapabilmeniz oldukça zor bir süreçtir. Bu tür dağıtık yapılarda kullanılacak en iyi çözümlerden birisi de merkezileştirilmiş yazılım projeleri kullanmaktır. İşte bulut bilişimin gücü de bu tür uygulamalarda kendini gösterecektir. Uygulamayı kullanan binlerce istemci olmasına rağmen, merkezde bir kaç server tüm yükü üstlenecek ve firma sahibine gerekli rapor, denetim, yönetim imkanı sunacaktır. Tabi en önemli avantaj da maliyet konusudur. Örneğin, yazılım üzerinde yapılacak otomatik (Google Direction API) güzergah belirleme işlemi, sahadaki çalışanların gereksiz dolaşmasının önüne geçecektir.
Dağıtık görüntü işleme
Bu tez çalışmasında, büyük veri alanında önemli bir yeri olan görüntü ve video dosyalarının dağıtık olarak işlenmesi konusu incelenmiştir. Görüntü ve video dosyalarının işlenmesinde kullanılmak üzere OpenStack bulut sistemi ile farklı ölçeklerde Hadoop kümeleri oluşturulmuştur. Dağıtık görüntü ve video işlemeyi gerçekleştirmek için Hadoop MapReduce programlama modeli ve OpenIMAJ kütüphanesi kullanılarak iki uygulama geliştirilmiştir. Bu uygulamalar geliştirilirken video ve görüntü dosyalarının Hadoop Dağıtık Dosya Sistemi (HDFS)'inden okunması, işlenmesi ve elde edilen sonuçların yazılması için gerekli olan ve Hadoop kütüphanesi tarafından sağlanmayan sınıflar yazılmıştır. Geliştirilen uygulamalar farklı ölçeklerdeki Hadoop kümeleri üzerinde çalıştırılarak dağıtık görüntü ve dağıtık video işlemede Hadoop MapReduce programlama modeli test edilmiştir. Geliştirilen bu sistem ile hızlı bir şeklide artan görüntü ve video dosyalarının daha kısa sürede işlenmesi ve analiz edilmesi mümkün olmaktadır. Bu sisteminin OpenIMAJ kütüphanesi ile uyumlu geliştirilmesi OpenIMAJ kütüphanesinin sağladığı bir çok algoritmanın dağıtık olarak görüntü ve video işlemede kullanılabilmesini sağlayacaktır.
Bulut bilişim platformunda uzaktan algılama analiz ve görselleştirme arayüzü tasarımı: Google Earth Engine örneği
Bu tez, Google Earth Engine ve Django tabanlı bir web platformu geliştirerek, kullanıcıların coğrafi veri analizlerini ve görselleştirmelerini kolaylaştırmayı amaçlamaktadır. Coğrafi verilerin analiz edilmesi ve görselleştirilmesi, çevresel izleme, şehir planlama ve doğal kaynak yönetimi gibi alanlarda önemli bir rol oynamaktadır. Ancak mevcut araçlar genellikle karmaşık ve kullanıcı dostu değildir. Bu çalışma, kullanıcıların Google Earth Engine'in güçlü veri işleme yeteneklerinden yararlanarak temel analizler yapabilmesini ve görselleştirebilmesini sağlayacak bir platform sunmaktadır. Türkiye özelinde bazı bölgesel veriler üzerinden analiz ve görselleştirme örnekleri sağlanarak, sistemin yetenekleri gösterilecektir. Geliştirilen platform, kullanıcıların işlemleri kolayca gerçekleştirebileceği bir arayüz sunarak, coğrafi veri analizine pratik bir yaklaşım getirmeyi hedeflemektedir.
Ecurity polcies in computer networks and cloud computing
In this study explained contemporary security problems and cloud technology problems. With the development of technology a new profession appears, it comes as an organization in computer science. It is necessary to use integrated approach in security to solve the encountered problems. In this context we developed new laws, new cautions and new technology solutions for new security ideas. Cloud computing came to the fore after internet technology developed. Cloud computing reduces the cost in storage service. This technology could be the future of internet. While at the same time it also cause special security problems. In this study explained computer networks and security polticies in first part. Second part conisted of cloud technology and basis of cloud technology, virtulasiton technology . In the last part ordered advantages , disadvantages and features of cloud computing.Sample events studied and explained in last part. Reason and result analyzed depending sample events. Mentioned cloud computing benefits for enterprises. Explained situations if security policies ignores in enterprises and these results. Key Words :Computer Networks, Cloud Computing, Security
Bulut bilişim ve stok hesaplarının denetimi: BDS 805 kapsamında örnek bir uygulama
Bulut bilişim; sunucu, depolama, veri tabanı, ağ ve yazılım gibi bilgi işlem hizmetlerinin internet üzerinden sağlanmasına olanak tanıyan bir uygulamadır. Bulut bilişim gelişen teknoloji ile birlikte ortaya çıkmış olup, günümüzde de önemi gittikçe artmaktadır. Geleneksel denetime kıyasla denetim hizmetlerinin bu teknoloji ile gerçekleştirilmesi denetimin daha uygun maliyetle, daha kısa sürede gerçekleştirilmesine ve daha doğru sonuç alınmasına imkân vermektedir. Türkiye'de bulut bilişim konusunda denetim şirketleri yeni yeni çalışmalar yapmaya başlamışlardır. Bulut bilişim tabanlı olarak çalışan FAS (Financial Audit Software- Finansal Denetim Yazılımı) denetim programı ise denetim faaliyetinin bu teknoloji ile gerçekleştirilmesine imkan sağlamaktadır. Bu çalışmada Bağımsız Denetim Standardı (BDS) 805: Tek Bir Finansal Tablonun Bağımsız Denetimi İle Finansal Tablolardaki Belirli Unsurların, Hesapların veya Kalemlerin Bağımsız Denetimi esas alınarak bulut tabanlı çalışan FAS denetim programı aracılığı ile stoklar hesap grubunun denetimi bir vak'a yardımıyla anlatılmıştır. Çalışma sonucunda, denetim faaliyetinin bulut tabanlı bir program üzerinden gerçekleştirilmesinin denetim çalışmalarının denetim ekibinin eşgüdümü içerisinde, kolaylıkla, doğru ve daha az bir maliyetle gerçekleştirilmesine imkân sağladığı tespiti yapılmıştır. Ayrıca bulut tabanlı denetim, menfaat sahiplerine denetim bilgisinin şeffaf, hesap verebilir ve sorumluluk ilkelerine uygun sunumuna katkı sağladığı değerlendirilebilir. Anahtar Kelimeler: Bulut Bilişim, Stok Hesaplarının Denetimi, Denetim Programı
Lojistik işletmelerinde bulut bilişim uygulamalarının değerlendirilmesi
Dünya pazarlarının küreselleşmesi ile birlikte hız, maliyet ve bilgi yönetimi kavramları daha fazla önem kazanmaya başlamıştır. Teknolojik bir yenilik olarak değerlendirilen bulut bilişim, bilgi teknolojileri faaliyetlerinin dış kaynaklardan kullanılarak temel yeteneklere odaklanılmasına ve gelişen teknolojilere uyum sağlanmasına imkan vermektedir. Bulut bilişim, dış kaynak kullanımı kavramına ek olarak, aynı zamanda daha hızlı ve daha esnek iş süreçlerine, "kullandıkça öde" prensibi ile daha düşük maliyetlerle ulaşmaya olanak sağlamaktadır. Bilgi teknolojilerinin yoğun olarak kullanıldığı alanlardan birisi de lojistik sektörüdür. Özellikle küçük ve orta ölçekli lojistik işletmeleri, esas yetenekleri olmayan bilişim teknolojilerinin sahipliğini, yönetimini ve sürdürülebilirliğini sağlamak için yüksek miktarda zaman ve para harcamak zorundadırlar. Böyle bir ortamda sağladığı avantajlar ile bulut bilişim, lojistik işletmelerine yüksek teknolojilerle entegre bir şekilde pazarlardaki rekabet düzeylerini artırma fırsatı sunmaktadır. Bu çalışmada, lojistik işletmelerinin bulut bilişime dair farkındalıkları, bulut bilişim kullanımını tercih etme ve etmeme sebepleri ile bulut bilişimin lojistik işletmelerine yönelik fayda ve riskleri araştırılmıştır. Bu kapsamda lojistik işletmeleri ile yapılan görüşme verilerinin analizinden elde edilen bulgular teknolojik, organizasyonel ve çevresel bağlamda değerlendirilmiştir. Anahtar Kelimeler: Bulut Bilişim, Lojistik, Lojistik Bilgi Teknolojileri
Yerel yönetimlerde bulut bilişim teknolojisi: Bütünleşik belediye bulut sistemi mimarisinin araştırılması
Bulut bilişim, internet üzerinden bilgisayar sistemlerine, veriye erişim ve bu kaynakların paylaşımını sağlayan bir teknoloji ve hizmet modelidir. Bulut bilişimde geleneksel bilgi işlem altyapılarının aksine donanım ve yazılım kaynakları, bir sunucu üzerinde sanal olarak sağlanır ve internet aracılığıyla kullanıcılara sunulur. Bu model, kullanıcılara esneklik, ölçeklenebilirlik, maliyet etkinliği ve erişim kolaylığı gibi avantajlar sağlar. Kamu hizmeti sunan belediyeler ve diğer yerel idarelerde bulut bilişim, hizmet sunumunda maliyet tasarrufu, ölçeklenebilirlik, erişim kolaylığı, veri yedekleme, güvenlik, yenilikçilik ve verimlilik gibi avantajlar sunabilmektedir. Bu kapsamda gerçekleştirilen çalışmada yerel yönetimlerde bulut bilişimin altyapısının uygulanmasına ilişkin kavramsal çerçeve belirlenmiş ve konu ile ilgili yerel yönetim çalışanlarının bu çerçeveye ilişkin görüşleri belirlenmeye çalışılmıştır. Bunun yanında yerel yönetimlerde bütünleşik belediye bulut sistemi mimarisinin nasıl anlaşıldığının ve uygulandığının, katılımcıların bulut bilişim hizmetlerine dair tecrübeleri, bu teknolojiye yönelik görüşleri incelenmiştir. Bu amaca yönelik olarak; araştırma kapsamında iletişime geçilen yerel yönetimlere çevrimiçi olarak anket formu gönderilmiş, toplam 31 farklı belediyeden katılım sağlanmıştır. Gönüllülük esasına dayalı olarak yürütülen çalışmaya; 1'i Belediye Başkanı, 4'ü Belediye Başkan Yardımcısı olmak üzere toplam 95 yerel yönetim çalışanı katılım sağlamıştır. Katılımcılardan elde edilen veriler frekans ve yüzde dağılımları kullanılarak incelenmiştir. Çalışma sonucunda; bulut bilişimin kullanıcılar tarafından yüksek derecede anlaşıldığı ve benimsendiği, belediyelerin bulut bilişim sistemlerini kullanmaya yönelik güçlü bir eğilim gösterdiği görülmüştür. Ancak bu teknolojinin getirdiği zorlukların da farkında oldukları, belediyelerde karar vericilerin teknolojinin sunduğu faydaları değerlendirirken aynı zamanda güvenlik, maliyet ve organizasyonel değişim gibi faktörleri dikkate almaları gerektiği anlaşılmıştır. Yerel yönetimlerin dijital dönüşüm sürecinde güvenliği merkeze alan bir yaklaşım benimsemelerinin son derece önemli olduğu, önerilen bütünleşik belediye bulut sistemi mimarisinin katılımcılar tarafından büyük oranda olumlu karşılandığı sonucuna ulaşılmıştır. 2024, xi + 106 sayfa Anahtar Kelimeler: Bulut bilişim, yerel yönetim, bütünleşik belediye bulut sistemi.
Muhasebe meslek mensuplarının web tabanlı muhasebe sistemleri hakkında bilgi ve yatkınlıklarının belirlenmesi: Afyonkarahisar örneği
Günümüz teknoloji seviyesinin oldukça yüksek olması ile birçok iş ve işlem internet üzerinden kolay ve hızlı bir şekilde yapılabilmektedir. Küreselleşme ile birlikte bilgi ve iletişim teknolojisinin hızla gelişmesi muhasebe mesleği başta olmak üzere birçok mesleği etkilemiştir. Muhasebe meslek mensupları için bilgi ve iletişim teknolojisinde yaşanan gelişimin etkisi, faaliyet alanlarının genişlemesine, yeni çalışma alanlarının doğmasına ve kullanmış oldukları muhasebe programlarının gelişip değişmesine yol açmıştır. Web tabanlı muhasebe sistemleri, muhasebe meslek mensuplarının daha esnek, etkin ve verimli çalışabilmesi adına klasik muhasebe programlarının yerini alan yeni nesil muhasebe programı olarak karşımıza çıkmaktadır. Çalışmanın konusunu, muhasebe meslek mensuplarının çalışma alanlarında yoğun olarak kullandıkları ve vazgeçilmez bir parçası olan muhasebe programlarından 'Web Tabanlı Muhasebe Sistemi' oluşturmaktadır. Bu bağlamda çalışmanın amacını ise, Afyonkarahisar ilinde faaliyet gösteren muhasebe meslek mensupları örnekleminden yola çıkarak, web tabanlı muhasebe sistemi hakkında muhasebe meslek mensuplarının kullanım düzeyinin hangi durumda olduğunu açıklamak, bilgi seviyesinin hangi düzeyde olduğunu belirlemek ve yatkınlıklarını tespit etmektir. Çalışmanın uygulama kısmında Afyonkarahisar'ın bütün ilçelerini kapsayan 188 muhasebe meslek mensubuna anket çalışması uygulanmış elde edilen verilerin testler ve analizleri SPSS 23.0 programı ile gerçekleştirilmiştir. Elde edilen bulgular ise, muhasebe meslek mensuplarının web tabanlı muhasebe sistemlerini büyük çoğunlukla kullandıkları, bilgi düzeyi ve yatkınlıklarının ise web tabanlı muhasebe sistemini kullananların kullanmayanlara göre yüksek seviyede olduğu sonucuna varılmıştır.
Sektörlerde bulut tabanlı çok kriterli karar verme süreçlerinin değerlendirilmesi
Günümüz bulut teknolojileri tüm sektörlerde giderek daha fazla yer almaya başlamıştır. Önümüzdeki yıllarda bu teknolojinin kullanımının mevcut durumdan çok daha fazla artacağı birçok uzman tarafından belirtilmektedir. Genel olarak sorun kavramı, planladığımız amaçların bizim belirlediğimiz şekilde ve zamanda gerçekleştirilmesini engelleyen ve çeşitli nedenlerle bir araya gelmiş istenmeyen oluşumlar olarak tanımlanabilmektedir. Sorun kavramı ortaya çıktığı an çözümlenmez ise, zaman geçtikçe bu kavram daha karmaşık hale gelir ve istenmeyen bir kaos ortamına neden olabilir. Birden fazla proje içerisinden hangisinin doğru seçim olduğuna karar verebilmemiz için kaç kriter ile karşılaştırma yaptığımız büyük bir önem taşımaktadır. Eğer seçimi tek bir kritere göre yapıyorsak sorunun çözümü kolay olacaktır. Fakat karşımıza birden fazla kriter çıkmış ise, bu durumda karar verme süreci hiç şüphesiz ki karmaşıklaşacaktır. Bu çok sayıda karar kriterine sahip karar verme sorunlarının çözümünü sağlayan ve soruna tutarlı / mantıklı matematiksel çözümler üreten yöntemlere literatürde ÇOK KRİTERLİ KARAR VERME YÖNTEMLERİ denilmektedir. Çok kriterli karar verme yöntemlerinde 9 tane yöntem bulunmaktadır ve bu 9 yöntemler ile elle bir işlem yapmak çok sürmektedir. Bu yöntemlerin bazılarının yazılımları olmasına karşın birçoğunun yazılımı bulunmamaktadır. Bu tez kapsamında yapılan uygulamanın amacı; karar verme aşamasında zorluk yaşayan kişilere, 8 yöntem arasından istenilen 1 veya 1 den fazla iv yöntemin aynı anda seçilerek işlem yapma olanağını sağlamaktır. Böylelikle 8 farklı yöntemden çıkan 8 farklı sonucun analizi ile karar verme noktalarını arasındaki en optimum olanı bularak, zamandan tasarrufu sağlayacaktır.
Açık kaynak uzaktan eğitim yazılımlarında altyapı otomasyonu ve çıktıların değerlendirilmesi
Uzaktan eğitim amacıyla kullanılan konferans yazılımları kullanıcıya oldukça basit ve anlaşılır bir arayüz sunsa da arka planında oldukça karmaşık bir yapı yer almaktadır. Böylesine karmaşık yapının sürekliliğini sağlamak bir yana dursun, ihtiyaç duyulduğunda yeni bir ortama aktarılması ve aynı kararlılığı elde etmek için oldukça uzun mesai harcanması gerekmektedir. Bu çalışma, bir üniversitede bulunan uzaktan eğitim altyapısındaki yapının ve yazılımların mümkün olduğunca otomatik bir şekilde kurulumunun gerçekleşmesi, gerekli bakımların yapılması ve gerçekleşen problemlere karşı alınan aksiyonların mümkün olduğunca nasıl otomatik hale getirildiği araştırılacaktır. Bunların yanında bu yapıdan sürekli olarak elde edilen verilerin işlenerek karar mekanizmalarına desteğini gösterecektir. Her geçen gün hızla ilerleyen bilgisayar yazılımları, bu yazılımların yönetilmesi, bakımı, güncellemeleri, çalışma ortamları gibi problemleri beraberinde getirmiştir. Problemlere getirilen çözümler her ne kadar yardımcı olsa da ihtiyaçlara yönelik olarak birçok açıdan yetersiz gelmektedir. Bilgisayar ve bilişim altyapılarında kullanılan bu kaynakların etkili biçimde yönetimi çok önemlidir. Çeşitli nedenlerden ötürü artabilecek kaynak ihtiyaçlarını hızlıca genişletip gerek görülmediğinde daraltılması bu kaynakların maliyetinin yönetiminde oldukça etkilidir. Altyapı maliyetlerinde esneklik önemli olduğu kadar işlemler tekrar ettikçe zahmetli bir hal almaktadır. İhtiyacı gidermek için çeşitli otomasyon araçları bulunsa dahi yapılandırmalar göz önünde bulundurulduğunda her zaman istenilen sonucu verememektedir. Böyle durumlarda yapılandırmanın ihtiyacını karşılayacak çözümlerin bir kereye mahsus oluşturulması gerekmektedir. Elde edilen kazanımlarda neredeyse yüzlerce aşamadan oluşan kurulum ve bakım sürecinin oluşturulan betiklerle ve konfigrasyon araçlarının kullanımıyla bir kaç adıma düşürülerek ciddi anlamda zaman tasarufu sağlandığı açıklanmıştır.
Bulut bilişim destekli işbirlikli öğrenme yönteminin lisans öğrencilerinin akademik başarı ve işbirlikli öğrenme tutumu üzerine etkisi
Bu araştırmada bulut bilişim destekli işbirlikli öğrenme uygulamasının öğrencilerin akademik başarı ve işbirlikli öğrenmeye karşı tutumlarına etkisi araştırılmıştır. Araştırmada nitel verilerle desteklenmiş nicel araştırma yöntemlerinden öntest sontest kontrol gruplu yarı deneysel desen kullanılmıştır. Araştırmanın çalışma grubunu, 2015-2016 öğretim yılı, Sakarya Üniversitesi, Bilgisayar ve Öğretim Teknolojileri Eğitimi bölümünde öğrenim gören ve İnternet Tabanlı Programlama dersini alan 41 öğrenci oluşturmuştur. Bu 41 öğrencinin 21'i deney, 20'si de kontrol grubunda yer almıştır. Araştırmada, "Bulut bilişim hizmeti destekli İşbirlikli Öğrenme" yöntemi ile öğrenim alan öğrenci grubu deney grubunu, "geleneksel sınıf içi etkinliklere dayalı işbirlikli öğrenme" yöntemi ile öğrenim alan öğrenciler kontrol grubunu oluşturmuşlardır. İnternet tabanlı programlama dersi alan öğrencilerin akademik başarılarında anlamı fark olup olmadığını belirlemek için İnternet Tabanlı Programlama Dersi Başarı Testi geliştirilmiştir. İnternet tabanlı programlama dersi başarı testi geliştirme çalışmasında testin uygulamasından elde edilen veriler ITEMAN programıyla bütün soruların madde analizini yapılmıştır. Yapılan analizde Kuder Richardson 20 güvenirlik katsayısı 0,666 çıkmıştır. Uzmanlardan alınan görüşler ve alan yazın incelendiğinde ölçme aracının kapsam, yapı ve görünüş açısından geçerli olduğu kabul edilmektedir. Araştırmada, öğrencilerin işbirlikli öğrenme çalışmalarına görüşlerinde uygulama öncesi ve sonra anlamlı farklılık olup olmadığını belirlemek için, Heba ve Nouby (2008) tarafından geliştirilen, Kiper (2016) tarafından Türkçe uyarlaması tamamlanan İşbirlikli Öğrenme Tutum Ölçeği kullanılmıştır. Nicel ve nitel verilerin yer aldığı bu çalışmada, öncelikle nicel verilerin analizinin yapılmasına karar verilmiştir. Nicel verilerin analizi için SPSS 22.0 paket programı kullanılmıştır. Yapılan araştırma kapsamında bulut bilişim destekli internet tabanlı programlama eğitiminin öğrencilerin akademik başarılarına ve işbirlikli öğrenmeye karşı tutumları ve uygulamaya ilişkin görüşlerinin incelenmesi amaçlanmıştır. Bu bağlamda gerçekleştirilen 13 haftalık çalışma sürecinde; araştırmaya katılan deney grubu öğrencilerinin yapılan çalışmalara bağlı olarak akademik başarı düzeylerini belirlemek amacıyla, yapılan sınavlardan aldıkları deney öncesi ve deney sonrası puanları arasında anlamlı bir fark olduğu belirlenmiştir. Araştırmaya katılan kontrol grubu öğrencilerinin yapılan çalışmalara bağlı olarak akademik başarı düzeylerini belirlemek amacıyla, yapılan sınavlardan aldıkları deney öncesi ve deney sonrası puanları arasında anlamlı bir fark olduğu belirlenmiştir. Araştırmaya katılan deney ve kontrol grubu öğrencilerinin araştırma öncesi öntest puanlarına ilişkin akademik başarı düzeylerinde, deney ve kontrol grupları arasında anlamlı farklılık olmadığı görülmüştür. Araştırmaya katılan deney ve kontrol grubu öğrencilerinin araştırma sonrası sontest puanlarına ilişkin akademik başarı puanları düzeylerinde, deney ve kontrol grupları arasında anlamlı farklılık olduğu ortaya çıkmıştır. Ayrıca, araştırmanın nitel verilerinden elde edilen sonuçlara göre, deney grubu öğrencileri daha önce temel düzeyde programlama eğitimi almış olsalar da PHP eğitimi almadıkları, grupla çalışmaya özellikle gruptaki öğrencilerin görevlerini yerine getirmemesinde dolayı sıcak bakmadıkları, Cloud9 bulut bilişim servisinin ise grupla çalışmadaki birçok kaygıyı giderdiği ve destekleyici olduğu yönündeki görüşleri öne çıkmıştır. Araştırma sonuçları literatür kapsamında tartışılmıştır.
An IoT based smart irrigation recommendation system
The largest proportion of fresh water around the world is consumed in agriculture. As a result, there has been a continuous interest in proposing systems and solutions that achieve rationalization of water resources in agriculture without negatively affecting productivity. On the contrary, the solutions provided must take into account raising and improving productivity by using the least amount of water resources. The Internet of Things is one of the prominent recent technologies that contribute to providing many solutions in most fields, including agriculture in general and irrigation specifically. This study proposes a framework for smart irrigation based on the Internet of Things, by building a prototype consisting of a control unit, water pumps, and several sensors. These devices are used to measure the soil's need for irrigation and to determine the appropriate amount of irrigation according to sensor data. As these values are sent through cloud computing to a mobile application that is installed on the user's mobile to allow the possibility of monitoring irrigation and controlling it from several aspects. This includes manual irrigation mode, determining the value at which irrigation is done automatically in automatic irrigation mode, and the appropriate amount of irrigation according to the relationship between different sensors. This thesis made several contributions, including the adoption of the dynamic feature, whether in making the irrigation decision according to the type of plant or in determining the appropriate amount of irrigation according to the relationship between the sensor readings of each plant. In addition, records of irrigation operations are stored in the automated mode for the purposes of feedback and future improvement on the proposed system. In future work, other sensors such as rain sensor and water level sensor will be added to increase the automation of the proposed model, in addition to using artificial intelligence and deep learning techniques to make irrigation decisions and determine the appropriate amount based on the data that is already stored in the current proposed system.
Digital oil refinery: Utilizing real-time analytics and cloud computing over industrial sensor data
This thesis addresses big data challenges seen in large-scale, mission-critical industrial plants such as oil refineries. These plants are equipped with heavy machinery (boilers, engines, turbines, etc.) that are continuously monitored by thousands and various types of sensors for process efficiency, environmental safety, and predictive maintenance purposes. However, sensors themselves are also prone to errors and failure. The quality of data received from them should be verified before being used in system modeling or prediction. There is a need for reliable methods and systems that can provide data validation and reconciliation in real-time with high accuracy. Furthermore, it is necessary to develop accurate, yet simple and efficient analytical models that can be used with high-speed industrial data streams. In this thesis, design and implementation of a novel method called DREDGE, is proposed and presented first by developing methods for real-time data validation, gross error detection (GED), and gross error classification (GEC) over multivariate sensor data streams. The validated and high quality data obtained from these processes is later used for pattern analysis and modeling of industrial plants. We obtained sensor data from the power and petrochemical plants of an oil refinery and analyzed them using various time-series modeling and data mining techniques that are integrated into a complex event processing (CEP) engine. Next, the computational performance implications of the proposed methods are studied and regimes that are sustainable over fast streams of sensor data are uncovered. Distributed Control Systems (DCS) continuously monitor hundreds of sensors in industrial systems, and relationships between variables of the system can change over time. Operational mode (or state) identification methods are developed and presented for these large-scale industrial systems using stream analytics, which are shown to be more effective than batch processing models, especially for time-varying systems. To detect drifts among modes, predictive modeling techniques such as regression analysis, K-means and DBSCAN clustering are used over sensor data streams from an oil refinery and models are updated in real-time using window-based analysis. In addition, the shifts among steady states of data are detected, which represent systems' multiple operating modes. Also, the time when a model reconstruction is required is identified using DBSCAN algorithm. An adaptive window size tuning approach based on the TCP congestion control algorithm is proposed, which reduces model update costs as well as prediction errors. Finally, we proposed a new Lambda architecture for Oil & Gas industry for unified data and analytical processing over DCS. We discussed cloud integration issues and share our experiences with the implementation of sensor fault detection and classification modules inside the proposed architecture.
Scalable analysis of large-scale system logs for anomaly detection
System logs provide information regarding the status of system components and various events that occur at runtime. This information can support fault detection, diagnosis and prediction activities. However, it is a challenging task to analyze and interpret a huge volume of log data, which do not always conform to a standardized structure. As the scale increases, distributed systems can generate logs as a collection of huge volume of messages from several components. Thus, it becomes infeasible to monitor and detect anomalies efficiently and effectively by applying manual or traditional analysis techniques. There have been several studies that aim at detecting system anomalies automatically by applying machine learning techniques on system logs. However, they offer limited efficiency and scalability. We identified three shortcomings that cause these limitations: i)Existing log parsing techniques do not parse unstructured log messages in a parallel and distributed manner. ii)Log data is processed mainly in offline mode rather than online. That is, the entire log data is collected beforehand, instead of analyzing it piece-by-piece as soon as more data becomes available. iii)Existing studies employ centralized implementations of machine learning algorithms. In this dissertation, we address these shortcomings to facilitate end-to-end scalable analysis of large-scale system logs for anomaly detection. We introduce a framework for distributed analysis of unstructured log messages. We evaluated our framework with two sets of log messages obtained from real systems. Results showed that our framework achieves more than 30% performance improvement on average, compared to baseline approaches that do not employ fully distributed processing. In addition, it maintains the same accuracy level as those obtained with benchmark studies although it does not require the availability of the source code, unlike those studies. Our framework also enables online processing, where log data is processed progressively in successive time windows. The benefit of this approach is that some anomalies can be detected earlier. The risk is that the accuracy might be hampered. Experimental results showed that this risk occurs rarely, only when a window boundary cross-cuts a session of events. On the other hand, average anomaly detection time is reduced significantly. Finally, we introduce a case study that evaluates distributed implementations of PCA and K-means algorithms. We compared the accuracy and performance of these algorithms both with respect to each other and with respect to their centralized implementations. Results showed that the distributed versions can achieve the same accuracy and provide a performance improvement by orders of magnitude when compared to their centralized versions. The performance of PCA turns out to be better than K-means, although we observed that the difference between the two tends to decrease as the degree of parallelism increases.