Büyük veri analizinde dağıtık makine öğrenmesi algoritmalarının kullanılması

Farklı kaynaklarca üretilen verinin türünde, miktarında ve oluşturulma hızındaki artış bu verilerin yönetimi ve onlardan yararlanılması amacıyla yeni teknoloji ve yöntemlerin doğmasına sebep olmuştur. Büyük ölçekteki verilerin standart bilgisayarlar ile saklanması veya işlenmesi mümkün değildir. Büyük miktarda veri üzerinde çalışmak ve bu veriler üzerinde analiz yapabilmek için yüksek hesaplama güçlerine ihtiyaç duyulmaktadır. Bu sebeplerden dolayı da artık geleneksel hesaplama yaklaşımları yerine bilgisayar kümeleri, dağıtık dosya sistemleri (HDFS, RDD), geleneksel programlar ve programlama dilleri yerine ise Hadoop, Spark gibi platformlar yaygınlaşmaktadır. Verinin saklanması ve işlenmesinde kullanılmaya başlanan bu teknolojiler verilerin analizinde kullanılan makine öğrenmesi yöntemlerini de etkilemiştir. Duygu analizi, doğruluk tespiti, tavsiye sistemleri, sosyal ağ keşifleri, tıbbi keşifler, web içeriklerinin keşfi ve sınıflandırılması gibi birçok amaçla makine öğrenmesi algoritmaları kullanılmaktadır. Bu tez çalışmasında büyük veri ve bulut bilişim teknolojileri, büyük veri üzerinde paralel algoritmaların çalıştırılması ve dağıtık makine öğrenmesi algoritmalarının büyük veriye uygulanması incelenmiştir. Anahtar kelimeler: Büyük veri, dağıtık makine öğrenmesi