Automated code review: Empirical evidence from experiments and industry

Kod gözden geçirme, yazılım kalitesi için kritik bir süreçtir. Büyük dil model- lerindeki (BDM) gelişmeler, otomatik kod gözden geçirmelerini mümkün kılmıştır, ancak güvenilirlikleri ve endüstrideki etkileri belirsizdir. Bu tez, BDM'lerin kod doğruluğunu tespit etme ve iyileştirme yeteneklerini değerlendirirken, BDM destekli kod gözden geçirme araçlarının yazılım endüstrisindeki uygulamalarını inceler. Bu tez, BDM'lerin kod gözden geçirme görevlerindeki performansını değerlendiren deneysel bir çalışma ile BDM destekli kod gözden geçirmelerinin endüstri kullanımını analiz eden bir vaka çalışmasından oluşmaktadır. Deneysel çalışmada, GPT-4o ve Gemini 2.0 Flash, 492 yapay zeka tarafından üretilmiş kod bloğu ve 164 HumanEval veri seti kod bloğunda test edilmiştir. GPT-4o, doğru- luk tespitinde %68,50, düzeltmede %67,83 başarı sağlarken, Gemini 2.0 Flash sırasıyla %63,89 ve %54,26 oranlarına ulaşmıştır. Koda dair açıklamalar olmadan performans düşmüş, sonuçlar kod türüne göre değişmiştir. Vaka çalışması, Qodo PR Agent tabanlı bir BDM destekli kod gözden geçirme aracının, Beko şirketinde, 10 projede 238 geliştirici tarafından kullanımını incelemiştir. Analiz edilen 4.335 pull request'in 1.568'i BDM yorumu almıştır. Geliştiriciler, BDM yorumlarının %73,8'ini dikkate almış ancak kod gözden geçirme süresi uzamıştır. Anketler, kod kalitesinde küçük iyileşmeler olduğunu ancak hatalı veya gereksiz öneriler gibi sorunlar yaşandığını göstermiştir. Sonuç olarak BDM tabanlı kod gözden geçirmeleri hata tespiti ve iyileştirmelerde faydalıdır, ancak hatalı sonuçlar ürete- bilir. Bu riskleri azaltmak için "İnsan-Döngüsünde BDM Kod Gözden Geçirme" önerilmektedir. BDM destekli gözden geçirmeler, bazı eksiklerine rağmen hata tespitini ve kod farkındalığını artırarak yazılım geliştirmeye değerli katkılar sun- maktadır.