Synthetic respondents: evaluating large language models as substitutes for human survey participants

Bu tez, geleneksel veri toplama süreçlerindeki artan maliyet ve yanlılık sorunlarına bir çözüm arayışı olarak Büyük Dil Modellerini (LLM) anketlerdeki "sentetik katılımcılar" rolüyle değerlendirmektedir. Çalışma kapsamında Dünya Değerler Araştırması'nın (WVS) 7. dalgasından alınan 10.000 profil kullanılarak, on farklı LLM, güvenle ilgili yedi soruyu yanıtlamaya yönlendirilmiştir. LLM performansı; tam eşleşme doğruluğu, ortalama mutlak hata, dağılımsal sapma ve değişken önemlerinin uyumu metrikleri üzerinden, gerçek insan yanıtları ve gözetimli makine öğrenmesi modelleriyle karşılaştırılarak analiz edilmiştir. Bulgular, LLM tahminlerinin rastlantısal eşiğin üzerinde doğruluk gösterdiğini, ancak gözetimli makine öğrenmesi modellerinin gerisinde kalabildiğini göstermektedir. Hatalar yönsel olarak tutarlı olsa da, sapma testleri LLM'lerin baskın görüşleri aşırı temsil ederek ve azınlık perspektiflerini bastırarak ve bir "çoğunluk sınıfa saplanma" sergilediğini ortaya koymaktadır. Ayrıca, her ne kadar hem insan yanıtları üzerinde eğitilmiş makine öğrenmesi modellerinin hem de LLM çıktıları üzerinde eğitilmiş olanların Hükümet Etkinliği, İnsani Gelişmişlik Endeksi, Gayrisafi Yurt İçi Hasıla gibi makro göstergelere öncelik verdiği görülse de, ilk grubun aynı zamanda etnik köken ve dil gibi kültürel kimliğe ilişkin özelliklere önem verdiği, ikinci grubun ise gelir ve sosyal sınıf gibi sosyoekonomik faktörleri baz aldığı gözlemlenmiştir. Sonuç olarak LLM'ler, genel demografik eğilimleri yakalayan ancak detaylı sosyal araştırmalar için gereken heterojenliği yansıtamayan "ortalama temsilciler" olarak işlev görmektedir. Çalışma, keşifsel çalışmalar için vaat edici olsalar da incelenen LLM'lerin; azınlık veya kültürlerarası perspektifler için temsil doğruluğu gerektiren bağlamlarda insan verisinin yerini tutmak için henüz yeterli olmadığını göstermektedir.