Interpretability analysis for Turkish word embeddings

Abstract

Kelime temsilleri, doğal dil işleme (DDİ) uygulamalarında sağladıkları önemli performans artışları dolayısıyla günümüzde yaygın olarak çalışılmakta ve kullanılmaktadır. Kelime temsili öğrenen algoritmalar, etiketsiz büyük derlemler içerisindeki kelimelerin birbirlerine yakınlık durumlarını gözetimsiz bir şekilde kullanarak kelimeler arasındaki anlamsal ilişkileri başarıyla yansıtabilen yoğun ve düşük boyutlu vektör uzayları öğrenirler. Ancak bu uzaylar genellikle yorumlanabilir boyutlara sahip olmadıkları için uzayların barındırdıkları anlamsal yapının araştırmacılar tarafından anlaşılması güçleşmektedir. Bu uzayların iç yapılarını daha iyi anlayabilmek ve geliştirebilmek için yeni, yorumlanabilir temsiller öğrenmek günümüzde önem kazanan araştırma konularındandır. Bu çalışmada, kelime vektörü uzaylarının yorumlanabilirliklerini sayısal bir şekilde ölçebilmek için 4000’den fazla farklı Türkçe kelimenin 62 farklı anlamsal kategoride gruplandığı bir veri kümesi (ANKAT) oluşturulmuştur. Bu veri kümesini temel alan bir yorumlanabilirlik analiz yöntemi önerilmiş ve 5 farklı temsil uzayında test edilmiştir.