Diyalog tabanlı metinlerde konu değişimi tespiti

Abstract

Son dönemde katlanarak gelişen haberleşme yöntemleri (internet, sosyal medya, akıllı telefon, vb.) sayesinde veriye ulaşmak ve paylaşmak kolaylaşmıştır. Özellikle son yıllarda sözlü ve yazılı paylaşım mecraları hızlı gelişim göstermiştir. Yazılı paylaşımın en hızlı yaşandıgı alanlar arasında sosyal medya siteleri ve forumlar öne çıkmaktadır. Forumlarda sosyal medyadan farklı olarak, her başlık altında sadece o başlık ile ilgili konuşmalar yapılması beklenmektedir. Konu kısıtlılıgı olan ve sözlü iletişimin son yıllarda en hızlı geli¸stigi alanlardan biri de çagrı merkezleridir. Belirli konuların dışına çıkılması ya da ana konunun değiştirilmesinin otomatik tespiti özellikle çağrı merkezleri ve teknik forumlar gibi mecraların iletişim performansının değerlendirilmesi ve otomatik olarak yönetilebilmesi açısından önemlidir. Bu çalışma ile diyalog tabanlı Türkçe metinler içerisinde konu değişimini otomatik olarak algılayabilen sınıflandırıcılar geliştirilmiştir. Bu sınıflandırıcıların geliştirilebilmesi için öncelikle Türkçe forumlardan konu tabanlı karşılıklı konuşma verileri tasnif edilerek ham bir veri kümesi elde edilmiştir. Oluşturulan veri kümesi üzerinde klasik bir yöntem (TF-IDF) ile bir derin öğrenme modeli (LSTM) otomatik konu değişimi tespiti problemi için karşılaştırılmıştır. Klasik yöntem ile test kümesinde %80’lere varan başarı elde edilirken, derin öğrenme yönteminin performansının %76 seviyesinde kaldığı gözlenmiştir.

It has become easier to reach and share data thanks to the communication methods (internet, social media, smartphone, etc.) which have been advancing in the last years. Especially in recent years, oral and written sharing channels have developed rapidly. Social media sites and forums are among the areas where written sharing is the fastest. Unlike social media, in forums it is expected that people will discuss specific issues under corresponding topics. Call centers are also among rapidly developing oral communication channels in the recent years where the scope of the conversation is restricted. The automatic determination of digressing from certain subjects or changing the main subject is especially important for the evaluation of the communication performance and automatic management of the media such as call centers and technical forums. With this study, classifiers that can automatically detect the subject change within the dialogue-based Turkish texts have been developed. In order to develop these classifiers, first of all, the subject-based conversation data from Turkish forums were compiled and a raw data set was obtained. In this study, a classical method (TF-IDF) and a deep learning model (LSTMs) have been applied to the generated dataset for topic change detection task. Results show that 80% accuracy can be achieved by the classical method while deep learning model achieves 76%.