Predicting outcomes of the court of cassation of Turkey with recurrent neural networks

Abstract

Natural Language Processing (NLP) based approaches have recently become very popular for studies in legal domain. In this work, the outcomes of the cases of the Court of Cassation of Turkey were predicted with the use of Deep Learning models. These models are GRU, LSTM and BiLSTM which are variants of the recurrent neural network. Models saw only fact description parts of the case decision texts during training. Firstly, the models were trained with the word embeddings that were created from the texts from daily language. Then, the models were trained with the word embeddings that were created from downloaded legal cases from Turkish courts. The results of the experiments on the models are given in a comparative and detailed manner. It is observed based on this study and the past studies that the outcomes of the Court of Cassation can be predicted with higher accuracy than most of the courts that were investigated in previous legal NLP studies. The model which is best at predicting decisions is GRU. The GRU model achieves 96.8% accuracy in the decision prediction task.

Doğal dil işleme (NLP) tabanlı yaklaşımlar hukuk çalışmalarında son dönemde çok popüler hâle gelmiştir. Bu çalışmada Yargıtay davalarının sonuçları derin öğrenme modelleri kullanılarak tahmin edilmiştir. Bu modeller mükerrer sinir ağı türevi olan GRU, LSTM ve BiLSTM’dir. Modeller eğitim sırasında karar metinlerinin sadece olay tanımları olan kısımlarını görmüştür. İlk olarak modeller günlük dilden metinlerle üretilen kelime temsilleriyle egitilmiştir. Daha sonra modeller Türk mahkemelerinden indirilen davalarla üretilen kelime temsilleriyle eğitilmiştir. Modeller üzerinde yapılan deneylerin sonuçları karşılaştırmalı ve detaylı biçimde verilmiştir. Bu çalışma ve önceki çalışmalara bakılarak Yargıtay kararlarının hukukta yürütülen NLP çalışmalarında incelenen çoğu mahkemeden daha yüksek isabetle tahmin edilebildiği görülmektedir. En başarılı karar tahmini yapan model GRU olarak gözlenmiştir. GRU modeli ile karar tahmininde %96.8 doğruluk skoruna ulaşılmıştır.