A transformer-based prior legal case retrieval method

Abstract

In this work, BERTurk-Legal, a transformer-based language model, is introduced to retrieve prior legal cases. BERTurk-Legal is pre-trained on a dataset from the Turkish legal domain. This dataset does not contain any labels related to the prior court case retrieval task. Masked language modeling is used to train BERTurk-Legal in a self-supervised manner. With zero-shot classification, BERTurk-Legal provides state-of-the-art results on the dataset consisting of legal cases of the Court of Cassation of Turkey. The results of the experiments show the necessity of developing language models specific to the Turkish law domain. Bu çalışmada BERTurk-Legal isimli dönüştürücü tabanlı model emsal karar bulma görevinde kullanılmak üzere önerilmektedir. BERTurk-Legal’in ön eğitimi Türkçe hukuk alanında bir veri kümesi ile yapılmıştır. Bu veri kümesi emsal kararlar ile ilgili herhangi bir etiket bulundurmamaktadır. BERTurk-Legal maskeli dil modelleme kullanılarak kendiliğinden denetimli bir şekilde eğitilmiştir. BERTurk-Legal sınıflandırma görevi üzerinde eğitilmeksizin Yargıtay davalarından oluşan bir veri kümesinde literatürdeki en iyi sonuçları vermiştir. Deney sonuçları Türkçe hukuk alanına özel dil modelleri geliştirme gerekliliğini göstermektedir.