Transformer-based bug/feature classification

Abstract

Automatic classification of a software bug report as a 'bug' or 'feature' is essential to accelerate closed-source software development. In this work, we focus on automating the bug/feature classification task with artificial intelligence using a newly constructed dataset of Turkish software bug reports collected from a commercial project. We train and test support vector machine (SVM), k-nearest neighbors (KNN), convolutional neural network (CNN), transformer-based models, and similar artificial intelligence models on the collected reports. Results of the experiments show that transformer-based BERTurk is the best-performing model for the bug/feature classification task.

Yazılım hata raporları için otomatik hata-istek tahmini yapılması, kapalı kaynak yazılım geliştirme sürecini hızlandırmak için önemlidir. Bu çalışmada, bir ticari yazılım geliştirme projesinden toplanan Türkçe hata raporları kullanılarak yeni bir veri kümesi oluşturulmuş ve hata-istek sınıflandırmasının yapay zeka ile otomatikleştirilmesine odaklanılmıştır. Bu kapsamda, destek vektör makinesi (SVM), k en yakın komşu (KNN), evrişimsel sinir ağı (CNN), dönüştürücü tabanlı modeller ve benzeri yapay zeka algoritmaları ve modelleri kullanılmıştır. Deney sonuçlarına göre hata-istek sınıflandırmada en iyi performans dönüştürücü tabanlı BERTurk modeli ile elde edilmiştir.