Yapay sinir ağlarında yeni bir ön değer atama yöntemi: laplasyen

Abstract

Makine öğrenimi alanında yapay sinir ağlarının popülerliği 2006 yılında derin öğrenme kavramının yerleşmesi sonrasında günden güne artmaktadır. Derin sinir ağlarının eğitiminde başarı yüzdelerini önemli oranda etkileyen etkenlerden biri de ön değerlerin atanmasıdır. Bu makalede Laplasyen dağılımını temel alan yeni ön değer atama yöntemleri önerilmiştir. Bu yeni ön değer atama yöntemlerinin kullanımı ile ağ parametrelerine, sinir ağının daha iyi eğitilmesini sağlayacak şekilde, uygun ön değerlerin atanması amaçlanmaktadır. Yöntemlerimizin ˘ Kaliforniya Üniversitesi Irvine Kampüsü (UCI) İnsan Hareketi Tanımlama ve CIFAR-10 veri setlerinde aldıkları sonuçlar ağ formasyonu ve katman yapısı değiştirilmeden Tekdüze ve Gauss gibi bilinen ön değer atama yöntemlerinin aldığı sonuçlar ile karşılaştırılmıştır. Bu karşılaştırma ile Laplasyen temelli ön değer atama yöntemlerinin var olan diğer yöntemlere kıyasla avantajları test baarısı göz önüne alınarak tartışıldı.

Artificial neural networks' popularity in the field of machine learning increases day by day since 2006, foundation date of deep learning. One of the factors which greatly affects the success percentages of deep neural networks is their initialization. In this article, new initialization methods based on Laplacian distribution is proposed. With the use of these new initialization methods, it is aimed to assign appropriate initial values to the network parameters so as to better train the network. Results of our methods on University of California, Irvine (UCI) Human Activity Recognition and CIFAR-10 datasets are compared with the networks which are initialized with well-known methods, such as Gaussian and Uniform initialization, while network formation and layer structure are left unchanged. With this comparison, the advantages of Laplacian-based initialization methods compared to existing methods were discussed considering the test success.