A new initialization technique: truncated towers

Abstract

Artificial Neural Networks (ANN) can perform various tasks by modifying their parameters, determined by initialization methods, using activation functions and learning algorithms. Alongside chosen training dataset, suitability and success of the chosen methods determine how well they can fulfill these tasks. With the ‘Truncated Tower Distribution’, which we developed to find a better initialization method, a partial and visible increase in success rates have been achieved in classification tasks on different data sets, using neuron number-independent and neuron-number-dependent initialization methods. Yapay Sinir Ağları (YSA), ön değer atama yöntemiyle belirlenen parametrelerin aktivasyon fonksiyonları ve öğrenme algoritmaları kullanılarak modifiye edilmesiyle çeşitli görevleri yerine getirebilmektedir. Bu görevleri ne kadar iyi şekilde yerine getirebileceğini de seçilen metotların uygunluğu, başarısı ve seçilen eğitim veri setleri belirlemektedir. Daha iyi bir ön değer atama yöntemi bulmak amacıyla geliştirdiğimiz ‘Kesikli Kuleler Dağılımı’ ile nöron sayısından bağımsız ve nöron sayısına bağımlı ön değer atama yöntemleri denenmiş, farklı veri setleri üzerindeki sınıflandırma görevlerinde kısmi ve görünür bir başarı artışı sağlanmıştır.