Improving experience replay architecture with K-Means clustering

Abstract

Replay memory highly affects the performance of deep reinforcement learning algorithms in terms of data efficiency and training time. How the experiences will be stored in the memory and sampling will be realized are subjects of ongoing research in the field. In this paper, a new replay memory module, called K-Means Replay Memory is designed. The module consists of two submodules called Recent Memory and Global Memory. New experiences are inserted only into recent memory and when the number of experiences in recent memory exceeds a certain limit, experience share occurs from recent memory to global memory. After the experience share, similarity sets are constituted via K-Means clustering algorithm within the stored experiences. While sampling, the distribution of experiences sampled from recent memory with respect to similarity sets and average losses obtained from neural networks are taken into account in order to compute set probabilities. Experiences are sampled from global memory by using these probabilities. Experiments are performed by using Prioritized Experience Replay, Uniform Experience Replay and K-Means Replay Memory, and obtained results are given in this paper. Tekrar Hafızası, derin pekiştirmeli öğrenme algoritmalarının performansını veri ihtiyacı ve eğitim süresi bakımından önemli ölçüde etkilemektedir. Tekrar hafızasında tecrübelerin nasıl bir yapıda tutulacağı ve örnekleme işleminin nasıl gerçekleştirileceği bu alanda devam eden araştırma konularından biridir. Bu bildiride, K-Means Tekrar Hafızası adı verilen bir tekrar hafızası modülü tasarlanmıştır. Güncel Hafıza ve Küresel Hafıza olarak adlandırılan iki yapıdan oluşan bu modülde, yeni tecrübeler güncel hafızaya eklenmekte ve belli bir limit aşıldığında küresel hafızaya tecrübe aktarımı gerçekleştirilmektedir. Tecrübe aktarımının hemen ardından K-Means kümeleme yöntemi ile tecrübeler arasında benzerlik kümeleri oluşturulmaktadır. Örnekleme işlemi sırasında, güncel hafızadan örneklenen tecrübelerin kümelere göre dağılımları ve kümelerin yapay sinir ağlarından elde edilen ortalama kayıp değerleri göz önüne alınarak kümelerin olasılık değerleri hesaplanmakta, küresel hafızadan örnekleme işlemi bu olasılık değerleri kullanılarak gerçekleştirilmektedir. K-Means Tekrar Hafızası, Öncelikli Tekrar Hafızası ve Eşit Olasılıklı Tekrar Hafızası kullanılarak deneyler gerçekleştirilmiş ve elde edilen sonuçlar paylaşılmıştır.