The performance comparison of different training strategies for reinforcement learning on DeepRTS

Abstract

In this paper, we train reinforcement learning agents on the game of DeepRTS under different training strategies, which are i) training against rule based agents, ii) self-training and iii) training by adversarial attack to another agent. We perform certain modifications on the DeepRTS game and the reinforcement learning framework to make it closer to real life decision making problems. For this purpose, we allow agents take macro actions based on human heuristics, where these actions may last multiple time steps and the durations for these actions may differ from each other. In addition, the agents simultaneously take actions for each available unit at a time step. We train the reinforcement learning based agents under three different training strategies and we provide a detailed performance analysis of these agents against several reference agents.

Bu bildiride, yapay zeka tabanlı ajanların öğrenim yapması amacıyla geliştirilen DeepRTS oyunu üzerinde i) kural tabanlı ajanlara karşı eğitim, ii) kendi kopyasına karşı egitim ve iii) egitimi tamamlanmış pekiştirmeli öğrenme ajanına çekişmeli atak ile egitim olmak üzere üç farklı eğitim stratejisi kullanılarak ajanların eğitimi tamamlanmış ve bu ajanlar üzerinde ilgili performans analizleri yapılmıştır. Gerçek hayat karar alma problemlerine benzetme amacıyla eğitim yapılan ortam ve pekiştirmeli ögrenme çerçevesi üzerinde çeşitli değişikliler ˘ uygulanmıştır. Ajanların makro aksiyonlar ile karar alması sağlanmış, bu aksiyonların birden fazla zaman adımı sürebilmesine ve birbirlerinden farklı süreler alabilmesine olanak saglanmıştır. Ayrıca, herhangi bir zaman adımında birden fazla ve değişken sayıdaki üniteye komut verilebilmektedir. Ajanların üç farklı eğitim stratejisi altında eğitimleri tamamlanmış, ve çok sayıdaki referans ajana karşı performansı raporlanmıştır.