The performance comparison of different training strategies for reinforcement learning on DeepRTS
Date
2022-08-29Source Title
IEEE Signal Processing and Communications Applications (SIU)
Print ISSN
2165-0608
Publisher
IEEE
Pages
[1] - [4]
Language
Turkish
Type
Conference PaperItem Usage Stats
28
views
views
12
downloads
downloads
Abstract
In this paper, we train reinforcement learning agents on the game of DeepRTS under different training strategies, which are i) training against rule based agents, ii) self-training and iii) training by adversarial attack to another agent. We perform certain modifications on the DeepRTS game and the reinforcement learning framework to make it closer to real life decision making problems. For this purpose, we allow agents take macro actions based on human heuristics, where these actions may last multiple time steps and the durations for these actions may differ from each other. In addition, the agents simultaneously take actions for each available unit at a time step. We train the reinforcement learning based agents under three different training strategies and we provide a detailed performance analysis of these agents against several reference agents. Bu bildiride, yapay zeka tabanlı ajanların öğrenim
yapması amacıyla geliştirilen DeepRTS oyunu üzerinde i) kural
tabanlı ajanlara karşı eğitim, ii) kendi kopyasına karşı egitim
ve iii) egitimi tamamlanmış pekiştirmeli öğrenme ajanına çekişmeli atak ile egitim olmak üzere üç farklı eğitim stratejisi
kullanılarak ajanların eğitimi tamamlanmış ve bu ajanlar üzerinde ilgili performans analizleri yapılmıştır. Gerçek hayat karar
alma problemlerine benzetme amacıyla eğitim yapılan ortam ve pekiştirmeli ögrenme çerçevesi üzerinde çeşitli değişikliler ˘
uygulanmıştır. Ajanların makro aksiyonlar ile karar alması sağlanmış, bu aksiyonların birden fazla zaman adımı sürebilmesine
ve birbirlerinden farklı süreler alabilmesine olanak saglanmıştır. Ayrıca, herhangi bir zaman adımında birden fazla ve değişken
sayıdaki üniteye komut verilebilmektedir. Ajanların üç farklı
eğitim stratejisi altında eğitimleri tamamlanmış, ve çok sayıdaki referans ajana karşı performansı raporlanmıştır.
Keywords
TrainingDecision making
Reinforcement learning
Games
Signal processing
Performance analysis
Derin pekiştirmeli öğrenme
Öz eğitim
Çekişmeli atak ile eğitim
Gerçek zamanlı strateji
Eş zamanlı makro aksiyonlar