The performance comparison of different training strategies for reinforcement learning on DeepRTS

Date
2022-08-29
Editor(s)
Advisor
Supervisor
Co-Advisor
Co-Supervisor
Instructor
Source Title
IEEE Signal Processing and Communications Applications (SIU)
Print ISSN
2165-0608
Electronic ISSN
Publisher
IEEE
Volume
Issue
Pages
[1] - [4]
Language
Turkish
Journal Title
Journal ISSN
Volume Title
Series
Abstract

In this paper, we train reinforcement learning agents on the game of DeepRTS under different training strategies, which are i) training against rule based agents, ii) self-training and iii) training by adversarial attack to another agent. We perform certain modifications on the DeepRTS game and the reinforcement learning framework to make it closer to real life decision making problems. For this purpose, we allow agents take macro actions based on human heuristics, where these actions may last multiple time steps and the durations for these actions may differ from each other. In addition, the agents simultaneously take actions for each available unit at a time step. We train the reinforcement learning based agents under three different training strategies and we provide a detailed performance analysis of these agents against several reference agents.


Bu bildiride, yapay zeka tabanlı ajanların öğrenim yapması amacıyla geliştirilen DeepRTS oyunu üzerinde i) kural tabanlı ajanlara karşı eğitim, ii) kendi kopyasına karşı egitim
ve iii) egitimi tamamlanmış pekiştirmeli öğrenme ajanına çekişmeli atak ile egitim olmak üzere üç farklı eğitim stratejisi kullanılarak ajanların eğitimi tamamlanmış ve bu ajanlar üzerinde ilgili performans analizleri yapılmıştır. Gerçek hayat karar alma problemlerine benzetme amacıyla eğitim yapılan ortam ve pekiştirmeli ögrenme çerçevesi üzerinde çeşitli değişikliler ˘ uygulanmıştır. Ajanların makro aksiyonlar ile karar alması sağlanmış, bu aksiyonların birden fazla zaman adımı sürebilmesine ve birbirlerinden farklı süreler alabilmesine olanak saglanmıştır. Ayrıca, herhangi bir zaman adımında birden fazla ve değişken sayıdaki üniteye komut verilebilmektedir. Ajanların üç farklı eğitim stratejisi altında eğitimleri tamamlanmış, ve çok sayıdaki referans ajana karşı performansı raporlanmıştır.

Course
Other identifiers
Book Title
Citation
Published Version (Please cite this version)