Autonomous air combat with reinforcement learning under different noise conditions

Abstract

The autonomous realization of air combat with reinforcement learning-based methods has recently become a prominent field of study. In this paper, we present a classifier architecture to solve the air combat problem in noisy environments, which is a sub-branch of this field. We collect data from environments with different noise levels using air combat simulation. Using these data, we train three different data sets with the number of state stacks 2, 4, and 8. We train neural network-based classifiers using these datasets. These classifiers adaptively estimate the noise level in the environment at each time step and activate the appropriate pre-trained reinforcement learning policy based on this estimate. In addition, we share the performance comparison of these classifiers in different state stacks. Hava muharebesinin pekiştirmeli öğrenme tabanlı yöntemlerle otonom olarak gerçekleştirilmesi son zamanlarda öne çıkan bir çalışma alanı olmuştur. Bu bildiride, bu alanın bir alt dalı olan gürültülü ortamda hava muharebesi problemine çözüm oluşturacak bir sınıflandırıcı mimarisi sunulmuştur. Bu kapsamda, hava muharebesi simülasyonu kullanılarak farklı gürültü seviyesine sahip ortamlardan veri toplanmıştır. Bu veriler kullanılarak durum istif sayısı 2, 4 ve 8 olacak şekilde üç farklı veri seti oluşturulmuştur. Bu veri setleri kullanılarak yapay sinir ağı tabanlı sınıflandırıcılar eğitilmiştir. Bu sınıflandırıcılar, adaptif olarak her bir zaman adımında ortamdaki gürültü seviyesini tahmin eder ve bu tahmine göre uygun olan önceden eğitilmiş pekiştirmeli öğrenme politikasını aktive eder. Ayrıca, farklı durum istif sayısına sahip bu sınıflandırıcıların performans karşılaştırması paylaşılmıştır.