Автор:  Кулида Е.Л., Лебедев В.Г.
Название:  Генерация решений для предотвращения конфликта двух воздушных судов на основе обучения с подкреплением
Выпуск:  120
Рубрика:  Управление подвижными объектами и навигация
Год:  2026
Библиография:  Кулида Е.Л., Лебедев В.Г. Генерация решений для предотвращения конфликта двух воздушных судов на основе обучения с подкреплением // Управление большими системами. - 2026. - Вып. 120. - С.369-389.
Ключевые слова:  конфликт воздушных судов, горизонтальный маневр, обучение с подкреплением, алгоритм обучения агента
Ключевые слова (англ.):  conflict, horizontal maneuver, reinforcement learning, agent learning algorithm
Аннотация:  Выделены две основные постановки задачи предотвращения конфликтов воздушных судов на основе обучения с подкреплением: автономное разрешение конфликтов между несколькими воздушными судами на основе многоагентного глубокого обучения с подкреплением и генерация решения по предотвращению конфликтов для систем поддержки принятия решений авиадиспетчерами. При современной организации воздушного движения актуальна вторая постановка, поскольку для внедрения полностью автоматических методов имеются серьезные проблемы сертификации методов машинного обучения в гражданской авиации, где критически важна безопасность. В статье рассматривается задача генерации горизонтального маневра предотвращения конфликта двух воздушных судов при помощи обучения с подкреплением. В отличие от работ, в которых рассматриваемая задача решается в непрерывном пространстве действий, предлагается обучать агента действиям в дискретном пространстве, что больше соответствует действиям авиадиспетчеров по централизованному предупреждению конфликтов. Приводится формализация задачи в виде марковского процесса принятия решений. Кратко описаны алгоритмы обучения с подкреплением «двойные глубокие Q-сети» и «проксимальная оптимизация политики», выбранных для решения задачи. Представлены результаты обучения и тестирования агента в разработанной среде моделирования с помощью реализованных алгоритмов, приводится сравнение их эффективности.
Аннотация (англ.):  This paper briefly examines two main formulations of the aircraft conflict avoidance problem based on reinforcement learning: autonomous multi-aircraft conflict resolution using multi-agent deep reinforcement learning and conflict avoidance solution generation for air traffic controller decision support systems. The second formulation is particularly relevant for modern air traffic control, as the implementation of fully automated methods faces significant challenges in certifying machine-learning methods in civil aviation, where safety is crucial. This paper considers the problem of generating a horizontal maneuver to avoid a conflict between two aircraft using reinforcement learning. Unlike studies solving this problem in a continuous action space, this paper proposes learning an agent to act in a discrete space, which better aligns with the actions of air traffic controllers in centralized conflict avoidance. A formalization of the problem as a Markov decision process is presented. The reinforcement learning algorithms "dual deep Q-networks" and "proximal policy optimization" chosen to solve the problem are briefly described. The results of training and testing the agent in the developed simulation environment using the implemented algorithms are presented, and their effectiveness is compared.

в формате PDF

Просмотров: 49, загрузок: 29, за месяц: 22.

Назад