Анализ целесообразного поведения различных типов автоматов

Д. П. Димитриченко

Аннотация: Коллективное поведение автоматов является одним из направлений развития методов машинного обучения. Такие автоматы реализуют функцию целенаправленного поведения. Автомат выполняет действие, в ответ на которое окружающая среда подает свой выходной сигнал на вход автомата. Автомат, в соответствии со своей конструкцией, реагирует на этот входной сигнал очередным действием. Таким образом, выстраивается замкнутый контур взаимодействия между некоторой окружающей средой и функционирующим в ней автоматом. Сама эта среда во многих случаях допускает автоматную реализацию. Оценка эффективности автомата определяется как оптимизационная задача максимизации суммы положительных сигналов (поощрений) или минимизации отрицательных сигналов (штрафов), получаемых от окружающей среды за рассматриваемый промежуток времени. Формализация как свойств окружающей среды, так и действий автоматов, а также обработка полученных результатов производятся при помощи аппарата теории игр. В этом случае сигналы от окружающей среды удобно представить, как суммы выигрышей и проигрышей игроков-автоматов. В настоящей работе проведено сравнение автоматов различных конструкций, так как эффективность реакций автоматов определяется не только свойствами окружающей среды, но и такими параметрами, как тип и глубина памяти.

Ключевые слова: автомат, целесообразное поведение, оптимальная стратегия, глубина памяти, теория игр, формализация окружающей среды, динамическая среда.

Для цитирования. Димитриченко Д. П. Анализ целесообразного поведения различных типов автоматов // Известия Кабардино-Балкарского научного центра РАН. 2024. Т. 26. № 6. С. 165–174. DOI: 10.35330/1991-6639-2024-26-6-165-174