Численный алгоритм поиска субоптимального управления дискретной стохастической системой с вероятностным критерием

249

Аннотация

Рассматривается численный алгоритм для поиска субоптимального управления для систем, заданных разностными уравнениями. С использованием численного метода удается найти изобеллы уровня 1 и 0, нахождение которых позволяет найти субоптимальное управление, не решая систему, в которой присутствует функция Беллмана, вычисление которой затруднительно. С использованием описанной численной процедуры решается пример, полученный результат сравнивается с аналитически найденым оптимальным управлением.

Общая информация

Ключевые слова: Численные методы, Вероятностный критерий, Стохастическое оптимальное управление, Монте-Карло, дискретные системы, метод динамического программирования

Рубрика издания: Теория управления

Тип материала: научная статья

Для цитаты: Тарасов А.Н., Азанов В.М. Численный алгоритм поиска субоптимального управления дискретной стохастической системой с вероятностным критерием // Моделирование и анализ данных. 2019. Том 9. № 2. С. 73–82.

Полный текст

Рассматривается численный алгоритм для поиска субоптимального управления для систем, заданных разностными уравнениями. С использованием численного метода удается найти изобеллы уровня 1 и 0, нахождение которых позволяет найти субоптимальное управление, не решая систему, в которой присутствует функция Беллмана, вычисление которой затруднительно. С использованием описанной численной процедуры решается пример, полученный результат сравнивается с аналитически найденым оптимальным управлением.

1.  ВВЕДЕНИЕ

Задачи оптимального управления по вероятностным критериям качества составляют предмет изучения специального раздела теории стохастического оптимального управления. Основным алгоритмом решения данного типа задач является метод динамического программирования (МДП). Использование данного метода сопряжено с сложностью получения аналитического решения. Это подтверждается тем, что для достаточно простых систем получаемые решения имеют сложную структуру и их вычисление затруднительно, например, в работах [1, 2].

В данной статье предложен численный алгоритм для поиска субоптимального управления для задач с вероятностным точностным функционалом, который позволяет получать решение без вычисления функции Беллмана.

2.  ОБЩАЯ ПОСТАНОВКА ЗАДАЧИ

3.       ОПРЕДЕЛЕНИЕ ИЗОБЕЛЛ И ТЕОРЕМА О ДВУХСТОРОННЕЙ ОЦЕНКЕ ФУНКЦИИ БЕЛЛМАНА

4.     ЧИСЛЕННЫЙ МЕТОД РЕШЕНИЯ ЗАДАЧ СТОХАСТИЧЕСКОГО ОПТИМАЛЬНОГО УПРАВЛЕНИЯ ДИСКРЕТНЫМИ СИСТЕМАМИ ПО ВЕРОЯТНОСТНОМУ КРИТЕРИЮ

5. ПРИМЕР

Теория синтеза оптимального управления используется для решения задач из аэрокосмической отрасли, например, задача импульсной коррекции траектории космического аппарата (КА) на геостационарной орбите с помощью корректирующей установки малой тяги. Отклонение КА возникает из-за внешних возмущений и неопределенных факторов, возникающих из-за погрешности и ошибок в вычисление координат и различных параметров системы.

Проверим сформулированный алгоритм на подобной упрощенной модели и сравним с известным оптимальным управлением.

Рис 1. Множество U1I (x1)

Рис 2. Множество U0I (x0)

Приведем сравнения значения управления аналитического и численного значения при k=1 и количество итераций 10000:

Таблица 1. Сравнение аналитического и численного значения управления при k=1

x

Аналитическое

Численное

Погрешность

25

-23,333333

-23,310258

0,023075

30

-26,666667

-26,665936

0,000731

35

-30,000000

-30,015987

0,015987

40

-33,333333

-33,372321

0,038987

45

-36,666667

-36,645617

0,021050

50

-40,000000

-39,934600

0,065400

55

-43,333333

-43,312343

0,020990

60

-46,666666

-46,656306

0,010360

65

-50,000000

-49,945092

0,054908

70

-53,333333

-53,330231

0,003102

75

-56,666666

-56,663306

0,003360

80

-60,000000

-59,999230

0,000770

85

-63,333333

-63,333223

0,000110

90

-66,666666

-66,621266

0,045400

95

-70,000000

-69,932910

0,067090

100

-73,333333

-73,290328

0,043005

 

Следует отметить, что численные результаты достаточно близки к аналитическим значениям.

Литература

  1. Азанов В.М. Оптимальное управление линейной дискретной системой по критерию вероятности // Автоматика и Телемеханика. 2014. №10. С. 39–51.
  2. Азанов В.М., Кан Ю.С. Однопараметрическая задача оптимальной коррекции траектории летательного аппарата по критерию вероятности // Изв. РАН Теория и Системы Управления. 2016. №2. С. 115-128.
  3. Азанов В.М. Алгоритмы динамического программирования решения задач оптимального управления дискретной стохастической системой с терминальным вероятностным критерием // Диссертация на соискание учёной степени кандидата физико-математических наук. 2018.
  4. Азанов В.М., Кан Ю.С. Синтез оптимальных стратегий в задачах управления дискретными системами по вероятностному критерию // Автоматика и Телемеханика, 2017, № 6, 57–83.
  5. Азанов В.М., Кан Ю.С. Двухсторонняя оценка функции Беллмана в задачах стохастического оптимального управления дискретными системами по вероятностному критерию качества // Автоматика и Телемеханика, 2018, № 2, C. 3–18.
  6. Кан Ю.С., Кибзун А.И. Задачи стохастического программирования с вероятностными критериями, Физматлит, М., 2009.
  7. Кибзун А.И., Игнатов А.Н. Сведение двухшаговой задачи стохастического оптимального управления с билинейной моделью к задаче смешанного целочисленного линейного программирования. // АиТ. 2016. № 12. С. 89–111.
  8. Малышев В.В., Кибзун А.И. Анализ и синтез высокоточного управления летательными аппаратами. М.:Машиностроение, 1987.
  9. Jasour A.M., Aybat N.S., Lagoa C.M. Semidefinite Programming For Chance Constrained Optimization Over Semialgebraic Sets // SIAM Journal on Optimization 25 (3), 1411–1440, 2015.
  10. Jasour A.M., Lagoa C.M. Convex Chance Constrained Model Predictive Control //arXiv preprint arXiv:1603.07413, 2016.
  11. Smith R.L., “Efficient Monte Carlo procedures for generating points uniformly distributed over bounded regions”, Oper. Res., 32:6 (1984), 1296-130

Информация об авторах

Тарасов Андрей Николаевич, студент магистратуры, Московский авиационный институт (национальный исследовательский университет), Москва, Россия, e-mail: tarrapid@gmail.com

Азанов Валентин Михайлович, аспирант, Московский авиационный институт (национальный исследовательский университет), Москва, Россия, e-mail: azanov59@gmail.com

Метрики

Просмотров

Всего: 468
В прошлом месяце: 5
В текущем месяце: 5

Скачиваний

Всего: 249
В прошлом месяце: 3
В текущем месяце: 3