Встраивание физически-информированных нейронных сетей в численные схемы для моделирования динамических систем

Контекст и актуальность. Физически-информированные нейронные сети (Physics-Informed Neural Networks, PINN) рассматриваются как перспективный инструмент математического моделирования динамических систем, описываемых дифференциальными уравнениями. Однако классические PINN приемлемой точности имеют большое число весов. Их подбор (обучение сети) является задачей нелинейной оптимизации, решение которой требует многократного вычисления производных, что приводит к значительным вычислительным затратам и ограничивает их применение в задачах моделирования. Цель. Разработка и экспериментальная проверка подхода к математическому моделированию динамических систем, основанного на встраивании физически-информированных нейронных сетей в классические численные схемы. Гипотеза. Встраивание численных схем в архитектуру физически-информированных нейронных сетей позволяет радикально уменьшить число весов и тем самым, повысить вычислительную эффективность моделирования динамических систем при сохранении сопоставимой точности по сравнению с классическими PINN. Методы и материалы. Предложена архитектура нейросетевой модели, интегрирующая обобщённую вычислительную схему методы трапеций непосредственно в архитектуру PINN. Компактная параметрическая сеть с 13 обучаемыми параметрами адаптивно выбирает баланс между явной и неявной численными схемами в различных точках пространственно-временной области. Экспериментальное исследование проведено для четырёх дифференциальных уравнений: уравнении теплопроводности, волновом уравнении, уравнении реакции-диффузии и уравнении Бюргерса. Результаты. Показано, что при фиксированном времени обучения предложенная модель с 13 параметрами достигает сопоставимой или более высокой точности по сравнению с классическими PINN с большим числом параметров, при этом демонстрируя существенно меньшую дисперсию результатов между запусками. Выводы. Интеграция численных схем в архитектуру физически-информированных нейронных сетей позволяет повысить эффективность построения моделей динамических систем и обеспечивает интерпретируемость архитектуры через используемые численные методы. Предложенный подход может рассматриваться как основа для построения компактных моделей в задачах суррогатного моделирования. Ключевые слова: физически-информированные нейронные сети; численные схемы; адаптивные методы; динамические системы; дифференциальные уравнения; суррогатное моделирование

Введение

Традиционно приближенные методы решения дифференциальных уравнений подразделяются на численные (методы Эйлера, Рунге–Кутты и др.) и аналитические (разложения в ряд Тейлора или Фурье, методы малого параметра и др.). Эти методы широко используются при построении моделей динамических систем, описываемых дифференциальными уравнениями. В конце XX века к приближенным аналитическим методам были отнесены и нейронные сети. В настоящее время данный подход получил развитие в рамках концепции Physics-Informed Neural Networks (PINN) — метода решения дифференциальных уравнений, сочетающего универсальность нейронных сетей с учетом физических законов (Antonov, Tarkhov, Vasilyev, 2018; Raissi, Perdikaris, Karniadakis, 2019; Tarkhov, Vasilyev, 2019; Vasilyev, Tarkhov, 2014).

Классические PINN аппроксимируют решение дифференциального уравнения с помощью нейронной сети, вычисляя необходимые производные через автоматическое дифференцирование и минимизируя остаток уравнения. Несмотря на успешное применение в различных областях, такой подход сопровождается значительными вычислительными затратами и часто обладает ограниченной интерпретируемостью результатов (Karniadakis et al., 2021).

В последние годы было показано, что классические численные методы могут рассматриваться как аналитические при применении к интервалам переменной длины (Lazovskaya, Tarkhov, 2016; Lazovskaya, Tarkhov, Vasilyev, 2018; Tarkhov, Vasilyev, 2019). Это позволяет по-новому интерпретировать связь между численными и аналитическими методами и использовать ее при построении нейросетевых моделей динамических систем. С этой точки зрения особый интерес представляет концепция многоуровневого моделирования (multi-fidelity modeling), предполагающая использование упрощенных моделей (low-fidelity) для эффективного исследования пространства решений с последующим уточнением результатов с помощью более точных, но вычислительно затратных моделей (high-fidelity) (Cuomo et al., 2022; Jagtap, Kawaguchi, Karniadakis, 2020; Peherstorfer, 2019; Penwarden et al., 2022; Wang, Teng, Perdikaris, 2021).

Использование аналитической модификации численных методов (АМЧМ) с небольшим числом слоев модели (здесь и далее под слоем модели понимается шаг исходного численного метода) позволяет строить компактные модели уровня low-fidelity с приемлемой точностью. Переход к моделям уровня high-fidelity может быть реализован посредством интеграции численных методов непосредственно в архитектуру нейронных сетей (Lazovskaya, Tarkhov, 2026; Tarkhov, Lazovskaya, Malykhina, 2023). Это позволяет существенно сократить число обучаемых параметров и повысить интерпретируемость модели (Tarkhov, Lazovskaya, Malykhina, 2023).

Настоящая работа развивает подход, предложенный в (Lazovskaya, Tarkhov, 2026; Tarkhov, Lazovskaya, Malykhina, 2023), путем построения архитектуры LF-PINN, основанной на обобщенном методе трапеций с адаптивным параметром θ. Компактная параметрическая сеть, подставленная в схему вместо θ автоматически выбирает баланс между явной и неявной схемами для различных точек пространственно-временной области, адаптируясь к локальным особенностям решения и обеспечивая построение эффективных моделей динамических систем.

Целью исследования является демонстрация того, что интеграция численных методов в архитектуру PINN позволяет существенно ускорить обучение при сохранении сопоставимой или более высокой точности моделирования по сравнению с классическим подходом. Дальнейшее повышение точности модели может быть достигнуто за счет увеличения размера используемой нейронной сети.

Материалы и методы

Адаптивная θ-схема

В работе в качестве (3) рассматривается обобщенная θ-схема, которая представляет собой взвешенную комбинацию явного и неявного методов Эйлера:

где h - размер временного шага, θ - параметр схемы. Различные значения θ соответствуют различным численным методам:

• •θ = 0 — явный метод Эйлера

• •θ = 0,5 — метод трапеций

• •θ = 1 — неявный метод Эйлера

В LF-PINN параметр θ не является константой, а адаптивно вычисляется θ-net для каждой точки пространственно-временной области. Это позволяет модели локально балансировать между устойчивостью (высокие значения θ → неявная схема) и вычислительной эффективностью (низкие значения θ → явная схема). Например, в областях с крутыми градиентами модель может автоматически увеличивать θ для повышения устойчивости.

θ-net представляет собой компактную нейронную сеть с одним скрытым слоем, которая определяет тип численной схемы для каждой точки пространственно-временной области:

Где

где σ — сигмоидальная функция активации. Сеть имеет всего 13 обучаемых параметров и получает на вход четыре признака:

• • $x$ - пространственная координата
• • $t$ - текущее время
• • $t_{\mathit{next}}$ - время следующего шага
• • $\text{|}\text{|}\partial y\text{/}\partial x\text{|}\text{|}$ - нормализованная норма пространственного градиента текущего решения (позволяет адаптироваться к локальной жесткости задачи)

Компактность сети (13 параметров) критична для предотвращения переобучения и обеспечения обобщающей способности. Малое количество параметров гарантирует, что модель не будет «запоминать» решение, а будет учиться выбирать правильный тип численной схемы на основе локальных свойств задачи. В связи с этим данная сеть далее называется LF-PINN. При необходимости повысить точность можно нарастить размер сети или использовать отдельную сеть для каждого слоя.

Итерационное решение неявной части схемы

Например, для уравнения теплопроводности на каждой итерации необходимо:

• •Вычислить $u_x\text{=}\partial u\text{/}\partial x$ через автоматическое дифференцирование
• •Вычислить $u_{\mathit{xx}}\text{=}{\partial }^{2}u\text{/}\partial x^2$ через повторное дифференцирование
• •Получить f = α · $u_{\mathit{xx}}$ и обновить решение

Функция потерь

Общая функция потерь LF-PINN включает те же три компонента, что и классическая PINN (Vasilyev, Tarkhov, 2014):

Результаты

Экспериментальные результаты показывают, что предложенная модель с 13 параметрами достигает точности, превосходящей или сопоставимой с классической PINN, имеющей в пять раз больше параметров. При этом наблюдаются существенные различия в поведении моделей в зависимости от типа уравнения. Сравнение проводилось в условиях фиксированного времени обучения (60 секунд), что отражает практические ограничения при получении решения за ограниченное время. Сводные результаты сравнения приведены в табл. 1.

Временной бюджет выбран на основании анализа кривых обучения: для всех рассматриваемых уравнений функция потерь обеих моделей выходит на плато в пределах отведенного времени. Дальнейшее увеличение бюджета не приводит к существенному улучшению точности ни одной из моделей. Таким образом, выбранные условия обеспечивают сходимость обеих моделей и корректность сравнения.

Таблица 1 / Table 1

Сравнительные результаты LF-PINN и Classical PINN для различных типов уравнений (среднее ± стандартное отклонение по 5 прогонам)

Comparative results of LF-PINN and Classical PINN for different equation types

(mean ± standard deviation over 5 runs)

Уравнение теплопроводности

LF-PINN продемонстрировала значительное превосходство с

L2RE = 1,65×10⁻² против 3,29×10⁻² у классической PINN (улучшение на 50%), как показано на рис. 1

Низкая дисперсия результатов (σ = 1,1×10⁻³ для LF-PINN против 1,4×10⁻² для Classical) указывает на большую устойчивость метода к выбору начальной инициализации.

Волновое уравнение

Для волнового уравнения LF-PINN также показывает лучшую точность L2RE = 3,16×10⁻² против 4,05×10⁻², но разница менее выраженная, что видно на рис. 2.

Уравнение реакции-диффузии

На этой задаче, как иллюстрирует рис. 3, обе модели показали практически идентичное качество L2RE ≈ 1,24×10⁻¹.

Уравнение Бюргерса

На наиболее сложной задаче с сильной нелинейностью (Jagtap, Kawaguchi, Karniadakis, 2020) LF-PINN снова превосходит классический подход: L2RE = 1,62×10⁻¹ против 2,67×10⁻¹ (улучшение на 39%), как демонстрирует рис. 4.

Нелинейный конвективный член u·∂u/∂x создает формирование ударных волн и требует особенно аккуратного численного подхода (Cuomo et al., 2022; Jagtap, Kawaguchi, Karniadakis, 2020). Адаптивный выбор схемы через θ-net позволяет LF-PINN эффективно справляться с этими особенностями.

Интересно, что среднее значение θ ≈ 0,20 — наименьшее среди четырех рассмотренных задач — показывает предпочтение более явных схем.

Обсуждение результатов

Ключевое преимущество LF-PINN заключается в том, что высокая точность достигается при малом числе параметров. В проведенных экспериментах даже компактная архитектура (один скрытый слой с 2 нейронами) обеспечивает качество, сопоставимое или превосходящее классические PINN (Antonov, Tarkhov, Vasilyev, 2018; Raissi, Perdikaris, Karniadakis, 2019; Tarkhov, Vasilyev, 2019; Vasilyev, Tarkhov, 2014), требующие существенно большего числа параметров, что обусловлено использованием встроенной численной схемы.

Важным наблюдением является значительно меньшая дисперсия результатов для LF-PINN по сравнению с классической моделью (Antonov, Tarkhov, Vasilyev, 2018; Raissi, Perdikaris, Karniadakis, 2019; Tarkhov, Vasilyev, 2019; Vasilyev, Tarkhov, 2014). Это указывает на то, что архитектура LF-PINN более устойчива к выбору начальной инициализации весов и менее подвержена попаданию в локальные минимумы. Стандартное отклонение L2RE для LF-PINN в среднем на порядок меньше, чем для классической PINN.

Адаптивность параметра θ демонстрируется его изменением в зависимости от типа уравнения и локальных свойств решения. Для уравнения теплопроводности среднее значение θ = 0,37, что ближе к методу трапеций и обеспечивает баланс между точностью и устойчивостью. Для волнового уравнения θ = 0,41, для уравнения реакции-диффузии θ = 0,35, а для уравнения Бюргерса θ = 0,20, что свидетельствует о предпочтении более явных методов. Эта адаптивность является ключевым преимуществом подхода, так как не требует ручной настройки численной схемы для каждого типа уравнения. Сводное сравнение относительной ошибки по всем четырем типам уравнений приведено на рис. 5.

Заключение

Разработанная архитектура LF-PINN (Lazovskaya, Tarkhov, 2026; Tarkhov, Lazovskaya, Malykhina, 2023) демонстрирует ряд существенных преимуществ по сравнению с классическими PINN (Antonov, Tarkhov, Vasilyev, 2018; Raissi, Perdikaris, Karniadakis, 2019; Tarkhov, Vasilyev, 2019; Vasilyev, Tarkhov, 2014):

• •Вычислительная эффективность. Интеграция численной схемы непосредственно в архитектуру нейронной сети позволяет избежать многократного вычисления производных высокого порядка через автоматическое дифференцирование. Предложенная модель требует существенно меньшего числа эпох для сходимости - от 95 до 366 против 65 000—83 000 у классической PINN, что делает метод практически применимым для реальных задач.

• •Адаптивность. Параметрическая сеть θ-net автоматически выбирает оптимальный баланс между явной и неявной схемами для каждой точки пространственно-временной области (Lazovskaya, Tarkhov, 2026). Это позволяет модели адаптироваться к локальным особенностям решения, таким как крутые градиенты или осцилляции. В отличие от традиционных численных методов, где выбор схемы делается вручную и фиксируется на всю область, LF-PINN может использовать различные схемы в различных частях области.

• •Компактность модели. Использование всего 13 параметров в θ-net предотвращает переобучение и обеспечивает хорошую обобщающую способность. В отличие от классической PINN, которая требует глубоких сетей с десятками или сотнями параметров (Karniadakis et al., 2021; Raissi, Perdikaris, Karniadakis, 2019), LF-PINN полагается на встроенную физическую информацию через численную схему (Lazovskaya, Tarkhov, 2026; Tarkhov, Lazovskaya, Malykhina, 2023). Это также упрощает интерпретацию модели: вместо изучения сложного нелинейного отображения, θ-net учится только выбору оптимальной численной схемы.

• •Устойчивость обучения. Значительно меньшая дисперсия результатов по сравнению с классической PINN указывает на то, что метод менее чувствителен к инициализации и гиперпараметрам. Это критически важно для практического применения, где требуется воспроизводимость результатов. В экспериментах стандартное отклонение L2RE для LF-PINN составляло 10⁻⁵—10⁻³, в то время как для классической PINN 10⁻³—10⁻², что на 1—2 порядка выше.

 Рассмотренные LF-PINN удобно использовать для суррогатного моделирования (Jiang, Zhou, Shao, 2020; Manzoni et al., 2020; Ranftl, von der Linden, 2021; Zhou, Mei, Xu, 2023)

1. Antonov, V.I., Tarkhov, D.A., Vasilyev, A.N. (2018). Unified approach to constructing the neural network models of real objects. Part 1. Mathematical Methods in the Applied Sciences, 41(18), 9244—9251. https://doi.org/10.1002/mma.5205
2. Cuomo, S., Di Cola, V.S., Giampaolo, F., Rozza, G., Raissi, M., Piccialli, F. (2022). Scientific machine learning through physics-informed neural networks: Where we are and what's next. Journal of Scientific Computing, 92(3), Article 88. https://doi.org/10.1007/s10915-022-01939-z
3. Hairer, E., Nørsett, S.P., Wanner, G. (1993). Solving ordinary differential equations I: Nonstiff problems (2nd rev. ed.). Berlin: Springer. https://doi.org/10.1007/978-3-540-78862-1
4. Jagtap, A.D., Kawaguchi, K., Karniadakis, G.E. (2020). Adaptive activation functions accelerate convergence in deep and physics-informed neural networks. Journal of Computational Physics, 404, Article 109136. https://doi.org/10.1016/j.jcp.2019.109136
5. Jiang, P., Zhou, Q., Shao, X. (2020). Surrogate model-based engineering design and optimization. Singapore: Springer. https://doi.org/10.1007/978-981-15-0731-1
6. Karniadakis, G.E., Kevrekidis, I.G., Lu, L., Perdikaris, P., Wang, S., Yang, L. (2021). Physics-informed machine learning. Nature Reviews Physics, 3(6), 422—440. https://doi.org/10.1038/s42254-021-00314-5
7. Lazovskaya, T.V., Tarkhov, D.A. (2016). Multilayer neural network models based on grid methods. IOP Conference Series: Materials Science and Engineering, 158, Article 012061. https://doi.org/10.1088/1757-899X/158/1/012061
8. Lazovskaya, T.V., Tarkhov, D.A. (2026). Numerics as neural networks: A compact low-fidelity layer for multi-fidelity modelling. In: Advances in neural computation, machine learning, and cognitive research IX (pp. 381—391). Cham: Springer. https://doi.org/10.1007/978-3-032-07690-8_31
9. Lazovskaya, T.V., Tarkhov, D.A., Vasilyev, A.N. (2018). Multi-layer solution of heat equation. In: B. Kryzhanovsky, W. Dunin-Barkowski, V. Redko (Eds.), Advances in neural computation, machine learning, and cognitive research (Studies in Computational Intelligence, Vol. 736, pp. 17—22). Cham: Springer. https://doi.org/10.1007/978-3-319-66604-4_3
10. Manzoni, L., Papetti, D.M., Cazzaniga, P., Spolaor, S., Mauri, G., Besozzi, D., Nobile, M.S. (2020). Surfing on fitness landscapes: A boost on optimization by Fourier surrogate modeling. Entropy, 22(3), Article 285. https://doi.org/10.3390/e22030285
11. Peherstorfer, B. (2019). Multifidelity Monte Carlo estimation with adaptive low-fidelity models. SIAM/ASA Journal on Uncertainty Quantification, 7(2), 579—603. https://doi.org/10.1137/17M1159208
12. Penwarden, M., Zhe, S., Narayan, A., Kirby, R.M. (2022). Multifidelity modeling for physics-informed neural networks (PINNs). Journal of Computational Physics, 451, Article 110844. https://doi.org/10.1016/j.jcp.2021.110844
13. Raissi, M., Perdikaris, P., Karniadakis, G.E. (2019). Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations. Journal of Computational Physics, 378, 686—707. https://doi.org/10.1016/j.jcp.2018.10.045
14. Ranftl, S., von der Linden, W. (2021). Bayesian surrogate analysis and uncertainty propagation. Physical Sciences Forum, 3(1), Article 6. https://doi.org/10.3390/psf2021003006
15. Tarkhov, D.A., Lazovskaya, T.V., Malykhina, G.F. (2023). Constructing physics-informed neural networks with architecture based on analytical modification of numerical methods by solving the problem of modelling processes in a chemical reactor. Sensors, 23(2), Article 663. https://doi.org/10.3390/s23020663
16. Tarkhov, D.A., Vasilyev, A.N. (2019). Semi-empirical neural network modeling and digital twins development. Cambridge, MA: Academic Press.
17. Vasilyev, A.N., Tarkhov, D.A. (2014). Mathematical models of complex systems on the basis of artificial neural networks. Nonlinear Phenomena in Complex Systems, 17(3), 327—335.
18. Wang, S., Teng, Y., Perdikaris, P. (2021). Understanding and mitigating gradient flow pathologies in physics-informed neural networks. SIAM Journal on Scientific Computing, 43(5), A3055—A3081. https://doi.org/10.1137/20M1318043
19. Zhou, M., Mei, G., Xu, N. (2023). Enhancing computational accuracy in surrogate modeling for elastic–plastic problems by coupling S-FEM and physics-informed deep learning. Mathematics, 11(9), Article 2016. https://doi.org/10.3390/math11092016