Physics-Informed Neural Networks with Runge–Kutta Discretization: Stability, Accuracy, and Applications. PhD thesis, King Fahd University of Petroleum and Minerals.

PDF (This study explores the integration of classical numerical stability theory with modern deep learning frameworks by combining Runge–Kutta (RK) time discretization with Physics-Informed Neural Networks (PINNs).) Hoda_alselami_202001340_eprint_compressed.pdf Restricted to Repository staff only until 25 December 2026. Download (3MB)

Arabic Abstract

تستكشف هذه الدراسة دمج نظرية الاستقرار العددي الكلاسيكية مع أطر التعلم العميق الحديثة من خلال الجمع بين تقسيم الزمن باستخدام طرق رونج-كوتا \LR{(Runge-Kutta, RK)} والشبكات العصبية المُقيدة بالفيزياء \LR{(Physics-Informed Neural Networks, PINNs)}. نقدم نتائج جديدة تتعلق باستقرار طرق رونج-كوتا التوافقية \LR{(collocation Runge-Kutta)} وذلك عبر إقامة ارتباط مباشر مع فرضيات ستنغر \LR{(Stenger conjectures)}، التي تصف الخصائص الطيفية للمصفوفات الناتجة عن استيفاء لاغرانج عند أصفار كثيرات الحدود المتعامدة. نتحقق من صحة فرضية ستنغر الموسعة لعدة عائلات من كثيرات الحدود المتعامدة الكلاسيكية، كما نُثبت صحتها في صورتها المقيدة لحالتي كثيرات حدود جاكوبي ولاجير المعممة. علاوة على ذلك، نُبيّن أنه بالنسبة لدوال الوزن المتماثلة $\omega$ المعرفة على الفترة $[0,1]$، فإن خاصية الاستقرار من النوع \LR{A} لطرق رونج-كوتا التوافقية تكافئ صحة فرضية ستنغر المقيدة، مما يكشف عن علاقة جوهرية بين البنية الطيفية للمصفوفات والاستقرار العددي للمخططات الزمنية. وبالاعتماد على هذا الأساس النظري، نطوّر إطارًا للشبكات العصبية المُقيدة بالفيزياء بزمن متقطع \LR{(RK-PINNs)}، حيث يتم تقسيم المجال الزمني للمعادلات التفاضلية باستخدام طرق رونج-كوتا التوافقية. يتم دراسة كل من نماذج الخطوة الزمنية الثابتة والمتغيرة، مع التركيز بشكل خاص على مخططات رونج-كوتا المعتمدة على كثيرات حدود جاكوبي. تُجرى تجارب عددية موسعة على أنظمة غير خطية صلبة وغير صلبة لمقارنة نماذج \LR{RK-PINNs} المستقرة من النوع \LR{A} وغير المستقرة من النوع \LR{A}. وتُظهر النتائج أن طرق رونج-كوتا المستقرة من النوع \LR{A}، بفضل خصائصها الطيفية الملائمة، تُحسّن بشكل ملحوظ الدقة والاستقرار ومعدلات التقارب في نماذج \LR{PINNs} ذات الزمن المتقطع. وتُبرز هذه الدراسة، من خلال اختبارات عددية تفصيلية، وجود ارتباط واضح بين الاستقرار الطيفي ومتانة تدريب الشبكات العصبية، مما يوفر أساسًا عمليًا لتطوير محلّلات هجينة محافظة على البنية، مستقرة طيفيًا، تجمع بين الطرق العددية وتقنيات التعلم العميق.

English Abstract

This study explores the integration of classical numerical stability theory with modern deep learning frameworks by combining Runge–Kutta (RK) time discretization with Physics-Informed Neural Networks (PINNs). We present new stability results for collocation Runge–Kutta methods by establishing a connection with the Stenger conjectures. These conjectures describe the spectral characteristics of matrices generated from Lagrange interpolation over orthogonal polynomial zeros. We validate the extended Stenger conjecture across several families of classical orthogonal polynomials and establish its restricted form for the Jacobi and generalized Laguerre cases. Furthermore, for symmetric weight functions $\omega$ defined over the interval $[0,1]$, we show that the A-stability of the collocation Runge–Kutta scheme is equivalent to the validity of the restricted Stenger conjecture. We develop a discrete-time PINN framework (RK-PINNs) in which the temporal domain of differential equations is discretized using collocation based Runge–Kutta methods. Both fixed step and variable step discretization models are investigated, with particular emphasis on Jacobi based RK schemes. Extensive numerical experiments on stiff and non-stiff nonlinear systems are conducted to compare A-stable and non A-stable RK-PINNs implementations. The results demonstrate that A-stable RK methods due to their favorable spectral properties significantly enhance the accuracy, stability, and convergence of discrete PINNs. This study demonstrates, through detailed numerical testing, a clear connection between spectral stability and the robustness of neural network training, providing a practical foundation for developing structure-preserving, spectrally stable hybrid solvers that integrate numerical methods with deep learning.

Item Type:	Thesis (PhD)
Subjects:	Math
Department:	College of Computing and Mathematics > Mathematics
Committee Advisor:	Haddou, Rachid Ait-
Committee Members:	Furati, Khaled and Ahmed, Izhar and Belhaiza, Slim and Alfarraj, Azzam
Depositing User:	HODA ALSELAMI (g202001340)
Date Deposited:	25 Dec 2025 08:20
Last Modified:	25 Dec 2025 08:20
URI:	http://eprints.kfupm.edu.sa/id/eprint/143889