Enhancing Robotic Manipulation with Koopman Operator-Based Linear Control Frameworks. Masters thesis, King Fahd University of Petroleum and Minerals.

PDF M-Mohamedahmed Thesis.pdf - Accepted Version Restricted to Repository staff only until 18 May 2027. Download (9MB)

Arabic Abstract

تتناول هذه الرسالة طرق التحكم الارتجاعي المعتمدة على مؤثر كوبمان والمبنية على البيانات لمهام المناولة الماهرة الغنية بالتماس. تُعد هذه الأنظمة ً صعبة التحكم نظرا لديناميكياتها غير الخطية عالية الأبعاد وتعقيد تفاعلات التماس، في حين أ ً ن متحكمات التعلم العميق غالبا ما تعاني من كلفة حسابية مرتفعة أثناء التشغيل. ولمواجهة هذه التحديات، نقترح أطر تحكم ارتجاعي خطية ذات كفاءة حسابية عالية تستفيد من البنية الخطية التي توفرها التقريبات محدودة البعد لمؤثر كوبمان. ّ نقدم أ ً ولا منهجية تحكم ارتجاعي منخفضة الرتبة تعتمد على خوارزمية التحليل الطيفي التمديدي مع التحكم ) (eDMDcباستخدام دوال رصد ُ متعددة حدود م ّ عر ً فة يدويا. يتم تعلّم ديناميكيات مرجعية خاصة بالمهمة من عروض توضيحية، ثم إسقاطها على فضاء منخفض البعد. بعد ذلك، يتم تصميم متحكم ارتجاعي ثابت مباشرة في إحداثيات كوبمان المرفوعة. كما يتم تطبيق القص الطيفي لتثبيت الديناميكيات المرجعية المتعلمة، ويتم اشتقاق حدود نظرية لخطأ التتبع لوصف سلوك النظام في الحلقة المغلقة. ٕ تم تقييم الاطار المقترح من خلال المحاكاة على أربع مهام للمناولة الماهرة باستخدام يد Adroitفي بيئة ، MuJoCoوهي: استخدام الأدوات، فتح الأبواب، نقل الأجسام، وإعادة توجيه الأجسام داخل اليد. حقق متحكم كوبمان الارتجاعي منخفض الرتبة المقترح نسب نجاح بلغت %100 في مهمتي استخدام الأدوات وفتح الأبواب، و% 92في مهمتي نقل الأجسام وإ ٕ عادة التوجيه. علاوة على ذلك، فان مرحلة التحكم أثناء التشغيل تعتمد فقط على ضربات مصفوفة–متجه منخفضة البعد، مما يؤدي إلى أ ٍ زمنة تنفيذ في حدود عدة ميكروثوان لكل خطوة تحكم، وهو أسرع بكثير من متحكمات الشبكات العصبية المعتمدة على الديناميكيات العكسية. ّ كما نمد ٕ د الا ُ طار باستخدام م ّ شفرات كوبمان التلقائية لتعلّم تمثيلات كامنة تكيفية خاصة بالمهمة. تُظهر النتائج أنه عند تعلّم فضاء كامن ذي قدرة تمثيلية كافية، يحقق المتحكم الارتجاعي نسبة نجاح % 100عبر عدة مهام، مع تحسن ملحوظ في دقة التتبع لبعض المهام مقارنة بالمنهجية المعتمدة على . eDMDcوبشكل عام، تُبيّن النتائج أن التحكم الارتجاعي المعتمد على كوبمان منخفض الرتبة يوفّ ً ر بديل ً ا موثوق ً ا وقابل ّ ا للتحليل وفع ً الا ً حسابي ً ا مقارنة بالمتحكمات المعتمدة كليا على الشبكات العصبية لمهام المناولة الماهرة

English Abstract

This thesis investigates data-driven Koopman-based feedback control methods for contact-rich dexterous manipulation tasks. Such systems are challenging to control due to their high-dimensional nonlinear dynamics and complex contact interactions, while deep-learning-based controllers often have a significant computational cost at run time. To address these challenges, we develop computationally effcient linear feedback control frameworks that exploit the linear structure induced by finite-dimensional Koopman operator approximations. We first present a reduced-order feedback control approach based on Extended Dynamic Mode Decomposition with Control (eDMDc), using hand-crafted polynomial observables. Task-specific reference dynamics are learned from demonstrations and projected onto a low-dimensional subspace. Then, a static state-feedback controller is designed directly in lifted Koopman coordinates. Spectral Clipping (SC) is applied to stabilize the learned reference dynamics, and theoretical tracking-error bounds are derived to characterize closed-loop behavior. The framework is evaluated in simulation on four dexterous manipulation tasks using the MuJoCo Adroit hand: tool use, door opening, object relocation, and in-hand reorientation. The proposed reduced-order Koopman feedback controller achieves success rates of 100% on the tool-use and door-opening tasks, and 92% on the relocation and in-hand reorientation tasks. Moreover, the online control stage requires only lowdimensional matrix–vector multiplications, resulting in execution times on the order of a few microseconds per control step. We further extend the framework using Koopman Autoencoder (KAE) to learn task-adaptive latent representations. Results show that once a suffciently expressive latent space is learned, the feedback controller achieves 100% task success across multiple tasks, and yields improved tracking accuracy compared to the eDMDc-based approach. Overall, the results demonstrate that reduced-order Koopman feedback control provides a reliable, analyzable, and computationally effcient alternative to purely neural network-based controllers for dexterous manipulation.

Item Type:	Thesis (Masters)
Subjects:	Systems Math
Department:	College of Engineering and Physics > Control and Instrumentation Engineering
Thesis Advisor:	Muhammad Emzir,
Thesis Committee Members:	Sami El-ferik, Ramy Rashad,
Depositing User:	MOHAMED MOHAMEDAHMED (g202318630)
Date Deposited:	18 May 2026 10:46
Last Modified:	18 May 2026 10:46
URI:	https://eprints.kfupm.edu.sa/id/eprint/144334