Optimizing Deep Unfolding Networks for Compressive Sensing. Masters thesis, King Fahd University of Petroleum and Minerals.

PDF Rawwad Thesis 3.7 (Final - DGS - Green Page).pdf - Accepted Version Restricted to Repository staff only until 16 February 2026. Available under License Creative Commons Attribution. Download (10MB)

Arabic Abstract

تعتبر نظرية التحسس المضغوط نهجاً جذاباً في الحصول على البيانات بسبب انخفاض متطلباتها من حيث معدل أخذ العينات. وقد كانت شبكات النشر العميقة خياراً جذاباً لحل مشاكل التحسس المضغوط نظراً لبساطتها بالإضافة إلى كونها أسهل للتفسير. ومع ذلك ، فإن إطارها العام يعاني من مشكلتين. أولاً ، يمكن للتصميم المتكرر لمثل هذه الشبكات أن يعاني من الحشو. وهذا يزيد من تعقيد الشبكة مما يستلزم مجموعة بيانات تدريبية أكبر وأكثر تنوعًا. وثانياً ، العديد من شبكات النشر العميقة تقوم بالتقليل من الخسارة المتكبدة في مجال القياسات باستخدام وحدة انحدار تدريجي بسيطة. وبما أن وحدة الانحدار التدريجي تتألف فقط من متغير واحد قابل للتعلم، فإن فعاليتها تعد محدودة. وعلاوة على ذلك ، وحدة الانحدار التدريجي معزولة عن شبكة الإعمار بمعنى أن الشبكة لا تستطيع أن تقلل من الخسارة في مجال القياسات بشكل مباشر ، مما يؤثر على أدائها. في هذه الرسالة ، نقترح إطاراً متكرراً للحد من الحشو في شبكات النشر العميقة وتعزيز أدائها. أولا ، يتم إضافة إتصال متكرر إلى كل كتلة استرداد للحد من الحشو الموجود بمثل هذه الشبكات. وعلاوة على ذلك ، يجري إدخال وحدة للتعلم من أجل تعديل سمات الشبكة بناءً إلى إحصائيات التكرار ، والتي تهدف إلى استخدام الإتصال المتكرر على نحو أكثر فعالية. ثانياً ، نقترح دعم الشبكة بمعلومات المنحدر بدلاً من استخدم وحدة الانحدار التدريجي. هذا يسمح للشبكة المعززة بمعلومات المنحدر بالتقليل من الخسارة في مجال القياسات بشكل مباشر ، مما يؤدي إلى ارتفاع عام في الأداء مقارنة باستخدام وحدة الانحدار التدريجي. تبين النتائج أن إطارنا التكراري يمكن أن يخفض ما يصل إلى ٧٥٪ من عدد المتغيرات بالشبكة بالإضافة إلى تحسين اداءها بفضل تعزيز الشبكة بمعلومات المنحدر.

English Abstract

Compressed sensing (CS) theory is an appealing approach to data acquisition due to its low sampling rate requirement. Deep unfolding networks have been an attractive choice for solving CS problems due to their simplicity and interpretability. With that said, their general framework suffers from two problems. First, the iterative design of such networks can suffer from redundancies. This increases the model's complexity necessitating a larger and more diverse training dataset. Second, many deep unfolding networks minimize the loss incurred in the measurements domain by using a simple gradient descent module (GDM). Since GDM only consists of a single learnable parameter, its effectiveness is limited. Furthermore, the GDM is isolated from the reconstruction network meaning that the network cannot directly minimize the loss in the measurements domain, which impacts its performance. In this work, we propose a recursive framework to both reduce the redundancies in deep unfolding networks and enhance their performance. First, a recursive connection is added to each recovery block to reduce the overall redundancies in the framework. Furthermore, a learnable unit is introduced to modulate the features of the network based on recursion statistics, which aims to utilize the recursive connection more effectively. Second, we propose the gradient-informed network (GIN) as a replacement for GDM. Unlike GDM, GIN allows the reconstruction network to directly minimize the loss in the measurements domain, which leads to an overall uplift in performance compared to GDM. The results show that our recursive framework can reduce as much as 75% of the network parameters while enhancing its performance thanks to GIN.

Item Type:	Thesis (Masters)
Subjects:	Computer Engineering Research > Engineering Electrical
Department:	College of Engineering and Physics > Electrical Engineering
Committee Advisor:	Al-Shaikhi, Ali Ahmad Saleh
Committee Co-Advisor:	Alfarraj, Motaz
Committee Members:	Luqman, Hamzah Abdullah Hamood and Ali, Mudassir Masood and Zerguine, Azzedine Mohamed
Depositing User:	RUWWAD ALHEJAILI (g202112950)
Date Deposited:	03 Mar 2025 07:26
Last Modified:	03 Mar 2025 07:26
URI:	http://eprints.kfupm.edu.sa/id/eprint/143289