Deep Reinforcement Learning-Based Multi-Objective Optimization for Energy-Efficient UAV-Mounted STAR-RIS Wireless Networks. Masters thesis, King Fahd University of Petroleum and Minerals.

PDF Anas-Thesis-Final draft.pdf - Accepted Version Restricted to Repository staff only until 18 May 2027. Download (2MB)

Arabic Abstract

تتناول هذه الدراسة مشكلة التحسين المشترك للاتصالات والطاقة في أنظمة الاتصالات اللاسلكية بمساعدة الطائرات بدون طيار (UAV) والمزودة بتقنية الأسطح الذكية القابلة لإعادة التشكيل ذات الإرسال والانعكاس المتزامن (STAR-RIS). يتيح دمج تقنية STAR-RIS مع الطائرات بدون طيار فرصة واعدة لتحسين كلٍّ من الكفاءة الطيفية وكفاءة الطاقة في أنظمة الاتصالات المستقبلية. ومع ذلك، فإن الترابط المعقد بين مسار حركة الطائرة، وضبط إعدادات STAR-RIS، وتصميم التشكيل الشعاعي (Beamforming)، وتقسيم القدرة الراديوية (RF Power Splitting)، إلى جانب الطبيعة الزمنية المتغيرة للقناة اللاسلكية وحركية المستخدمين، يؤدي إلى صعوبة بدرجة عالية يصعب حلها باستخدام الأساليب التقليدية. لمعالجة هذا التحدي، تم اقتراح خوارزمية تعلم تعزيز عميق هجين قائم على خوارزمية تحسين السياسة التقريبية (H-PPO). يعتمد هذه الخوارزمية على بنية موحّدة من نوع الممثل–الناقد (Actor–Critic)، قادرة على التعامل مع فضاءات أفعال هجينة، حيث يتم تحسين قرارات حركة الطائرة (المنفصلة) ومتغيرات التحكم في الاتصال (المستمرة) بشكل مشترك. كما تم تقديم صياغة مكافأة على مرحلتين لضمان تحقيق متطلبات جودة الخدمة (QoS)، مع تحقيق توازن فعّال بين معدل النقل (Sum-Rate)، وكفاءة الطاقة، والطاقة المحصودة. تُظهر نتائج المحاكاة أن الخوارزمية المقترحة (H-PPO) يحقق تقاربًا أسرع وسلوك تعلم أكثر استقرارًا مقارنة بالخوارزميات المرجعية مثل PPO وTD3. كما توضح النتائج قدرة النموذج المقترح على التقاط المفاضلة بين أداء الاتصالات والطاقة المحصودة بكفاءة، مع الحفاظ على أداء قوي تحت إعدادات نظام مختلفة. بشكل عام، توفر الخوارزمية المقترحة حلاً عمليًا وقابلًا للتوسع للتحكم الذكي والتكيفي في أنظمة STAR-RIS المحمولة جوًا، مما يسهم في تطوير شبكات اتصالات الجيل السادس (6G) ذات الكفاءة العالية في استهلاك الطاقة والاستدامة.

English Abstract

This research studies the problem of joint communication and energy optimization in wireless communications with the help of Unmanned Aerial Vehicle (UAVs) that incorporate Simultaneous Transmission And Reflection Reconfigurable Intelligent Surface (STAR-RIS). With the incorporation of STAR-RIS technology in UAVs, there is an opportunity for enhancing both spectral efficiency and energy efficiency in future wireless systems. Nevertheless, the coupling between the UAV trajectory, STAR-RIS configuration, beamforming design, and RF power splitting, together with the time-varying nature of the wireless channel and mobility of the users, leads to a highly nonconvex problem that is difficult to solve with existing techniques. To overcome this challenge, a hybrid deep reinforcement learning framework based on proximal policy optimization (H-PPO) is proposed. The framework employs a unified actor–critic architecture capable of handling hybrid action spaces, where discrete UAV mobility decisions and continuous communication control variables are jointly optimized. A two-stage reward formulation is introduced to ensure quality-of-service (QoS) satisfaction while enabling balanced optimization of sum-rate, energy efficiency, and harvested energy. Simulation results demonstrate that the proposed H-PPO framework achieves faster convergence and more stable learning behavior compared to benchmark algorithms such as PPO and TD3. The results further show that the proposed method effectively captures the trade-offs among communication performance and energy harvesting, while maintaining robust performance under varying system configurations. Overall, the proposed framework provides a scalable and practical solution for intelligent and adaptive control in UAV-mounted STAR-RIS systems, contributing to the development of energy-efficient and sustainable 6G wireless networks.

Item Type:	Thesis (Masters)
Subjects:	Computer
Department:	College of Computing and Mathematics > Computer Engineering
Thesis Advisor:	Khaled Rabie,
Thesis Committee Members:	Louai Al-awami, Ali Al-suwaiyan,
Depositing User:	ANAS HUSSIN (g202321390)
Date Deposited:	18 May 2026 11:38
Last Modified:	18 May 2026 11:38
URI:	https://eprints.kfupm.edu.sa/id/eprint/144333