DYNAMIC SPECTRUM SHARING IN HETEROGENEOUS WIRELESS NETWORKS USING DEEP REINFORCEMENT LEARNING. Masters thesis, King Fahd University of Petroleum and Minerals.

PDF (DYNAMIC SPECTRUM SHARING IN HETEROGENEOUS WIRELESS NETWORKS USING DEEP REINFORCEMENT LEARNING) Sulaimon Thesis Report .pdf - Accepted Version Restricted to Repository staff only until 19 December 2025. Download (3MB)

Arabic Abstract

تتطلب التوسعات السريعة في الشبكات اللاسلكية تخصيص طيف ترددي فعال. تُعتبر تقنية المشاركة الديناميكية للطيف الترددي (DSS) تقنية فعالة لتحسين استخدام الطيف، خاصة في البيئات المتنوعة. تقترح هذه الرسالة تقنية محسّنة لـ DSS تعتمد على التعلم العميق المعزز (DRL). تمكّن الطريقة المقترحة من مشاركة فعالة للطيف المتاح بين تقنيتين للوصول، وهما LTE وNB-IoT. تعمل الدراسة على تحسين عرض النطاق الترددي من خلال طرق مبنية على Q-learning والشبكات العصبية. ويتم تقييم المقترح من خلال تجارب من ثلاث مراحل: التعايش بين LTE-DRL، التعايش بين NB-IoT-DRL ، والتعايش بين LTE-NB-IoT. تظهر النتائج أن التعلم العميق يعزز معدل التقارب وعرض النطاق الترددي لنظام LTE-DRL ، محققاً أكثر من 85% من عرض النطاق مع أوقات تقارب تصل إلى 24 ميكروثانية. تبرز الدراسة التوازنات بين المعلمات مثل الاحتمالات (الوصول، النقل الناجح، وإعادة النقل)، التأخير، معدل التعلم، عامل الخصم، مؤشر العدالة، ومعمارية الشبكة العصبية وتأثير المعلمات على عرض النطاق الكلي للنظام. يُظهر التعايش مع NB-IoT وDRL نتائج مماثلة مع انخفاض طفيف في عرض النطاق وزيادة غير ملحوظة في معدل التقارب، بينما يؤدي التعايش بين LTE وNB-IoT إلى عرض نطاق يقارب 70% لكل من نظامي LTE وNB-IoT بسبب زيادة المنافسة على الطيف وزيادة تعقيد بيئة التشغيل. تقدم هذه الدراسة رؤى حول تحسين مشاركة الطيف باستخدام DRL وتؤكد على التوازن بين المعلمات المختلفة من أجل إدارة فعالة للطيف.

English Abstract

The rapid expansion of wireless networks demands efficient spectrum allocation. Dynamic Spectrum Sharing (DSS) is an effective technique for optimizing spectrum use, especially in heterogeneous environments. This thesis proposes an enhanced DSS technique based on Deep Reinforcement Learning (DRL). The proposed method enables an effective sharing of the available spectrum between two access technologies, namely LTE and NB-IoT. The study optimizes throughput through Q-learning and neural network-based methods, conducting experiments in three phases: LTE-DRL coexistence, NB-IoT-DRL coexistence, and LTE-NB-IoT coexistence. Results show that deep learning enhances the LTE-DRL system's convergence rate and throughput, achieving over 85% throughputs with convergence times as low as 24 microseconds (μs). The study highlights the trade-offs between parameters such as probabilities (arrival, successful transmission, and retransmission), packet expiry duration, learning rate, discount factor, fairness index, and the neural network architecture and the parameters’ impact on the overall system throughput. NB-IoT coexistence with DRL shows similar results with a slight decrement in throughput and negligibly longer convergence rate, while the coexistence of LTE and NB-IoT results in throughput of around 70% for each of the LTE and NB-IoT systems due to increased spectrum competition and increased complexity of the operating environment. This work offers insights into optimizing spectrum sharing using DRL and underscores the balance between various parameters for efficient spectrum management.

Item Type:	Thesis (Masters)
Subjects:	Computer Engineering
Department:	College of Computing and Mathematics > Computer Engineering
Committee Advisor:	Barnawi, Abdulaziz Yagoub
Committee Members:	Sheltami, Tarek and Felemban, Mohammad
Depositing User:	SULAIMON ADEBAYO (g202203440)
Date Deposited:	25 Dec 2024 10:08
Last Modified:	25 Dec 2024 10:08
URI:	http://eprints.kfupm.edu.sa/id/eprint/143135