UAV Detection using Reinforcement Learning. Masters thesis, King Fahd University of Petroleum and Minerals.

PDF Signed Version _ Arwa AlKhonaini _ MS Thesis.pdf Restricted to Repository staff only until 2 March 2025. Download (6MB)

Arabic Abstract

أصبحت الطائرات بدون طيار ذات شعبية متزايدة في التطبيقات العسكرية والمدنية وذلك يرجع الى سعرها المنخفض وسهولة استخدامها في كافة المجالات. غير أن الاستخدام المتزايد للطائرات بدون طيار يثير أيضًا مخاوف بشأن خطر جمع البيانات بشكل غير قانوني واحتمال استخدام البيانات لأغراض إجرامية. لذلك، أصبح الكشف الفعال عن الطائرات بدون طيار المتطفلة تحديًا بحثيًا رئيسيًا. في السنوات الأخيرة، أظهرت تقنيات التعلم الآلي نتائج واعدة في اكتشاف الأجسام المختلفة ولاسيما الطائرات بدون طيار باستخدام طرق مثل الترددات الراديوية والكشف البصري والصوتي. تقترح هذه الاطروحة نهجًا مبتكراً مبني باستخدام تقنيات التعلم المعزز الهرمي لاكتشاف الطائرات بدون طيار وتحديد طراز الطائرة ووضع الطيران الخاص بها. يتضمن الحل المقترح استخدام وكيل واحد بعدة سياسات، لكل مستوى سياسة خاصة به. تم تدريب السياسات بشكل هرمي باستخدام خوارزمية REINFORCE . تعتمد الخوارزمية على تنظيم قصور السياسة عن طريق استخدام عامل إضافي وذلك لتعزيز استكشاف عدد أكبر من الإجراءات المحتملة وتحسين استقرار خوارزمية التعلم. تركز الدراسة على الاستفادة من خصائص إشارات التردد اللاسلكي الملتقطة للكشف عن الطائرات بدون طيار المتطفلة. من خلال الاختبار المكثف للوكيل، كشفت النتائج الإمكانات الرائعة للنهج المقترح وذلك يتمثل بتحقيق دقة عالية في الكشف عن الطائرات بدون طيار وتحديد هويتها باستخدام الترددات اللاسلكية، مع دقة كشف استثنائية تبلغ 99.7%. تسلط هذه النتائج الضوء على فعالية وجدوى الحل الذي نقدمه مما يفتح آفاقًا واعدة لتحسين الأمن ضد الطائرات بدون طيار ومراقبتها.

English Abstract

Unmanned Aerial Vehicles (UAVs) have gained significant popularity in both military and civilian applications due to their cost-effectiveness and flexibility. However, the increased utilization of UAVs raises concerns about the risk of illegal data gathering and potential criminal use. As a result, accurate detection and identification of intruding UAVs has emerged as a critical research concern. Many algorithms have shown their effectiveness in detecting different objects through different approaches, including radio frequency (RF), computer vision (visual), and sound-based detection. This thesis proposes a novel approach for detecting and identifying intruding UAVs based on their RF signals by using a hierarchical reinforcement learning technique. We train a UAV agent hierarchically with multiple policies using the REINFORCE algorithm with entropy regularization term to improve the overall accuracy. The research focuses on utilizing extracted features from RF signals to detect intruding UAVs, which contributes to the field of reinforcement learning by investigating a less explored UAV detection approach. Through extensive evaluation, our findings show the remarkable results of the proposed approach in achieving accurate RF-based detection and identification, with an outstanding detection accuracy of 99.7%. Additionally, our approach demonstrates improved cumulative return performance and reduced loss. The obtained results highlight the effectiveness of the proposed solution in enhancing UAV security and surveillance while advancing the field of UAV detection.

Item Type:	Thesis (Masters)
Subjects:	Computer Research > Information Technology
Department:	College of Computing and Mathematics > Computer Engineering
Committee Advisor:	Sheltami, Tarek R.
Committee Members:	Imam, Muhammad and Mahmoud, Ashraf S.
Depositing User:	ARWA ALKHONAINI (g202103610)
Date Deposited:	04 Mar 2024 12:48
Last Modified:	04 Mar 2024 12:48
URI:	http://eprints.kfupm.edu.sa/id/eprint/142715