ENERGY-EFFICIENT ONLINE PATH PLANNING FOR IOD USING REINFORCEMENT LEARNING. Masters thesis, King Fahd University of Petroleum and Minerals.

PDF MS Thesis Zainab Saleh AlMania-updated.pdf Restricted to Repository staff only until 12 August 2025. Download (7MB)

Arabic Abstract

في الآونة الأخيرة انتشرت الطائرات بدون طيار بشكل كبير نظرًا لمرونتها ولسهولة انتشارها وحركتها على نطاق واسع. من الجوانب الرئيسية والهامة في أنظمة الطائرات بدون طيار المتعددة هو تخطيط المسار، والذي يُعنَى بتحديد مسارات الطائرات بدون طيار من نقطة البداية وحتى نقطة النهاية بشكل مستقل. ومع ذلك، تواجه الطائرات بدون طيار العديد من العوائق في طريقها مما قد يتسبب بخسائر أو أضرار. هناك العديد من الطرق الإرشادية التي استخدمت لمواجهة هذه العوائق والمشكلات مثل تحسين سرب الجسيمات (PSO)، والخوارزميات الجينية (GA)، ومستعمرة النحل الاصطناعية (ABC). يتم تطبيق هذه الأساليب عمومًا في بيئات ثابتة حيث تكون البيئة معروفة مسبقًا ويتم إنشاء المسارات دون الاتصال بالإنترنت، مما يجعلها غير مناسبة للبيئات غير المعروفة أو المتغيرة. بالإضافة إلى ذلك، فإن وقت الرحلة المحدود بسبب قيود البطارية يشكل تحديًا آخر في تخطيط مسار الطائرات بدون طيار المتعددة. بالتالي، تحتاج الطائرات بدون طيار المتعددة إلى نهج تخطيط مسار موفر للطاقة وخالي من الاصطدامات لضمان الوصول الآمن مع استهلاك قليل للطاقة. يظهر التعلم الآلي، بما في ذلك التعلم المعزز (RL)، كمرشح واعد لإنشاء مسارات خالية من الاصطدامات للطائرات بدون طيار في البيئات المتغيرة نظرًا لقدرته على التكيف والتعميم. تقترح هذه الأطروحة نهجًا لتخطيط مسارٍ خالٍ من الاصطدامات في بيئة ديناميكية متغيرة تدمج تحسين سرب الجسيمات المطور IPSO مع DRL لتوفير حل جديد لتخطيط مسار الطائرات بدون طيار المتعددة في بيئة ديناميكية ثلاثية الأبعاد. تم تصميم IPSO-RL لمعالجة مشكلة تخطيط مسار الطائرات بدون طيار المتعددة بطريقة موزعة وتفاعلية بالكامل. وهو يشتمل على معلومات متعلقة بالبيئة المحيطة كما تم تصميم بنية جديدة للمكافأة تنطبق على بيئات مختلفة. توضح عمليات المحاكاة فعالية نهج IPSO-RL، واظهرت نتائج متفوقة من حيث تجنب الاصطدام وطول المسار وكفاءة الطاقة مقارنة بالحلول الأخرى. كما تجدر الإشارة إلى أهمية نموذج الطاقة المدرج لأنه يزود الطائرات بدون طيار بإرشادات إضافية للعمل بشكل أكثر فاعلية واستدامة.

English Abstract

Unmanned aerial vehicles (UAVs) have recently been applied in several applications due to their flexibility, mobility, and fast deployment. One of the main essential aspects of multi-UAV systems is path planning, which autonomously determines paths for drones from starting points to destination points. However, UAVs face many obstacles en route, potentially causing loss or damage. Several heuristic approaches, such as particle swarm optimization (PSO), improved PSO, genetic algorithms (GA), and artificial bee colony (ABC), have been investigated to address collision avoidance. These approaches are generally applied in static environments where the environment is known in advance and paths are generated offline, making them unsuitable for unknown or dynamic environments. Additionally, limited flight time due to battery constraints poses another challenge in multi-UAV path planning. Thus, multi-UAVs need an energy-efficient collision-free path planning approach to ensure safe delivery with minimal energy consumption. Machine learning, including reinforcement learning (RL), emerges as a promising candidate to generate collision-free paths for drones in dynamic environments due to its adaptability and generalization capabilities. This thesis proposes a collision-free path planning approach in a dynamic environment that integrates improved PSO (IPSO) with deep RL to provide a novel solution for multi-UAV path planning in a 3D dynamic environment. The IPSO-RL framework is designed to tackle the multi-UAV path planning problem in a fully distributed and reactive manner. It incorporates environmental information and introduces a novel reward structure applicable to various environments. Simulations demonstrate the effectiveness of the IPSO-RL approach, showing superior results in terms of collision avoidance, path length, and energy efficiency compared to other benchmarks. The inclusion of the energy model is crucial as it provides the agent with additional feedback and guidance to operate more sustainably.

Item Type:	Thesis (Masters)
Subjects:	Computer
Department:	College of Computing and Mathematics > Computer Engineering
Committee Advisor:	Sheltami, Tarek
Committee Members:	Mahmoud, Ashraf S. and Barnawi, Abdulaziz Yagoub
Depositing User:	ZAINAB ALMANIA (g202102670)
Date Deposited:	12 Aug 2024 08:16
Last Modified:	12 Aug 2024 08:16
URI:	http://eprints.kfupm.edu.sa/id/eprint/143030