OPTIMIZING AERIAL SURVEYING OPERATIONS: A DYNAMIC FLEET SCHEDULING AND REWARD COLLECTION APPROACH. Masters thesis, King Fahd University of Petroleum and Minerals.
![]() |
PDF (Thesis)
Saad_Jamil_Masters_Thesis.pdf - Accepted Version Restricted to Repository staff only until 18 June 2026. Download (693kB) |
Arabic Abstract
يُستخدَم المسح الجوي بشكل متزايد في القطاعات الحيوية، بما في ذلك الخدمات اللوجستية والزراعة وتقييم الكوارث والرصد البيئي. ومع ذلك، تُشكِّل جدولة هذه العمليات تحديات كبيرة نظرًا للعوامل البيئية الديناميكية ومحدودية الرؤية للظروف المستقبلية. تُقدِّم هذه الأطروحة نموذج عملية اتخاذ القرار ماركوف (MDP) إلى جانب خوارزميات التعلم المُعزَّز (RL) لتحسين مسح الطائرات المتعددة في ظل حالة عدم اليقين، مع التركيز على تقلبات الطقس ونفقات الطاقة والإجراءات المُنسَّقة. في البداية، تُصاغ المشكلة كنموذج عملية اتخاذ القرار ماركوف لطائرة واحدة، مع دمج التحولات العشوائية للطقس وكفاءة المسح. يتم تدريب شبكة Q-Network (DQN) لإيجاد السياسات المُثلى التي تُحدِّد ما إذا كان ينبغي للطائرة إجراء المسح، أو التوقف، أو الانتقال إلى موقع أو مشروع جديد. للتحقق من صحة طريقة الحل، تم اختبارها على حالة صغيرة الحجم ومقارنتها بنتائج خوارزمية تكرار القيمة Iteration Value وهي خوارزمية دقيقة لكن غير فاعلة للمسائل الكبيرة، حيث أظهرت شبكة Q-Network (DQN) أداءً شبه مثالي. يُوسَّع هذا النموذج ليشمل طائرات متعددة باستخدام خوارزمية QMIX، مما يسمح لكل وكيل باتخاذ قرارات بناءً على الملاحظات المحلية، بينما تضمن شبكة مركزية التنسيق. تشير نتائج المحاكاة إلى أن السياسات المشتقة تدير تخصيص المسح بكفاءة، وتمنع الحركات غير الضرورية، وتقلل من النفقات المتعلقة بالطاقة .
English Abstract
Aerial surveying is increasingly employed in critical sectors including logistics, agriculture, disaster assessment, and environmental monitoring. However, scheduling such operations poses significant challenges due to dynamic environmental factors and the limited visibility into future weather conditions. This thesis introduces a novel Markov Decision Process Model (MDP) along with Reinforcement Learning (RL) algorithms to optimize multi aircraft surveying under uncertainty, emphasizing weather variability, energy expenditures, and coordinated actions. Initially, the problem is formulated as an MDP for a single aircraft, integrating stochastic weather transitions and survey efficiency. A Deep Q-Network (DQN) is trained to find the optimal policies that determine whether the aircraft should survey, remain idle, or relocate to a new location or project. DQN is benchmarked against value iteration—an exact algorithm that is inefficient for large-scale problems—demonstrating near-optimal performance. This model is extended to a multi-aircrafts by utilizing the QMIX algorithm, permitting each agent to make decisions based on local observations while a centralized mixing network ensures global coordination. Simulation results indicate that the derived policies efficiently manage survey allocation, prevent unnecessary movements, and minimize energy-related expenditures.
Item Type: | Thesis (Masters) |
---|---|
Subjects: | Engineering |
Department: | College of Computing and Mathematics > lndustrial and Systems Engineering |
Committee Advisor: | AlDurgam, Mohammad |
Committee Co-Advisor: | Baubaid, Ahmad |
Committee Members: | Osais, Yahya E. |
Depositing User: | SAAD JAMIL (g202313310) |
Date Deposited: | 19 Jun 2025 10:11 |
Last Modified: | 19 Jun 2025 10:11 |
URI: | http://eprints.kfupm.edu.sa/id/eprint/143558 |