OPTIMIZING HYBRID TRUCK-DRONE DELIVERY SYSTEMS USING REINFORCEMENT LEARNING: A CUSTOMER-CENTRIC AND TRAFFIC-AWARE APPROACH. Masters thesis, King Fahd University of Petroleum and Minerals.

PDF 202303370_Abdullahi_Sani_Shuaibu_Thesis_Draft.pdf - Accepted Version Restricted to Repository staff only until 26 May 2026. Download (12MB)

Arabic Abstract

البيئات الحضرية. مع تزايد الطلبات وتشدد توقعات العملاء، تواجه النماذج التقليدية التي تعتمد على الشاحنات فقط قيودًا متزايدة بسبب الازدحام، وعدم كفاءة استهلاك الطاقة، وتجاوز النوافذ الزمنية المحددة للتوصيل. توفر الأنظمة الهجينة المكونة من شاحنات وطائرات بدون طيار مرونة تشغيلية، لكن تنسيق عملها تحت قيود واقعية يظل تحديًا كبيرًا. لمعالجة ذلك، تم تطوير نموذج برمجة لا خطية عددية مختلطة (MINLP) لتوليد خطط توصيل مثلى في الحالات الصغيرة. يدمج النموذج مزامنة حركة المركبات، والقيود الزمنية، والحدود القصوى للمدى، وتأثيرات الازدحام من خلال مصفوفة تحجيم مروري. وبالنسبة للحالات الأكبر حجمًا، تم اقتراح إطار تعلُّم معزز باستخدام خوارزمية epsilon-greedy Q-learning. يتفاعل وكيل RL مع بيئة مدركة للقيود لتعلُّم سياسات توصيل تقلل من دالة تكلفة مركبة تشمل وقت الرحلة، والمسافة، والتأخير. أظهرت النتائج التجريبية أن خوارزمية RL تقترب في أدائها من حلول MINLP في الحالات الصغيرة مع فجوة أمثلية أقل من 2.1\%، وتظل فعالة من حيث الحسابات مع زيادة حجم المشكلة. كما تمت مقارنة النموذج بخوارزميات ميتا-استكشافية مثل خوارزمية الجينات (GA)، والتبريد المحاكى (SA)، وتحسين السرب الجزيئي (PSO)، حيث أظهر النموذج تفوقًا في تقليل وقت التوصيل، ومعدل التأخير، واتساق الأداء. وأخيرًا، تبيّن أن نمذجة المرور تؤثر بشكل مباشر على تنسيق المركبات، مما يشجع على انطلاق الطائرات بدون طيار في وقت مبكر لتقليل تأخيرات الشاحنات.

English Abstract

This thesis presents a traffic-aware optimization framework for hybrid truck-drone last-mile delivery (LMD) in urban environments. As delivery demands rise and customer expectations tighten, traditional truck-only logistics models face increasing limitations due to congestion, energy inefficiency, and missed time windows. Hybrid truck–drone systems offer operational flexibility, but optimizing their coordination under realistic constraints remains challenging. To address this, a Mixed-Integer Non-Linear Programming (MINLP) model is first developed to generate optimal routing plans for small delivery scenarios. The model explicitly incorporates synchronization between vehicles, time window penalties, range limits, and congestion effects through a traffic scaling matrix. For larger problem sizes, a reinforcement learning (RL) framework is proposed using epsilon-greedy Q-learning. The RL agent interacts with a feasibility aware environment to learn delivery policies that minimize a composite cost function comprising travel time, distance, and lateness. Experimental results show that RL closely approximates MINLP solutions for small instances with optimality gaps under 2.1%, and remains computationally efficient as delivery size increases. The model is further benchmarked against metaheuristics Genetic Algorithm (GA), Simulated Annealing (SA), and Particle Swarm Optimization (PSO) showing superior performance in travel time, travel distance, and lateness. Additionally, traffic-aware modeling is shown to influence vehicle coordination, encouraging earlier drone departures to mitigate truck delays.

Item Type:	Thesis (Masters)
Subjects:	Computer Engineering Math
Department:	College of Computing and Mathematics > Computer Engineering
Committee Advisor:	Mahmoud, Ashraf S.
Committee Members:	Sheltami, Tarek and Elgabli, Anis
Depositing User:	ABDULLAHI SHUAIBU (g202303370)
Date Deposited:	27 May 2025 10:20
Last Modified:	27 May 2025 10:20
URI:	http://eprints.kfupm.edu.sa/id/eprint/143462