Taibeche, Ahmed (2026) Generative AI-Driven UAV navigation algorithm in obstacle-constrained environments. Masters thesis, King Fahd University of Petroleum and Minerals.

PDF AHMED_TAIBECHE__MASTERS_Thesis.pdf Restricted to Repository staff only until 29 October 2027. Download (10MB)

Arabic Abstract

تحتاج الطائرات غير المأهولة (UAVs) التي تطير داخل المباني، حيث لا تتوفر إشارة نظام التموضع العالمي (GNSS)، إلى تجنب عوائق غير موجودة في الخريطة. كثير من هذه العوائق متحرك، وكثير منها من أنواع لم يُدرَّب عليها كاشف الأجسام ذو القائمة الثابتة من الأصناف. المخططات والكواشف التقليدية سريعة، لكنها ترى الهندسة فقط ولا تعرف أي الأجسام مهم للطيران. أما نماذج الرؤية واللغة (VLMs) فتستطيع التعرف على أي جسم تقريبا من وصف نصي، لكنها بطيئة في الإجابة بحيث لا يمكن استخدامها لقيادة الطائرة في كل إطار من الكاميرا. تقترح هذه الرسالة إطار ملاحة يفصل بين هذين الدورين. تحسب خوارزمية A* ثلاثية الأبعاد مع تنعيم المسار بخط الرؤية مسارا عاما فوق خريطة فوكسلية معدة مسبقا. ويعمل نموذج رؤية ولغة أبطأ، هو InternVL 3.5 بأربعة مليارات معامل، كمدير دلالي (Director) يسمي الأخطار الظاهرة في المشهد، وتحدد قاعدة جدولة متى يُسأل من جديد. ويبحث كاشف سريع مفتوح المفردات، هو YOLO-World، عن هذه الأسماء في كل إطار من الكاميرا. ويحدد العمق القريب ونموذج عمق أحادي موضع كل كشف في الفضاء ثلاثي الأبعاد، وتفصل المقارنة مع الخريطة الفوكسلية بين البنية الثابتة المعروفة والأخطار غير المرسومة على الخريطة أو المتحركة، ويُتتبع كل خطر. ويولد متحكم محلي من نوع نافذة ديناميكية (DWA)، اختير بدلا من متحكم الحقول الكامنة، أوامر التجنب. ويُضغط المدير إلى أوزان بدقة 4 بت بطريقة تكميم واعية بسياق الملاحة. اختُبر الإطار داخل محاكي Unreal Engine 5 في مستودع وفي موقع إنشاءات. يعمل الثنائي Director-Detector بزمن قدره نحو 156 ms للإطار، أي أسرع بنحو ست مرات من أدق إعداد يرسم فيه نموذج الرؤية واللغة الصناديق بنفسه، وبقيمة F1 مشابهة (0.61 مقابل 0.64). وفي تجربة الإزالة (ablation)، نجح الإطار الكامل في 29 من 30 مهمة بوجود 3 عوائق وبوجود 7 عوائق قرب المسار، مقابل 25 و22 لكل من النموذجين المرجعيين اللذين يفتقدان المفردات المفتوحة أو الطبقة الدلالية. وفي الطيران، سجل المتحكم DWA تصادمات في 2 من 60 مهمة بوجود عوائق، مقابل 8 لمتحكم الحقول الكامنة. ونجحت قاعدة الجدولة في 29 من 30 مهمة مع طاقة أقل للمدير بنحو 62% مقارنة بالطلبات المستمرة. وخفض المدير ذو الأوزان 4 بت ذاكرة وحدة المعالجة الرسومية إلى النصف، مع الحفاظ على جودة الكشف ونتيجة المهمات (28 نجاحا من 30). وعند تشغيله في موقع الإنشاءات دون إعادة ضبط، نجح الإطار في 28 من 30 مهمة.

English Abstract

Uncrewed Aerial Vehicles (UAVs) that fly indoors, where satellite positioning (GNSS) is not available, must avoid obstacles that are missing from the map. Many of these obstacles are dynamic, and many are of types that a fixed-vocabulary object detector was never trained on. Classical planners and detectors are fast, but they only see geometry and cannot tell which objects matter for the flight. Vision-Language Models (VLMs) can recognize almost any object from a text description, but they answer too slowly to guide a drone on every camera frame. This thesis proposes a navigation framework that keeps these two roles apart. A three-dimensional A* planner with line-of-sight smoothing computes a global path on a prior voxel map. A slower VLM, InternVL 3.5 with four billion parameters, acts as a Director that names the hazards in the scene, and a scheduling rule decides when it is asked again. A fast open-vocabulary detector, YOLO-World, searches every camera frame for these names. Close-range depth and a monocular depth model place each detection in three dimensions, a comparison with the voxel map separates known structure from unmapped or moving hazards, and each hazard is tracked. A Dynamic Window Approach (DWA), selected over a potential-field controller, generates the avoidance commands. The Director is compressed to 4-bit weights by navigation- aware quantization. The framework was tested in the Unreal Engine 5 simulator, in a warehouse and in a construction site. The Director-Detector pair runs at about 156 ms per frame, about six times faster than the most accurate configuration in which the VLM draws the boxes itself, at a similar detection F1 score (0.61 against 0.64). In an ablation, the full pipeline succeeded in 29 of 30 missions with 3 and with 7 obstacles near the path, against 25 and 22 for each of the baselines without the open vocabulary or without the semantic layer. In flight, DWA had 2 collided missions out of 60 with obstacles, against 8 for the potential field. The scheduling rule reached 29 successful missions out of 30 while using about 62% less Director energy than continuous requests. The 4-bit Director halved the GPU memory of the Director and kept both its detection quality and the mission outcome (28 successes out of 30). Flown without retuning in the construction site, the framework succeeded in 28 of 30 missions.

Item Type:	Thesis (Masters)
Subjects:	Systems Research > Engineering Electrical
Department:	College of Engineering and Physics > Electrical Engineering
Thesis Advisor:	Brahim Brahmi,
Thesis Committee Members:	Sami El-Ferik, Saad Ezzini,
Depositing User:	AHMED TAIBECHE
Date Deposited:	01 Nov 2026 12:00
Last Modified:	01 Nov 2026 12:00
URI:	https://eprints.kfupm.edu.sa/id/eprint/144789