Deep Learning Models for Small Fruit Detection and Maturity Level Classification. Masters thesis, King Fahd University of Petroleum and Minerals.

PDF JawharahAlmulhimThesis_Final.pdf Restricted to Repository staff only until 25 May 2023. Download (11MB)

Arabic Abstract

طرق الحصاد الحالية في المملكة العربية السعودية تعتمد على وسائل اليدوية التي تتطلب أيد عاملة وفيرة وتستهلك وقت طويلاً وتكاليفاً عالية. اكتسبت الأبحاث عن طرق اتمتة هذه الوسائل اهتماماً كبيراً بين الباحثين للمساعدة في تطوير وتحسين أنظمة الحصاد. تركز هذه الأنظمة على معالجة صور البساتين لاكتشاف أنواع الفاكهة ومستويات نضجها واتخاذ قرارات الحصاد. ومع ذلك فإن أنظمة الحصاد الذكية تواجه العديد من التحديات للتعرف على الثمار من بينها التداخل بين الفاكهة وأجزاء النبتة الأخرى. وتزداد صعوبة التعرف على الثمار في الصور عندما تكون الثمار صغيرة والتي عادةً تتمثل في الصور بعدد بيكسل محدود. لذلك كان التعرف على الفواكه الصغيرة مثل التمور تحدياً كبيراً والتي تعتبر من الثمار الأكثر شيوعاً في المملكة العربية السعودية. ركزت معظم أبحاث حصاد التمور باستخدام التقنيات الذكية على مهام تصنيف النوع ونضج عناقيد التمور والتي تتطلب بناء أنظمة متعددة للتعرف وتحديد مواقع عناقيد التمور في البستان. في هذه الدراسة قمنا بالتركيز على التعرف على فاكهة التمر بشكل فردي وتصنيف مرحلة نضجها باستخدام نماذج التعلم العميقة مع صور التمور والتي تساعد الأنظمة الذكية في اكتشاف التمر في مراحل النضج المختلفة وتقدير المحاصيل. لبناء هذا النموذج تم استخدام تقنيات مختلفة من ضمنها تقنيات تعزيز وزيادة البيانات لتحديد تقنيات الزيادة المناسبة لتعزيز أداء النموذج في التعرف على التمور. بالإضافة لذلك قمنا بتقديم أسلوب جديد في تدريب النموذج وذلك عن طريق زيادة صور التدريب بمجموعة صور قد تم جمعها من البساتين تحتوي على الأجزاء التي قد تظهر خلف الثمرة مثل الأغصان والأوراق باعتبارها عينات سلبية لا تمثل جزء من أجزاء الثمرة وتم تسميتها بالصور الخلفية. علاوة على ذلك للمساعدة في تحسين أداء النموذج تم استخدام تقنيات نقل التعلم والتي تنقل التعلم السابق للنموذج من قاعدة بيانات كبيرة إلى التعلم على قاعدة بيانات أصغر في مهمة مشابهة . تم استخدام التقنية بإعدادين مختلفين التعلم العام والتعلم المتجانس بحيث في التعلم العام يكون النموذج قد تم تدريبه على قاعدة بيانات كبيرة يتعلم فيها النموذج تحديد 80 جسم مثل الأشخاص وبعض الحيوانات والفواكه ووسائل التنقل بينما في المتجانس نقوم بنقل التعلم من قاعدة البيانات الكبيرة إلى قاعدة البيانات المتجانسة مع التمور وهي قاعدة بيانات صور ثمرة اللوز ثم نقوم ب النموذج مرة أخرى على التحديد فاكهة التمر بمراحل النضج الأخرى. أظهرت النتائج ان طرق البيانات المعززة ساهمت في تحسين أداء النموذج بنسبة 10.73 متوسط دقة. عند إضافة العينات الخلفية حقق النموذج تحسناً بنسبة 14.32 بينما كان التحسين أكبر وأسرع عند استخدام تقنيات نقل العلم حيث وصل متوسط دقة النموذج إلى نسبة 56.79 و 58.63 للنقل العام والمتجانس على التوالي. أدى جمع نهج نقل التعلم العام مع تقنيات تعزيز البيانات وزيادة العينات الخلفية إلى وصول النموذج لأعلى متوسط دقة والذي وصل إلى نسبة 67.63 .

English Abstract

Current harvesting methods in Saudi Arabia are mostly performed manually, re-quiring intensive labor, time and cost. Finding ways to automate this process has been gaining greater attention among researchers as a means to develop and improve harvesting systems. Example of such systems are ones that process orchard images to detect types of fruit, their maturity levels and make harvesting decisions. How-ever, these intelligent fruit harvesting systems face several challenges. For example, an orchard image would usually have complex background components that overlap with individual fruit pieces, making it difficult for recognition systems to process the fruit alone. An additional challenge that exists in small fruit detection in particular is limited number of pixels represent the fruit information. Therefore, recognizing small fruits such as dates, has been an attractive problem. The Phoenix Dactylifera L. date palm is among Saudi Arabia’s most common fruit plants. Most of the research on date harvesting has focused on the type and maturity classification tasks at the bunch level. This has led to multiple models be-ing built for localizing and identifying date fruit. In this study, we have leveraged a deep learning–based object detection model and fine-tuned it to detect dates at the pre-harvesting stage and classify primary maturity levels using orchard images. The proposed technique attempts to utilize current data augmentation methods to find the optimum method for the date dataset in order to build an Augmented Date Ma-turity Detector (DMD-A) that is suitable for this purpose. We have also utilized new data-expanding methods by adding background samples in the training process. Fur-thermore, to enhance the model’s performance, transfer learning techniques have been used to train the date maturity detector using transfer learning (DMDTL I model) with two settings: general transfer DMD-TL I model and homogenous transfer (DMD-TL II model). The results showed that the augmented methods significantly enhance the model’s performance, by 10.73 mean average precision (mAP). Adding the back-ground samples to the small fruit datasets, the back DMD-A model achieved a 14.32%improvement, while, with the DMD-TL, we found both DMD-TL I and DMD-TL II to be beneficial for minimizing the training time and enhancing the model’s accuracy, with 56.79% and 58.63% mAP, respectively. Our results show that combining transfer learning and augmenting approaches in DMD-ATL with background samples yielded the greatest mAP, of 67.63%.

Item Type:	Thesis (Masters)
Subjects:	Computer Research Research > Information Technology Research > Environment
Department:	College of Computing and Mathematics > Information and Computer Science
Committee Advisor:	Alzaidy, Rabeah
Committee Members:	Ahmed, Moataz and Boudellioua, Imane
Depositing User:	JAWHARAH ALMULHIM (g201902030)
Date Deposited:	25 May 2022 11:04
Last Modified:	25 May 2022 11:04
URI:	http://eprints.kfupm.edu.sa/id/eprint/142119