INVESTIGATING THE USE OF METAHEURISTICS IN SOLVING NP-HARD PROBLEMS IN CONVOLUTIONAL NEURAL NETWORKS. Masters thesis, King Fahd University of Petroleum and Minerals.

PDF thesis final.pdf - Accepted Version Restricted to Repository staff only until 8 May 2022. Download (8MB)

Arabic Abstract

في السنوات الأخيرة ، أثبتت الشبكات العصبية التلافيفية (CNNs) قدرتها على حل المشكلات في العديد من المجالات وبدقة عالية لم تكن ممكنة من قبل. ومع ذلك ، نظرًا لتعقيدها الحسابي ، لا تستطيع وحدات المعالجة المركزية العامة تقديم الأداء المطلوب في الوقت الفعلي. ومن ثم ، فقد تم استخدام مصفوفات البوابة الميدانية القابلة للبرمجة (FPGAs) مؤخرًا لتسريع شبكة CNN نظرًا لقدرتها على إنشاء تصميمات مخصصة مع المستوى المطلوب من التوازي. أظهرت FPGAs أفضل أداء لكل واط في تسريع شبكات CNN. ومع ذلك ، نظرًا للحجم المحدود لـ FPGAs والتعقيد المتزايد لشبكات CNN ، فإن تقنيات التحسين مطلوبة لتعظيم استخدام موارد FPGAs لتقديم الأداء المطلوب. مع ازدياد تعقيد هياكل شبكات CNN ، يزداد عدد السمات التي يجب مراعاتها للتحسين أضعافًا مضاعفة. تم اقتراح مناهج مختلفة من قبل الباحثين لتحسين أداء CNN ، لكن القليل منهم درس قابلية استخدام خوارزميات الأدلة العيا في تسريع شبكات CNN المستندة إلى FPGA. تتمثل إحدى التقنيات المستخدمة في تنفيذ تسريع CNN المستند إلى FPGA في نشر عدة معالجات طبقات تلافيفية متعددة (CLPs) بدلاً من واحدة. في هذه الرسالة ، استخدمنا خوارزمية محاكاة الصلب وخوارزمية القوائم المحظورة للعثور على أفضل عدد CLPs ، وتخصيص الطبقات ، والتكوين الذي يحقق الأداء الأمثل لتسريع CNN ، مقيدة بموارد FPGA المعطاة. وحاولنا أيضًا التحقيق في إمكانات الخوارزميات الأدلة العليا الأخرى: محاكاة التطور وخوارزمية محاكاة الجراد. تم تقديم النتائج التجريبية والمقارنة مع شبكات CNN المعروفة ووجدنا ما يدل على أن النهج المعتمد مشجع وواعد

English Abstract

In recent years, Convolutional Neural Networks (CNNs) have demonstrated the ability to solve problems in many fields and with high accuracy that was not possible before. However, due to their computational complexity, general CPUs cannot deliver the needed real-time performance. Hence, Field Programmable Gate Arrays (FPGAs) haven been recently utilized for CNN’s acceleration due to their ability to create customized designs with the required level of parallelism. FPGAs have demonstrated the best performance per Watt in accelerating CNNs. However, due to limited size of FPGAs and the increasing complexity of CNNs, optimization techniques are required to maximize FPGAs resource utilization to deliver the desired performance. As the structures of CNNs get more sophisticated, the number of attributes that need to be considered for optimization increases exponentially. Different approaches have been proposed by researchers to optimize CNN performance, but few have examined the usability of metaheuristics in FPGA-based acceleration of CNNs. One of the techniques employed in implementing FPGA-based CNN acceleration is the deployment of multiple convolutional layer processors (CLPs) instead of a single one. In this thesis, we employed Simulated Annealing and Tabu Search to find the best: number of CLPs, layers assignment, and configuration that achieve the optimal performance for CNN acceleration, constrained by the given FPGA resources. And we also tried to investigate the potential of other metaheuristic algorithms: Simulated Evolution and Grasshopper Optimization Algorithm. Experimental results and comparison with known CNNs are presented demonstrating that the adopted approach is both encouraging and promising.

Item Type:	Thesis (Masters)
Subjects:	Computer
Department:	College of Computing and Mathematics > Computer Engineering
Committee Advisor:	Sait, Sadiq M.
Committee Members:	El-Maleh, Aiman H. and Helmy, Tarek
Depositing User:	MOHAMMAD ALTAKROURI (g201707010)
Date Deposited:	08 Feb 2022 08:38
Last Modified:	08 Feb 2022 08:38
URI:	http://eprints.kfupm.edu.sa/id/eprint/142057