Metaheuristic Approach to Artificial Neural Network Optimization. Masters thesis, King Fahd University of Petroleum and Minerals.

PDF (MSc. Thesis) MS_Thesis - MH ANN - Dec21 - KFUPM Eprints.pdf - Accepted Version Restricted to Repository staff only until 21 December 2024. Download (1MB)

Arabic Abstract

يعتمد أداء الشبكات العصبية الاصطناعية (ANN) على جودة ضبط المعلمات، مثل الأوزان ومعدل التعلم والمعلمات الفائقة وعدد الطبقات وعدد الخلايا العصبية. تتضمن مناهج الضبط النموذجية طرقًا قائمة على النسب المتدرج، والتي يمكن تطبيقها على الوظائف السلسة وتؤدي أفضل ما لديها للمشاكل المحدبة. ومع ذلك، فإن الشبكات العصبية الاصطناعية غير محدبة وقد تستفيد من وظائف غير سلسة. وبالتالي، فإن إيجاد تقنيات مبتكرة جديدة للتغلب على هذه القيود هو أولوية للباحثين في هذا المجال. يمكن أن تكون خوارزميات الأدلة العليا خيارًا بديلاً لتقدير المعلمات المثلى لشبكات الANN. نظرًا لأن معظم خوارزميات الأدلة العليا لديها قدرة عالية في استكشاف أو استغلال المشكلات غير المحدبة ، فإن تطوير خوارزميات الأدلة العليا المخصصة سيكون مجالًا مثمرًا للبحث عن المعلمات لشبكات الANN. في هذا العمل، ينصب تركيزنا على تطوير نهج Variable Neighborhood Search (VNS) الذي يتغلب على قيود الأساليب التقليدية في البحث عن المعلمات لشبكات الANN.

English Abstract

The performance of Artificial Neural Networks (ANNs) depends on the tuning quality of the parameters, such as weights, learning rate, hyperparameters, number of layers and number of neurons. Typical tuning approaches include gradient descent based methods, which are applicable for smooth functions and perform at their best for convex problems. However, ANNs are non-convex and they may benefit from non-smooth functions. Thus, finding new innovative techniques to overcome these limitations is a priority for researchers in the field. Metaheuristic (MH) algorithms can be an alternate option to estimate the optimal parameters of ANNs. Since most MH algorithms have a high capability in exploration or exploitation of non-convex problems, developing customized MH algorithms will be a fruitful area for parameter search of ANNs. In this work, our focus is on developing a Variable Neighborhood Search (VNS) approach that overcomes the limitations of conventional methods in the parameter search of ANNs.

Item Type:	Thesis (Masters)
Subjects:	Systems
Department:	College of Computing and Mathematics > lndustrial and Systems Engineering
Committee Advisor:	Mujahid, S.N.
Committee Members:	Mujahid, S.N. and AlGhazi, Anas and Khan, Waqar
Depositing User:	ALHASSAN ALDABBAGH (g201552810)
Date Deposited:	24 Dec 2023 05:47
Last Modified:	24 Dec 2023 05:47
URI:	http://eprints.kfupm.edu.sa/id/eprint/142669