Hyperparameter Tuning Impact on Machine Learning Forecasting Performance within the Saudi Stock Market. Masters thesis, King Fahd University of Petroleum and Minerals.

PDF Thesis_201803260.pdf - Submitted Version Restricted to Repository staff only until 13 February 2023. Available under License Creative Commons Attribution. Download (12MB)

Arabic Abstract

التنبؤ بأسعار الأسهم يعد من المسائل المعقدة في الأوساط العلمية والمالية بسبب الطبيعة غير الخطية والديناميكية لأسعار الأسهم. نظراً لما تتميز به نماذج تعلم الآلة من قدرات تسمح لها بمعالجة البيانات غير الخطية فهي أدوات واعدة للتنبؤ بأسعار الأسهم. في هذه الدراسة ، تم إجراء تقييم تجريبي لثمانية نماذج تقليدية لتعلم الآلة "للتنبؤ بسعر السهم باستخدام التنبؤ المتسلسل الزمني أحادي المتغير ومتعدد المتغيرات لإحدى عشرة شركة تابعة للسوق المالية السعودية. علاوة على ذلك ، تم تحديد التكوين الأمثل للمعاملات الفائقة (Hyperparameter) في كل نموذج من نماذج التعلم الآلي لكل من التحليل أحادي المتغير ومتعدد المتغيرات. بالإضافة إلى ذلك، في التحليل متعدد المتغيرات ، تم تحديد أفضل المؤشرات التقنية للتنبؤ بالمخزون باستخدام المعلومات المتبادلة عبر جميع مجموعات البيانات. تم تقييم أداء التنبؤ من خلال مقياسين معروفين للخطأ: الجذر التربيعي لمربع متوسط الخطأ ومتوسط النسبة المئوية للخطأ المطلق. تم استخدام حجم تأثير ويلكوكسون لتحديد تأثير ضبط المعامل الفائقة من خلال مقارنة أداء التنبؤ بنماذج التعلم الآلي المضبوطة وغير المضبوطة. تشير النتائج التجريبية إلى وجود تأثيرات متباينة لضبط المعامل الفائق لنماذج التعلم الآلي في التنبؤ بسعر السهم. في التحليل أحادي المتغير ، بعد ضبط المعاملات الفائقة ، يتفوق نموذج انحدار المتجهات الداعمة (Support Vector Regression) على نماذج التنبؤ الأخرى بفارق إحصائي كبير. في المقابل ، يُظهر (Kernel Ridge Regression) أداء تنبؤيًا جديرًا بالملاحظة دون ضبط المعامل الفائق مقارنة بنماذج التنبؤ الأخرى غير المضبوطة. في التحليل متعدد المتغيرات ، بدون ضبط المعامل الفائق ، تعرض نماذج قليلة فقط أداء تنبؤ جيد. نموذج انحدار المتجهات الداعمة غير المضبوط أدى أداءً جيدًا مقارنةً بالنماذج الأخرى. على العكس من ذلك ، فإن ضبط المعامل الفائق له تأثير جدير على جميع النماذج في معظم مجموعات البيانات. ومع ذلك ، فإن نماذج شجرة القرار والجار الأقرب (K-Nearest Neighbor) هما من النماذج ذات الأداء الضعيف والتي تظهر أداء تنبؤ غير كافٍ حتى بعد ضبط المعامل الفائق في كل من التحليل أحادي المتغير ومتعدد المتغيرات.

English Abstract

Stock price forecasting has been reported as a challenging task in the scientific and financial communities due to stock prices' nonlinear and dynamic nature. Machine learning models exhibit capabilities that allow them to handle nonlinear data and be candidate tools for stock price forecasting. In this study, an empirical evaluation of eight conventional machine learning models' is conducted to forecast the stock price adopting univariate and multivariate time series forecasting of eleven companies belonging to the Saudi Stock Exchange. Moreover, the optimal configuration of hyperparameters in each machine learning model is identified for both univariate and multivariate analysis. Furthermore, in multivariate analysis, the best technical indicators in forecasting stock are identified using mutual information across all the datasets. Forecasting performance is evaluated by two well-known error metrics: Root Mean Square Error (RMSE) and Mean Absolute Percentage Error (MAPE). Wilcoxson effect size is utilized to determine the impact of hyperparameter tuning by comparing tuned and un-tuned machine learning models' forecasting performance. Empirical results indicate there are varying impacts of hyperparameter tuning of machine learning models in forecasting stock price. In univariate analysis, after tuning the hyperparameters, Support Vector Regression outperforms other forecasting models with a significant statistical difference. In contrast, Kernel Ridge Regression shows noteworthy forecasting performance without hyperparameter tuning with respect to other un-tuned forecasting models. In multivariate analysis, without hyperparameter tuning, only a few models display good forecasting performance. Suppose, un-tuned SVR has performed well compared to other models. On the contrary, hyperparameter tuning has a noteworthy impact on all of the models in most of the datasets. However, Decision Tree and K-Nearest Neighbour are the poor-performing models which demonstrate inadequate forecasting performance even after hyperparameter tuning in both univariate and multivariate analysis.

Item Type:	Thesis (Masters)
Subjects:	Computer Research > Information Technology
Department:	College of Computing and Mathematics > Information and Computer Science
Committee Advisor:	Aljamaan, Hamoud
Committee Members:	Aljamaan, Hamoud and Ahmed, Moataz and Ramadan, Emad
Depositing User:	KAZI HOQUE (g201803260)
Date Deposited:	17 Feb 2022 11:54
Last Modified:	17 Feb 2022 11:54
URI:	http://eprints.kfupm.edu.sa/id/eprint/142062