ROBUST SUPPORT VECTOR MACHINES IN CLASSIFICATION. Masters thesis, King Fahd University of Petroleum and Minerals.

Preview

PDF Robust_Support_Vector_Machines_in_Classification_(e-print).pdf - Accepted Version Download (4MB) | Preview

Arabic Abstract

أصبحت نماذج التصنيف المتينة (Robust Classification Models) في تطبيقات اليوم الصعبة والمتطورة ذو طلب عال. يتم استخدام نماذج آلة متجه الدعم (Support Vector Machines) (أ.م.د) على نطاق واسع في التصنيف وهي تفضل عادةً بسبب قوة نظريتها واشتقاقها الرياضي. ومع ذلك، فإن نماذج أ.م.د التقليدية حساسة للضوضاء "البيانات الشاذة" ولذلك، هناك حاجة إلى تطوير نماذج تصنيف قوية غير حساسة لضوضاء البيانات. في هذه الرسالة، يتم اقتراح ثلاثة نماذج أ.م.د متينة للتصنيف الثنائي. تستخدم هذه النماذج الثلاثة دالة تستند إلى المفارقة وتسمى بـدالة الفقدان الجزئي (Correntropic Loss Function) (د.ف.ج). اثنان من هذه النماذج يستخدم الدالة كدالة خسارة واضحة و هما الـ C-SVM و C-PSVM, أما الثالث فيستخدم الدالة كمقياس لدرجة العضوية و هو الـ CMD-SVM. تم تطوير النماذج المتينة المقترحة لحالة حدود القرار الخطية(Linear Decision Boundary). بالنسبة لحالة حدود القرار غير الخطية (Nonlinear Decision Boundary) ، تم تطوير النماذج المقترحة باستخدام نظرية التمثيل المعممة (Generalized Representer Theorem). تم تطوير منهج حل تكراري مخصص لحل النماذج المتينة المقترحة بكفاءة عالية. تستغل منهجية الحل التكرارية المقترحة معلمة بالغة الأهمية في الـ د.ف.ج وهي معلمة ضبط تتحكم في شكل الـدالة. و نتيجة لذلك، يتم التحكم في تحدب دالة الهدف طوال عملية الحل، و بالتالي يتم ضمان نقطة حرجة محلية في النهاية. وأخيراً، تم إجراء تجارب رقمية لتقييم أداء النماذج المتينة المقترحة ضد نماذج أ.م.د التقليدية. تكشف التجارب أن النماذج المقترحة غير حساسة للبيانات الضوضائية كما أنها تحقق دقة تنبؤيه أعلى. يتم تحقيق هذه الدقة المحسنة على حساب الوقت المستغرق في الحل. يؤدي استخدام المعلمة σ في النماذج المتينة إلى زيادة الوقت المستغرق في حل المسألة الكلية بسبب إضافة دورة بحثية جديدة حول المعلمة σ. وعلى الرغم من ذلك, فإن الخلاصة تكمن في أن النماذج المتينة المقترحة تعمل بشكل جيد في ظل وجود البيانات الضوضائية أو عدمها.

English Abstract

Support Vector Machines (SVMs) are widely used in data classification. They are typically preferred due to their low generalized error. However, the conventional SVM models are sensitive to noise (outliers). Therefore, there is a need to develop robust data classification models that are insensitive to noise. In this thesis, a total of 3 robust data classification models for binary classification are proposed. The three proposed models utilize the robust properties of the Correntropic Loss Function (CLF). Two of these models use the CLF as an error measure (C-SVM and C-PSVM), and the third uses the CLF as a membership degree (CMD-SVM). The proposed robust models are developed for the case of Linear Decision Boundary (LDB). For the case of Nonlinear Decision Boundary (NLDB), the proposed robust models were developed using the Generalized Representer Theorem (GRT). An iterative solution methodology is developed to efficiently solve the proposed robust models. The proposed methodology exploits a very critical tuning parameter (σ) in the CLF, which controls the shape of the CLF. As a result, the objective function’s convexity is controlled throughout the solution process so that a local minimum is eventually guaranteed. Finally, numerical experiments are conducted to illustrate the performance of the proposed robust models against the conventional SVM models. The experiments reveal that the proposed models are insensitive to noise and achieve higher prediction accuracies. However, this improved accuracy is achieved at the cost of the solution time. The introduction of the parameter σ into the robust models increases the total solution time due to the additional line search for σ. Nevertheless, to sum, based on the numerical experiments, the proposed methods works well in the presence and absence of noise.

Item Type:	Thesis (Masters)
Subjects:	Engineering Math
Department:	College of Computing and Mathematics > lndustrial and Systems Engineering
Committee Advisor:	Mujahid, Syed
Committee Members:	Selim, Shokri and Al-Fares, Hesham
Depositing User:	MOHAMMED AL-MEHDHAR (g200683900)
Date Deposited:	12 Feb 2019 06:32
Last Modified:	31 Dec 2020 07:17
URI:	http://eprints.kfupm.edu.sa/id/eprint/140886