REGULARIZATION AND VARIABLE SELECTION VIA THE FIXED-SHAPE ELASTIC NET AND EXPONENTIAL NORM. Masters thesis, King Fahd University of Petroleum and Minerals.

Preview

PDF MS_-_Thesis_-_Complete.pdf Download (6MB) | Preview

Arabic Abstract

الانحدار الخطّي المُغرَّم (ا.خ.م) هو أحد الأدوات التي توفر تنظيم واختيار المتغيرات بالنسبة للمعاملات المقدّرة لنموذج الانحدار، ا.خ.م يتكوّن من دالة الخسارة مثل المربعات الصغرى المألوفة (م.ص.م) بالإضافة لحدّ التنظيم المُغرَّم، م.ص.م بالكاد يكون نافعا في تفسير البيانات الحقيقية، معدل خطأ المربعات (م.خ.م) - الذي يتكوّن من مجموع خطأ التباين وخطأ الانحياز المربع – من الممكن أن يكون عاليا لـ (م.ص.م) بالرغم من عدم وجود خطأ الانحياز المربع، الانحدار الخطي المُغرَّم مثل انحدار القمة (رِدْج)، وحبل الصيد (لاسو)، والشبكة المرنة (إلاستك نت) تضيف خطأ الانحياز المربع والتي ربما تقلل خطأ التباين، وبذلك، تقلل محصلة (م.خ.م)، بعض طرق ا.خ.م التي فيها حد تنظيم غرامة-ل1 مثل حبل الصيد والشبكة المرنة تستطيع أن تعطي حلا متناثرا، في التعلم الإحصائي؛ التناثر مهم من نواحي التفسير وكذلك اختيار المزايا المؤثرة فقط في نموذج الانحدار، في هذه الرسالة؛ ستُقدّم طريقة جديدة تسمى الشبكة المرنة ذات الشكل الثابت، تتجاوز قيود الشبكة المرنة المألوفة باستغلال جميع أمزجة معيار-ل1 ومعيار-ل2، أيضا؛ ستُقدّم أسرة جديدة من حدود التنظيم تُسمى المعايير الأسّية الطبيعية (إكسبونّنْشَل نورمز)، بشكل خاص، سوف تُجرى دراسة موسعة لمعيار الأس الطبيعي-ل1 وتطبيقه في ا.خ.م، خوارزم التناقص الإحداثي سيصمم لحل للشبكة المرنة ذات الشكل الثابت ومعيار الأس الطبيعي-ل1، أمثلة ودراسات محاكاة ستُقدم لتسلط الضوء على أداء الطريقتين الجديدتين. الكلمات المفتاحية: الانحدار الخطي المُغرَّم، تنظيم، اختيار المتغيرات، المربعات الصغرى المألوفة، التعلم الإحصائي، التناثر، انحدار القمة، حبل الصيد، الشبكة المرنة، الشبكة المرنة ذات الشكل الثابت، معيار الأس الطبيعي.

English Abstract

The Penalized Linear Regression (PLR) is one of the tools that provide regularization and variable selection for the coefficient estimates of regression model. The PLR usually consists of the loss function, such as the Ordinary Least Squares (OLS), plus the penalized regularization term. The OLS method is hardly useful in real data interpretation. The Mean Square Error (MSE), which consists of the sum of variance error and bias-squared error, can be high for OLS, even though there is no bias-squared error. The PLR, such as the ridge regression, the lasso, and the elastic net, adds a bias-squared error, which may reduce the variance error, thereby, reducing the total less MSE. Some methods of the PLR that have L1-penalty regularization term, such as the lasso and the elastic net, can give a sparse solution. In statistical learning, sparsity is critical in terms of interpretation as well as selection of the effective features in the regression model. In this thesis, a novel method called as the fixed-shape elastic net will be introduced. It supersedes the limitations of the ordinary elastic net by exploiting all the combinations of the L1-norm and L2-norm. Moreover, in this thesis, another novel family of the regularization terms will be introduced called as the exponential norms. Specifically, an extensive study will be conducted on the L1-exponential norm, and its applicability in the PLR. The coordinate descent algorithm will be designed to solve for the fixed-shape elastic net and the L1-exponential norm. Numerical examples and simulation studies will be presented to highlight the performance of the novel methods. Keywords: Penalized linear regression; Regularization; Variable selection; Ordinary least squares; Statistical learning; Sparsity; Ridge regression; Lasso; Elastic net; Fixed-shape elastic net; Exponential norm.

Item Type:	Thesis (Masters)
Subjects:	Systems Engineering
Department:	College of Computing and Mathematics > lndustrial and Systems Engineering
Committee Advisor:	Syed, Mujahid
Committee Members:	Al-Fares, Hesham and Selim, Shokri
Depositing User:	ABDULRAHMA KHAN (g200790730)
Date Deposited:	12 Dec 2017 11:47
Last Modified:	31 Dec 2020 08:57
URI:	http://eprints.kfupm.edu.sa/id/eprint/140535