ADVANCING ROBUST REGRESSION WITH A HYBRID M-ESTIMATOR FOR IMPROVED OUTLIER HANDLING. Masters thesis, King Fahd University of Petroleum and Minerals.

PDF STAT 610 KHAMISI LUBATTILLAH.pdf Restricted to Repository staff only until 25 May 2026. Download (2MB)

Arabic Abstract

تتناول هذه الدراسة قيود تقدير المربعات الصغرى (LSE) في ظل وجود قيم متطرفة، وذلك باقتراح إطار انحدار متين يجمع بين متانة مقدر هوبر M وكفاءة مقدر توكي بيسكوير. غالبًا ما تُنتج طرق تقدير المربعات الصغرى التقليدية تقديرات متحيزة وغير فعالة للمعلمات عند تلوث البيانات، وهي مشكلة شائعة في النمذجة الواقعية. تُقدم الطريقة المقترحة ثابتي ضبط، k₁ وk₂، يُحددان دالة تأثير شبه منحرف بثلاث مناطق متبقية: مرجحة بالكامل للقيم المتطرفة الصغيرة، ومتضائلة الأوزان للقيم المتطرفة المتوسطة، ورفض كامل للقيم المتطرفة المتطرفة. يُعزز هذا التصميم القدرة على التكيف مع القيم المتطرفة الصغيرة والكبيرة. يتم تحقيق تحسين المقدر من خلال خوارزمية L-BFGS-B ثنائية المرحلتين والموجهة بالتحقق المتبادل التكيفي، مما يقلل من خطأ متوسط التربيع المتحقق المتبادل (CV-MSE) ويحسن دقة التقدير وقابليته للتعميم. تم استخدام محاكاة مونت كارلو في ظل مستويات تلوث متفاوتة لتقييم أداء المقدرين من حيث المتوسط، ومربع التحيز، وMSE، والخطأ المعياري، والكفاءة النسبية التقريبية (ARE). بالمقارنة مع مقدرات LSE و Huber و Bisquare في كل من الانحدار الخطي البسيط والمتعدد، تفوق المقدر المقترح باستمرار على LSE و Huber مع مطابقة كفاءة Bisquare. توسع الدراسة التطبيق ليشمل مراقبة المعالم الخطية للمرحلة الأولى باستخدام مقدرين فعّالين لمعلمات مثل القاطع، والميل، وتباين الخطأ. تُظهر محاكاة مخططات التحكم أن مخططات EWMA القائمة على Huber تحافظ على قيم أكثر استقرارًا للتحكم (IC) في ظل التلوث، بينما يعمل LSE بشكل أفضل في الظروف المثالية. وخلصت الدراسة إلى أن مقدر M الهجين يمكن أن يكون بمثابة أداة إحصائية قيمة للباحثين والممارسين في مجالات مثل الهندسة والتصنيع والرعاية الصحية والعلوم البيئية، حيث تكون جودة البيانات ودقة النمذجة أمرًا بالغ الأهمية.

English Abstract

This study addresses the limitations of least squares estimation (LSE) in the presence of outliers by proposing a robust regression framework that merges the robustness of Huber’s M-estimator with the efficiency of Tukey’s Bisquare estimator. Conventional LSE methods often yield biased and inefficient parameter estimates when data is contaminated, a common issue in real-world modeling. The proposed method introduces two tuning constants, k_1 and k_2, which define a trapezoidal influence function with three residual regions: fully weighted for small residuals, decaying weights for moderate residuals, and full rejection of extreme outliers. This design enhances adaptability to both mild and severe outliers. Optimization of the estimator is achieved through a Two-Stage L-BFGS-B algorithm guided by adaptive cross-validation, minimizing the cross-validated mean squared error (CV-MSE) and improving estimation precision and generalizability. Monte Carlo simulations under varying contamination levels were used to evaluate the performance of the estimators in terms of mean, bias squared, MSE, standard error, and asymptotic relative efficiency (ARE). Compared with LSE, Huber, and Bisquare estimators in both simple and multiple linear regression, the proposed estimator consistently outperformed LSE and Huber while matching the efficiency of Bisquare. The study extends the application to Phase I linear profile monitoring using robust estimators for parameters such as intercept, slope, and error variance. Control chart simulations show Huber-based EWMA charts maintain more stable in-control (IC) values under contamination, while LSE performs better in ideal conditions. The study concludes that the hybrid M-estimator can serve as a valuable statistical tool for researchers and practitioners in fields such as engineering, manufacturing, healthcare, and environmental science, where data quality and modeling precision are crucial.

Item Type:	Thesis (Masters)
Subjects:	Math
Department:	College of Computing and Mathematics > Mathematics
Committee Advisor:	Abbas, Nasir
Committee Members:	Omar, M. Hafidz and Sawlan, Zaid
Depositing User:	KHAMISI LUBATTILLAH (g202214780)
Date Deposited:	26 May 2025 05:02
Last Modified:	26 May 2025 05:02
URI:	http://eprints.kfupm.edu.sa/id/eprint/143459