MISPRONUNCIATION DETECTION AND DIAGNOSIS FOR ARABIC LEARNERS THROUGH FINE-TUNING OF SELF-SUPERVISED LEARNING MODELS. Masters thesis, King Fahd University of Petroleum and Minerals.

PDF (Masters Thesis) MISPRONUNCIATION DETECTION AND DIAGNOSIS FOR ARABIC LEARNERS THROUGH FINE-TUNING OF SELF-SUPERVISED LEARNING MODELS (Reupload).pdf - Accepted Version Restricted to Repository staff only until 8 January 2026. Download (16MB)

Arabic Abstract

تحسين مهارات القراءة لطلاب المرحلة الابتدائية أمر بالغ الأهمية لنموهم الأكاديمي وقدراتهم على التواصل. تعد دقة النطق عاملاً رئيسياً في إتقان القراءة، لا سيما في اللغة العربية، حيث يمكن أن تؤدي التغييرات الطفيفة في التشكيل إلى تغيير كبير في المعنى. على الرغم من التقدم المحرز في أنظمة كشف وتشخيص الأخطاء في النطق (MDD) في لغات أخرى، لا تزال الجهود المبذولة لتطوير أنظمة للغة العربية محدودة. وعليه، يستكشف هذا العمل تطوير وتطبيق نظام (MDD) مخصص لمتعلمي اللغة العربية، مع التركيز بشكل خاص على طلاب المرحلة الابتدائية. على وجه الخصوص، يمكن لمعلمي اللغة العربية في المدارس الابتدائية الاستفادة من أنظمة التدريب بمساعدة الحاسوب على النطق (CAPT) لتعزيز قدراتهم في تقييم إتقان اللغة لدى المتعلمين الصغار، مما يؤدي إلى تحسين التجربة التعليمية بشكل عام. يعتمد النظام المقترح على الضبط الدقيق لنماذج التعلُّم ذاتي الإشراف، لتحسين اكتشاف أخطاء النطق على مستوى الفونيمات في اللغة العربية الفصحى المعاصرة. باستخدام مجموعة بيانات مخصصة ومبنية ذاتيًا مكونة من حوالي ساعة واحدة من تسجيلات كلام المتعلمين العرب والتي تحتوي على نطق لنصوص عربية، يتم تنفيذ عمليات جمع البيانات وتطبيع النصوص واستخراج ومحاذاة تسلسلات الفونيمات، وذلك بالاسترشاد بالقواعد اللغوية العربية. يهدف النظام إلى اكتشاف وتشخيص أخطاء النطق تلقائيًا، مما يوضح فعالية دمج التعلم بالنقل (Transfer-Learning) في أدوات تعلم اللغة لمواجهة التحديات الناجمة عن قلة الموارد في اللغة العربية وتعقيد بنيتها الصوتية. أظهرت النتائج التجريبية أن النظام حقق نسبة F1 بلغت %٧١،٤٢ مما يبرز التحسينات الكبيرة في التعرف على الفونيمات وتقارب دقة اكتشاف الأخطاء في النطق مع دقة خبراء اللغة. يهدف هذا النظام إلى دعم المعلمين ومتعلمي اللغة العربية من خلال أتمتة عملية التقييم، مما يمكّنهم من توفير تغذية راجعة متسقة وقابلة للتطوير للمتعلمين الصغار، ويسهم في نهاية المطاف في تعزيز دقة النطق ومهارات القراءة لديهم.

English Abstract

Improving the reading skills of primary school students is essential for their academic growth and communication abilities. Pronunciation accuracy is a key factor in mastering reading, especially in Arabic, where small changes in diacritics can significantly change the meaning. Despite progress in Mispronunciation Detection and Diagnosis (MDD) systems for other languages, efforts for Arabic MDD remain limited. This work explores the development and application of an MDD system for Arabic language learners, specifically focusing on primary school students in Saudi Arabia, where Arabic teachers and learners can benefit from utilizing Computer-Assisted Pronunciation Training (CAPT) systems to enhance their capabilities in assessing the language mastery and thereby improving the educational experience. The proposed system leverages fine-tuning advanced pre-trained self-supervised learning (SSL) models to enhance the detection of phoneme-level pronunciation errors in Modern Standard Arabic (MSA). Using an in-house custom-made dataset of around 1 hour of Arabic learners’ speech, the system applies data collection, text normalization, and phoneme sequence alignment guided by Arabic linguistic rules. It is designed to automatically detect and diagnose mispronunciations, demonstrating the effectiveness of integrating transfer learning into language learning tools to address the challenges posed by Arabic’s low-resource nature and complex phonetic structure. Results showed an F1-score of 71.42%, highlighting significant improvements in phoneme recognition and the convergence of mispronunciation detection to that of human experts. This system aims to support teachers and learners of Arabic by automating the assessment process, enabling the establishment of consistent and scalable feedback for young learners, and enhancing their pronunciation accuracy and reading skills.

Item Type:	Thesis (Masters)
Subjects:	Computer Systems Islam and Arabic
Department:	College of Computing and Mathematics > Information and Computer Science
Committee Advisor:	Al-Khatib, Wasfi G.
Committee Members:	Ahmed, Moataz Aly and Ahmad, Irfan
Depositing User:	TAHA FANOUSH (g202114690)
Date Deposited:	09 Jan 2025 11:48
Last Modified:	09 Jan 2025 11:48
URI:	http://eprints.kfupm.edu.sa/id/eprint/143237

Available Versions of this Item

• MISPRONUNCIATION DETECTION AND DIAGNOSIS FOR ARABIC LEARNERS THROUGH FINE-TUNING OF SELF-SUPERVISED LEARNING MODELS. (deposited 08 Jan 2025 10:26)
  • MISPRONUNCIATION DETECTION AND DIAGNOSIS FOR ARABIC LEARNERS THROUGH FINE-TUNING OF SELF-SUPERVISED LEARNING MODELS. (deposited 09 Jan 2025 11:48) [Currently Displayed]