Alomari, Najat (2026) Spatiotemporal and Spectral Characterization of Eeg-Based Speech in Overt and Covert Conditions. Masters thesis, King Fahd University of Petroleum and Minerals.

PDF Thesis_full_202317850.pdf Restricted to Repository staff only until 28 June 2027. Download (57MB)

Arabic Abstract

تهدف واجهات الدماغ والحاسوب غير الغازية المعتمدة على الكلام إلى فك ترميز النوايا المرتبطة بالكلام من إشارات تخطيط كهربية الدماغ EEG، إلا أن إشارات الكلام المتخيل والصامت تبقى ضعيفة ومتغيرة بين المشاركين وصعبة التفسير. تبحث هذه الأطروحة في إمكانية فك ترميز سبع كلمات أوامر عربية، وهي: فوق، تحت، يمين، يسار، اختر، نعم، لا، عبر أربع حالات تجريبية: التخطيط قبل النطق الجهري، والتخطيط الصامت، والقراءة الجهرية، والقراءة الصامتة. تم تسجيل إشارات EEG من 13 مشاركاً باستخدام نظام BioSemi ذي 128 قناة. ولتحليل البيانات، استُخدم نهجان متكاملان: تحليل الأنماط متعددة المتغيرات على مستوى القنوات channel-level MVPA، الذي يعامل كل قناة من القنوات الـ 128 كميزة مستقلة باستخدام استجابات ERP والميزات الترددية، ونموذج EEGNet لتقييم أداء التصنيف بالتعلم العميق في حالتي القراءة والتخطيط الجهريتين. أظهرت النتائج تدرجاً واضحاً في قابلية فك الترميز حسب الحالة؛ إذ حققت القراءة الجهرية أقوى أداء، مع دلالة إحصائية في جميع المشاركين، تلاها التخطيط قبل النطق الجهري بدلالة في 10 من 13 من المشاركين، بينما كانت النتائج أضعف في التخطيط الصامت والقراءة الصامتة بدلالة في 7 من 13 و 3 من 13 من المشاركين على التوالي. كما حقق EEGNet متوسط دقة قدره 50.7% في القراءة الجهرية و 29.8% في التخطيط قبل النطق الجهري، مقارنة بمستوى الصدفة 14.3%. وارتبط أداء EEGNet إيجابياً بقابلية الفصل على مستوى القنوات، حيث بلغ معامل الارتباط بين ذروة ERP على مستوى القنوات ودقة EEGNet هو r = 0.76 في القراءة الجهرية، كما بلغ الارتباط بين أفضل دقة في نطاق التردد ودقة EEGNet هو r = 0.63 في التخطيط قبل النطق الجهري بعد مطابقة كلا التحليلين على النافذة الزمنية نفسها. تشير هذه النتائج إلى أن إشارات EEG المرتبطة بأوامر الكلام العربية تحتوي على معلومات قابلة لفك الترميز، وأن الأداء يعتمد على نوع المهمة، والمحاذاة الزمنية، والاختلافات الفردية بين المشاركين. كما تدعم النتائج استخدام تحليل الأنماط متعددة المتغيرات على مستوى القنوات كأداة قابلة للتفسير ومكملة لنماذج التعلم العميق في فك ترميز إشارات EEG المرتبطة بالكلام.

English Abstract

Non-invasive speech-based brain-computer interfaces aim to decode speech-related intentions from scalp electroencephalography (EEG), but imagined and covert speech signals remain weak, variable across participants, and difficult to interpret. This thesis investigates seven Arabic command words -- Up, Down, Right, Left, Select, Yes, and No -- across four conditions: overt planning, covert planning, overt reading, and covert reading. EEG was recorded from 13 participants using a 128-channel BioSemi system. Two complementary approaches were used: a channel-level multivariate pattern analysis (MVPA) that decoded all 128 channels as independent features using ERP and frequency-domain representations, and EEGNet, which was applied to the two overt conditions to assess deep-learning classification performance. The channel-level MVPA results showed a clear condition-dependent decoding gradient. Overt reading produced the strongest and most reliable separability, with significant ERP decoding in all participants. Overt planning was weaker but still reliable, reaching significance in 10/13 participants. Covert planning and covert reading produced weaker effects, reaching significant ERP decoding in 7/13 and 3/13 participants, respectively. EEGNet performance followed the same pattern, with mean seven-class accuracies of 50.7% for overt reading and 29.8% for overt planning, compared with a chance level of approximately 14.3%. EEGNet accuracy was positively related to channel-level separability: in overt reading the per-subject channel-ERP peak correlated with EEGNet accuracy at r = 0.76, and in overt planning the channel-level best-frequency-band accuracy correlated with EEGNet at r = 0.63 once both analyses were matched to the same input window. Overall, the findings show that Arabic speech-command EEG contains decodable class information, but performance depends strongly on task condition, temporal alignment, and participant-specific signal structure. The results support channel-level MVPA as an interpretable complement to deep learning for speech-related EEG decoding.

Item Type:	Thesis (Masters)
Subjects:	Engineering Electrical
Department:	College of Engineering and Physics > Electrical Engineering
Thesis Advisor:	Abdullah Alothman,
Thesis Co-Advisor:	Azzedine Zerguine,
Thesis Committee Members:	Naveed Iqbal,
Depositing User:	NAJAT ALOMARI
Date Deposited:	29 Jun 2026 07:33
Last Modified:	30 Jun 2026 08:56
URI:	https://eprints.kfupm.edu.sa/id/eprint/144629