A New Approach to Arabic Sign Language Recognition System. Masters thesis, King Fahd University of Petroleum and Minerals.

Preview

PDF A_New_Approach_To_Arabic_Sign_Language_Recognition_System_by_Salihu_Oladimeji_Aliyu.pdf - Submitted Version Download (10MB) | Preview

Arabic Abstract

لغة الإشارة هي مهمة لتسهيل التواصل بين ضعاف السمع وبقية أفراد المجتمع. ولكن قليل من الناس من يعرف لغة الإشارة. ولذلك، هناك حاجة إلى تطوير أنظمة للترجمة بين اللغة المنطوقة ولغة الإشارة تلقائيا. لم تشهد لغة الإشارة العربية (ArSL) اهتماما في الابحاث كغيرها من لغات الإشارة الاخرى. وقد جرت العادة على استخدام نهجين مختلفين للترجمة: النظم المستندة إلى تحليل الصور والنظم القائمة على القفازات الالكترونية. النظم التي تعتمد على القفازات تتطلب من المستخدم ارتداء أداة الإلكترونية أثناء تنفيذ الاشارات. تتضمن القفازات عدد من الحساسات الدقيقة للكشف عن حركة مختلف مفاصل اليد والأصابع. النظم القائمة على تحليل الصور تستخدم كاميرات للحصول على سلسلة من الصور لمنفذ الاشارات. كل من النهجين له سلبياته الخاصة. طريقة القفاز تجبر المستخدم على ارتداء أداة مرهقة مما يجعل الحركة غير طبيعية بينما نظام الكاميرات يتطلب خلفية وظروف بيئية محددة لتحقيق درجة عالية من الدقة. في هذه الأطروحة، نقترح نهجا جديدا لنظام التعرف على لغة الاشارات العربية يستخدم جهاز تحكم تم تطويره مؤخرا يدعى Leap Motion Controller (LMC). وقد تم جمع بيانات مائة مفردة من اشخاص صم ممن لديهم خبرة بلغة الاشارة العربية. وقد تم جمع عشرة نماذج مختلفة من كل مفردة سبعة نماذج استخدمت لتطوير النظام والثلاثة الباقية للتقييم. وفي نماذج التقييم تم التوصل إلى دقة تعرف بحدود 80.60٪ باستخدام Gaussian Mixture Model (GMM).

English Abstract

Sign language is important for facilitating communication between hearing impaired and the rest of the society. However, very few vocal people know sign language. Therefore, there is a need to develop systems to translate between spoken and sign languages automatically. The Arabic Sign Language (ArSL) has not witnessed research attention as other international sign languages. Two approaches have traditionally been used in the literature: image-based and glove-based systems. Glove-based systems require the user to wear electronic instrument while performing the signs. The glove includes a number of sensors detecting different hand and finger articulations. Image-based systems use camera(s) to acquire a sequence of images of the signer. Each of the two approaches has its own disadvantages. The glove-based method is not natural as the user must wear a cumbersome instrument while the camera-based system requires specific background and environmental conditions to achieve high accuracy. In this thesis, we propose a new approach for ArSL recognition system which involves the use of the recently introduced device: Leap Motion Controller (LMC). Data was collected by using a native adult signer, for 100 isolated Arabic sign language words. Ten observations were collected for each of the signs to give a total of 1000 observations. On this data set, 70% was used for training and the rest for testing. A maximum recognition accuracy of 80.60% was achieved, on the test set, using a Gaussian Mixture Model (GMM) based classifier.

Item Type:	Thesis (Masters)
Subjects:	Engineering Electrical
Department:	College of Engineering and Physics > Electrical Engineering
Committee Advisor:	Mohandes, Mohamed
Committee Members:	Azzedine, Zerguine and Ali, Al-Shaikhi and Adil, Balghonaim
Depositing User:	SALIHU OLADIMEJI ALIYU (g201303230)
Date Deposited:	07 Jun 2015 05:57
Last Modified:	01 Nov 2019 15:46
URI:	http://eprints.kfupm.edu.sa/id/eprint/139592