Arabic Sign Language Recognition. PhD thesis, King Fahd University of Petroleum and Minerals.

Preview

PDF ArSLR_dissert_Ala_cD.pdf - Published Version Download (4MB) | Preview

Arabic Abstract

ABSTRACT ARABIC المستخلص درجة الدكتوراه في الفلسفة الاسم علاء الدين اسماعيل صديق صبر عنوان الرسالة التعرف الآلي على لغة الإشارة العربية التخصص علوم و هندسة الحاسوب تأريخ التخرج نوفمبر 2017 لغة الاشارة هي الوسيلة الرئيسية للتخاطب بين الصم و ضعيفي السمع . تستخدم فيها لغة الجسد مثل اشاراة الأيدي، حركة الشفاه، و تغيير تعابير الوجه. لغة الإشارة ليست موحدة عالميا بًل تختلف من بقعة لأخرى. لغة الإشارة العربية الموحدة تستخدم في جميع الدول العربية. التعرف الآلي على لغة الإشارة يعمل على ترجمة الإشارات الى شكل من أشكال اللغة المنطوقة كالكتابة مثلا.ً إحدى الصعاب التي تواجه الباحثين في مجال التعرف الآلي على لغة الإشارة العربية هي عدم توفر فاعدة بيانات كافية لتصميم مترجمات آلية يمكن الإعتماد عليها. هذة الرسالة تقدم قاعدة بيانات تحتوي على خمسمائة إشارة تشمل الأرفام، الحروف الهجائية، وكلمات من مختلف المجالات كالصحة و الدين و الأفعال اليومية و غيرها. تم تسجيل هذة الإشارات بواسطة أربعة أشخاصكل منهم قد كرر كل إشارة خمسين مرة على جلسات مختلفة. تم تسجيل الإشارات باستخدام كاميرا متفدمة متعددة الوسائط من إنتاج شركة مايكروسفت تسمى الكينكت. قاعدة البيانات هذه ستكون متوفرة مجانا لًلباحثين في مجال التعرف الآلي على لغة الإشارة العربية. هذة الرسالة تقدم طرقا مًتنوعة لًلتعرف الآلي على لغة الإشارة العربية باستخدام قاعدة البيانات آنفة الذكر. النمازج المقترحة تشمل المراحل المختلفة لبناء نظام للتعرف الآلي على لغة الإشارة. فتشمل تقطيع الفديو الى صور مفتاحية تختصر الفديو في عدد قليل من الصور، معالجة مسارارت حركة الأيدي عند الإشارة، و تقنيات لإستخراج مميزات للإشارات عن بعضها. الدقة العالية لهذه الأنظمة تعكس مناسبتها للتعرف على هذا العدد الكبير من الإشارات العربية.

English Abstract

THESIS ABSTRACT NAME: Ala addin Ismaeil Sidig TITLE OF STUDY: Arabic Sign Language Recognition MAJOR FIELD: Computer science and engineering DATE OF DEGREE: Dec 2017 Sign language is the major mean of communication for the deaf community. It uses body language and gestures such as hand shapes, lip patterns, and facial expressions to convey a message. Sign language is geographically specific as it differs from country to another. Arabic Sign language is used in all Arab countries. A sign language recognition system acts as a translator of these gestures into a form of spoken language such as text. The availability of a comprehensive benchmarking database for Arabic sign language is one of the challenges of the automatic recognition and translation to a spoken language. This thesis introduces KArSL database for Arabic sign language consisting of 500 signs of numbers, letters, and words related to different domains such as health, religion, and common verbs. Signs in KArSL database xvi are performed by four professional signers and each sign is repeated fifty times by each signer. The database is recorded using state-of-art multi-modal Microsoft Kinect V2. This database will be made freely available for interested researchers. This thesis also propose different approaches for sign language recognition using this database and other databases. The proposed systems cover the stages of sign language recognition pipeline. Including segmentation of video into still key frames, hands trajectory processing, features representation techniques. Recognition accuracies of these systems indicate their suitability for such a large number of Arabic signs.

Item Type:	Thesis (PhD)
Subjects:	Computer
Department:	College of Computing and Mathematics > Computer Engineering
Committee Advisor:	Mahmoud, Sabri
Committee Members:	Marwan, Abu-Amara and Mohamed, Mohandes and Shokri, Selim and Tarek, Sheltami
Depositing User:	ALA ADDIN SIDIG (g201207600)
Date Deposited:	18 Oct 2018 12:34
Last Modified:	30 Dec 2020 13:31
URI:	http://eprints.kfupm.edu.sa/id/eprint/140704