ARABIC SIGN LANGUAGE MACHINE TRANSLATION. PhD thesis, King Fahd University of Petroleum and Minerals.

Preview

PDF phd_thesis_Final.pdf Download (5MB) | Preview

Arabic Abstract

لغة الإشارة العربية هي لغة طبيعية يستخدمها الصم في الدول العربية للتواصل فيما بينهم ومع مجتمعاتهم. يزيد عدم الالمام بهذه اللغة من عزلة الصم في المجتمع. تختلف لغة الإشارة العربية عن اللغة العربية في التركيب وترتيب الكلمات وكذلك في معجم الكلمات المستخدمة. تعتبر الترجمة بين اللغة العربية ولغة الإشارة العربية ترجمة كاملة في مجال الترجمة الآلية كون اللغتان مختلفتان تركيباً ونحوياً. ولمعالجة هذه المشكلة، قمنا في هذا العمل باستخدام قواعد الترجمة لتطوير نظام ترجمة آلي بين اللغة العربية ولغة الإشارة العربية وبالعكس. يقوم النظام المقترح بإجراء تحليل شكلي ونحوي ودلالي على الجمل العربية لترجمتها إلى لغة الاشارة مع مراعاة قواعد وتركيب لغة الإشارة العربية اثناء الترجمة. بالإضافة الى ذلك قمنا بتطوير نظام ترجمة آلي لترجمة جمل لغة الإشارة العربية الى اللغة العربية. يستهدف هذا النظام مخرجات انظمة التعرف الالي على لغة الإشارة العربية والتي تكون في الغالب عبارة عن سلسة من الكلمات العربية الغير مترابطة والتي تمثل جملة لغة الإشارة التي تم العرف عليها. يقوم هذا النظام بترجمة الجملة المدخلة على ثلاث مراحل: الكلمة والعبارة والجملة. كذلك قمنا بتطوير نظام كتابي لوصف لغة الإشارة العربية. نستطيع من خلال هذا النظام توصيف إشارات لغة الإشارة العربية كتابياً والذي سيساعد في استخدام لغة الإشارة العربية بشكل أوسع في المواد التعليمية وتوليد الإشارات ... الخ. كما قمنا بتطوير مكنز ثنائي اللغة يتكون من 600 جملة. تم تجميع جمل هذا المكنز في مجال الصحة. هذا وقم تم ترجمة كل جملة من اللغة العربية الى لغة الإشارة بواسطة خبيران في لغة الإشارة العربية. وقد قمنا بتقسيم هذا المكنز الى قسم للتدريب (70%) وآخر للتحقق (15%) وثالث للاختبار (15%). كما قمنا بتطوير قاعدة البيانات (KArSL) للغة الإشارة العربية والتي تتألف من 502 إشارة تم تسجيلها باستخدام جهاز Microsoft Kinect V2 متعدد الوسائط. هذا وقد قام بتسجيل قاعدة البيانات هذه أربعة اشخاص وقد قام كل شخص بتكرار كل اشارة 50 مرة والذي نتج عنه 100,200 عينة. سيتم اتاحة قاعدة البيانات هذه بالإضافة الى المكنز الثنائي التي تم تطويرهما في هذا العمل للباحثين مجاناً. ولتقييم أنظمة الترجمة الالية المقترحة قمنا باستخدام المكنز ثنائي اللغة المطور في هذا العمل وحصلنا على ترجمة دقيقة بين اللغة العربية ولغة الإشارة والعكس لأكثر من 80% من الجمل المدخلة.

English Abstract

Arabic sign language (ArSL) is a full natural language that is used by the deaf in Arabian countries to communicate with their communities. Unfamiliarity with this language increases the isolation of deaf people from society. This language has a different structure, word order, and lexicon than Arabic. The translation between ArSL and Arabic is a complete machine translation problem because the two languages have different structures and grammars. In this work, we propose a rule-based machine translation system to translate between Arabic and ArSL. We propose a machine translation system to translate the ArSL sentences resulting from ArSL recognition systems into meaningful Arabic sentences. The proposed system performs the translation at the word, phrase, and sentence levels. In addition, we propose a machine translation system to translate the Arabic sentences into ArSL. The proposed system performs morphological, syntactic, and semantic analysis on the Arabic sentences to translate them into sentences with the grammar and structure of ArSL. We also propose gloss annotation system to transcribe ArSL. The proposed system represents ArSL signs textually and it helps in using the ArSL in educational material and signs generation. In addition, we present a bilingual corpus consisting of 600 sentences developed in this work. The corpus contains sentences from health domain and each Arabic sentence is translated into ArSL by two ArSL experts. This corpus is divided into training (70%), validation (15%), and testing (15%). We also present a KArSL database which consists of 502 signs recorded using the state-of-art multi-modal Microsoft Kinect V2. The databases' signs are performed by four signers and each sign is repeated 50 times by each signer which resulted in 100,200 samples. The databases developed in this work will be freely available for researchers We evaluated our translation systems using the bilingual parallel corpus developed in this work and we found that our translation systems provide an accurate translation for more than 80% of the ArSL sentences translated into Arabic and 82% of the Arabic sentences translated into ArSL.

Item Type:	Thesis (PhD)
Subjects:	Computer
Department:	College of Computing and Mathematics > Information and Computer Science
Committee Advisor:	Mahmoud, Sabri
Committee Members:	Habash, Nizar and Mohandes, Mohamed and Sheltami, Tarek and Abu Amara, Marwan
Depositing User:	LUQMAN HAM ABDULLAH HAMOOD (g201002600)
Date Deposited:	30 Aug 2018 05:47
Last Modified:	31 Dec 2020 08:04
URI:	http://eprints.kfupm.edu.sa/id/eprint/140761