Almarri, Dimah (2026) Using Rag for Enhancing Legal Information Accessibility in the Saudi Labor Law Context. Masters thesis, King Fahd University of Petroleum and Minerals.

PDF THE FINAL MSBS-MIS Thesis - 202301230 - Dimah Almarri.pdf Restricted to Repository staff only until 28 July 2027. Download (2MB)

Arabic Abstract

يمثل الوصول إلى المعلومات القانونية وفهمها تحدياً مستمراً في مجال نظام العمل السعودي نتيجة الغموض التشريعي، وتشتت المصادر القانونية، وتفاوت مستويات الثقافة القانونية لدى المستخدمين. تهدف هذه الدراسة إلى استكشاف مدى قدرة التوليد المعزز بالاسترجاع (Retrieval-Augmented Generation – RAG) على تحسين إمكانية الوصول إلى نظام العمل السعودي وتفسيره من خلال مقارنة نظامين للمساعدة القانونية المعتمدة على الاسترجاع والتوليد والمبنية على مصادر قانونية موثوقة: إطار ReAct القائم على الاستدلال الموجه بالأدوات، ومسار HyDE القائم على التوسيع الافتراضي للاستعلامات. واعتمدت الدراسة منهجية مختلطة استكشافية متتابعة تجمع بين التحليل النوعي والتقييم الكمي. تضمنت المرحلة النوعية إجراء مقابلات شبه مهيكلة مع 11مشاركاً من المختصين القانونيين والموارد البشرية بهدف تحديد التحديات المرتبطة بتفسير النظام، والوصول إلى المعلومات القانونية، وتوقعات المستخدمين تجاه أدوات المساعدة القانونية المدعومة بالذكاء الاصطناعي. وقد استُخدمت نتائج هذه المقابلات لتوجيه تصميم النظامين وآلية تقييمهما. واعتمد التنفيذ التقني على مجموعة نصوص قانونية موحدة تضم نظام العمل السعودي، واللائحة التنفيذية، والملاحق التنظيمية، وغيرها من المصادر القانونية ذات الصلة. وقد استخدم النظامان مجموعة البيانات القانونية نفسها، وفهرس FAISS وفهرس BM25 ووظيفة الاسترجاع الهجين نفسها، مع اختلافهما في صياغة الاستعلامات وآليات الاسترجاع والاستدلال وتوليد الإجابات. وشمل التقييم الكمي مجموعة اختبار مكونة من 50 سؤالاً قانونياً باللغة العربية تغطي موضوعات رئيسية في نظام العمل السعودي. وتم استخدام إطار DeepEval لقياس مؤشرات الصحة القانونية (Correctness) والالتزام بالمصادر (Faithfulness) والملاءمة السياقية (Contextual Relevancy) كما أُجري تقييم بشري بمشاركة 5 مقيمين من ذوي الخلفية القانونية والموارد البشرية لتقييم الإجابات وفق معايير الصحة القانونية والالتزام بالمصادر والملاءمة السياقية والوضوح باستخدام مقياس ليكرت الخماسي. أظهرت النتائج أن إطار ReAct حقق أداءً أفضل في الصحة القانونية للإجابات، في حين ظل مسار HyDE منافساً بدرجة كبيرة وحقق نتائج أعلى بصورة طفيفة في مؤشري الالتزام بالمصادر والملاءمة السياقية ضمن التقييم الآلي. كما أظهرت نتائج التقييم البشري تفضيلاً وصفياً محدوداً لصالح ReAct مع بقاء الفروق بين النظامين صغيرة نسبياً. وكشفت النتائج النوعية عن تحديات متكررة تتعلق بالغموض التشريعي، وتشتت المصادر القانونية، والارتباك الإجرائي، وضعف الثقافة القانونية، مع التأكيد على أهمية الشفافية، والاعتماد على المصادر الموثوقة، والإشراف البشري. وتخلص الدراسة إلى أن المساعدات القانونية المعتمدة على التوليد المعزز بالاسترجاع والمستندة إلى مصادر قانونية موثوقة يمكن أن تسهم في تحسين الوصول إلى المعلومات القانونية وتعزيز الوعي القانوني عند استخدامها كأدوات دعم للقرار. كما تشير النتائج إلى أن الاستدلال المنظم قد يعزز الصحة القانونية للإجابات، في حين يمكن أن يسهم التوسيع الافتراضي للاستعلامات في تحسين الاسترجاع الدلالي في بعض الحالات. وتؤكد الدراسة أن تطوير أنظمة الذكاء الاصطناعي القانونية الفعالة يتطلب تحقيق توازن بين جودة الاسترجاع والشفافية والخبرة القانونية البشرية.

English Abstract

Access to legal information remains a persistent challenge within the Saudi Labor Law do-main due to statutory ambiguity, fragmented legal sources, and varying levels of legal liter-acy. This study investigates whether Retrieval-Augmented Generation (RAG) can improve the accessibility and interpretability of Saudi Labor Law by comparing two source-grounded RAG-based legal assistant configurations: a ReAct framework-based system and a HyDE pipeline-based system. The study adopts an exploratory sequential mixed-methods design combining qualitative and quantitative evaluation. The qualitative phase involved semi-structured interviews with 11 legal and human-resource professionals to identify challenges in legal interpretation, information access, and expectations for AI-assisted legal support. Insights from these interviews informed the de-sign and evaluation of both systems. The technical implementation utilized a unified legal corpus comprising the Saudi Labor Law, Executive Regulations, annexes, and related legal materials. Both systems shared the same corpus, FAISS index, BM25 index, and hybrid retrieval function, while differing in query formulation, retrieval orchestration, reasoning strategy, and answer generation. The quantitative evaluation employed a 50-question Arabic legal question-answering benchmark covering key labor-law topics. Automated assessment using DeepEval meas-ured correctness, faithfulness, and contextual relevancy. Human evaluation was conducted by 5 legal and HR-informed evaluators who assessed legal correctness, faithfulness, con-textual relevancy, and clarity using a five-point Likert scale. The results indicate that the ReAct framework achieved higher legal correctness, while the HyDE pipeline remained highly competitive and achieved marginally higher automated faithfulness and contextual relevancy scores. Human evaluations showed a slight descrip-tive preference for ReAct; however, differences between the systems remained relatively small. Qualitative findings revealed recurring challenges related to statutory ambiguity, fragmented information sources, procedural confusion, and limited legal literacy, while em-phasizing the importance of transparency, source grounding, and human oversight. The study concludes that source-grounded RAG-based legal assistants can support access to Saudi Labor Law information and improve legal awareness when used as decision-support tools. The findings further suggest that structured reasoning may enhance legal cor-rectness, whereas hypothetical query expansion can improve semantic retrieval in certain scenarios. Ultimately, effective legal AI requires a balance between retrieval quality, trans-parency, and human professional judgment.

Item Type:	Thesis (Masters)
Subjects:	Computer Systems Management and Marketing General
Department:	KFUPM Business School > Management and Marketing
Thesis Advisor:	Mohammad Al-ahmadi,
Thesis Committee Members:	Mahmoud Masoud, Yogesh Dwivedi,
Depositing User:	DIMAH ALMARRI
Date Deposited:	30 Jul 2026 11:18
Last Modified:	30 Jul 2026 11:18
URI:	https://eprints.kfupm.edu.sa/id/eprint/144679