A Deep Reinforcement Learning Approach for Minimizing Age of Information in Edge Caching for Cognitive Cities. Masters thesis, King Fahd University of Petroleum and Minerals.

PDF Thesis_final _Ala Mohammed Alhamdan-g202008960.pdf Restricted to Repository staff only until 29 May 2025. Download (9MB)

Arabic Abstract

تزامنا مع انطلاقة رؤية 2030 في المملكة العربية السعودية والنقلة الفريدة من نوعها لتطوير المدن الذكية والأدراكية في نفس الوقت على سبيل المثال لا الحصر : مدينة نيوم في شمال غرب المملكة العربية السعودية تم تخصيص هذا البحث العلمي بعنوان التعليم المعزز والعميق في تقليل عمر البيانات للمدن الأدراكيه لمواكبة التطور الحالي في المملكة العربية السعودية . المدن الذكية والإدراكية تنتج العديد من البيانات من خلال الحساسات المنتشرة فيها , لذا جودة البيانات ترتبط بوقت وصولها و من الممكن أن يؤثر وقت وصولها المتأخرإلى جودة اتخاذ القرارات. لذا في هذه الرسالة سنناقش اهمية جودة البيانات المستخرجة من الحساسات إلى وقت وصولها إلى مركز البيانات المصغر والمنتشر في المدن الذكية لمعالجتها بإستخدام خوارزميات الذكاء الاصطناعي و التعلم بالتجربة. مع الوضع في عين الاعتبار مقياس الأداء في النظام وهو عمر المعلومات. يصنف عمر المعلومات بأنه مقياس جديد لجودة البيانات في اتخاذ القرارات لأي حالة في النظام المطبق في هذه الرسالة. تظهر النتائج المستخرجه من تطبيق خوارزميات الذكاء الأصطناعي تطور ملحوظ في التقليل من قيمة عمر المعلومات. في هذه الرسالة تعتمد الخوارزمية بشكل مباشرعلى الشبكات العصبية العميقة. وقد اظهرت الخوارزمية الجديدة المقترحة القدرة على تقليل قيمة عمر المعلومات مقارنة باستخدام الخوارزميه العشوائية و خوارزمية الشرهة. تظهر النتائج النهائية نقصان بنسبة احدى عشر فاصلة اثنان بالمئة عند استخدام خوارزمية التعليم العميق مقارنا باستخدام خوارزميه التعليم بالتجربه التي تعتمد على استخدام الجداول وبنسبة ثلاثون بالمئه مقارنة باستخدام الخوارزمية الشرهة ونسبة ستة وثلاثون مقارنة باستخدام الخوارزمية العشوائية.

English Abstract

The economy of Saudi Arabia is being transformed into a digitally empowered economy. Smart cities, like NEOM, are at the core of this new economy. Services in smart cities will become cognitive. Such services will require a huge amount of timely data, which is produced and collected by a complex network of IoT devices. As a result, data management will become a real challenge in smart cities with cognitive services. Caching is an essential functionality in the architecture for smart city applications. Its purpose is to keep the data close to the application and thus offload the data management responsibility to the edge. However, cache capacity is limited and data in the cache can become stale and may not be relevant to the application anymore. Cognitive applications are sensitive to the age of data stored in the cache. Therefore, new sophisticated cache management techniques are needed to ensure the freshness of data and its relevance to the application. In this paper, we aim to develop a new generalized model for cache management in cognitive cities. In addition, in order to ensure on-demand freshness of data, a Deep Reinforcement Learning (DRL) approach is used based on the new generalized model. Our simulation results show that the DRL algorithm can achieve a reduction of 11.2\% in on-demand Age of Information (AoI) when compared with the standard Q-learning algorithm. Also, the DRL algorithm can achieve a reduction of 30\% and 36\% in on-demand AoI when compared to a greedy algorithm and random algorithm, respectively.

Item Type:	Thesis (Masters)
Subjects:	Computer
Department:	College of Computing and Mathematics > Computer Engineering
Committee Advisor:	Osais, Yahya Ismail Osais
Committee Members:	Sheltami, Tarek Rahil and Al-Awami, Louai
Depositing User:	ALA ALHAMDAN (g202008960)
Date Deposited:	30 May 2024 12:28
Last Modified:	30 May 2024 12:28
URI:	http://eprints.kfupm.edu.sa/id/eprint/142903