MICROGRID ENERGY MANAGEMENT USING DEEP Q-NETWORK REINFORCEMENT LEARNING. Masters thesis, King Fahd University of Petroleum and Minerals.

PDF (MICROGRID ENERGY MANAGEMENT USING DEEP Q-NETWORK REINFORCEMENT LEARNING) Mohammed_Alabdullah_Thesis_May24.pdf Restricted to Repository staff only until 25 May 2022. Download (4MB)

Arabic Abstract

تعد إدارة موارد الطاقة في الشبكات الكهربائية الدقيقة (Microgrids) ذات أهمية عالية لتحقيق التشغيل الاقتصادي الأمثل. تعتمد الأساليب الحالية لحل مشكلة إدارة الطاقة على نماذج مطورة من قبل خبراء تتكبد تكاليف التطوير والصيانة. حيث تؤدي إضافة الموارد أو الأحمال إلى تغيير بنية الشبكة المصغرة، مما يستلزم تغيير نموذج التوقع، بالإضافة إلى تغيير طريقة الحل للوصول للحل الأمثل لتحقيق أداء الجدولة المطلوب. بدلاً من ذلك، تراعي الطرق البديلة التي لا تعتمد على النماذج مثل التعلم المعزز لحل مشكلة جدولة الطاقة بدون الاعتماد على وجود نموذج سابق للشبكة، ولا متنبئ لتقدير المتغيرات. تعتمد هذه الأساليب على التفاعل مع النظام ومحاولة إيجاد استراتيجية مثالية لتحقيق التشغيل الأفضل. ولكن إحدى المشكلات الرئيسية في مثل هذه الأساليب هي أنها تتعامل مع فضاء كثير الأبعاد، مما يجعل من الصعب استخراج ميزات قيمة لتحسين دالة القيمة. لهذا، ومع التطورات الحديثة في التعلم العميق، تم اعتماد التعلم المعزز العميق لأنه يمكن أن يتعامل مع الفضاءات عالية الأبعاد. تبحث الأطروحة في استخدام التعلم المعزز العميق (DRL) لإدارة موارد الطاقة المختلفة على النحو الأمثل في الشبكات الكهربائية. تأخذ المنهجية في الاعتبار السلوك المتغير للعناصر المختلفة في الشبكات، بما في ذلك الأحمال ومصادر الطاقة وأسعار الكهرباء. كما تقوم أيضًا بنمذجة عناصر الشبكة المختلفة باستخدام نماذج مكافئة وتأخذ في الاعتبار قيود تدفق الطاقة المختلفة في بيئة واقعية. تمت صياغة مشكلة إدارة الطاقة على أنها عملية قرار ماركوف محدودة الأفق (MDP) من خلال تحديد الحالة، و القرار، و صياغة المكافأة ، مع عدم وجود معرفة مسبقة باحتمالات الانتقال. لا تتطلب هذه الصيغة نموذجًا للمتغيرات في الشبكة الكهربائية، بل تعتمد على الاستفادة من البيانات المتراكمة والتفاعل مع النظام لاشتقاق السياسة المثلى. تم تطوير بيئة متكاملة للشبكة الكهربائية باستخدام OpenAI GYM ، للسماح بتجربة النموذج المصاغ بتقنيات مختلفة. يتم تنفيذ خوارزميات تعلم التعزيز العميق القائمة على شبكات Q العميقة لحل الصيغة المطورة. لإثبات فعالية الخوارزمية المقترحة، تقدم الأطروحة دراسة حالة تعتمد على شبكة كهربائية حقيقية لإظهار أداء المنهجية المقترحة. تعتمد دراسة الحالة على شبكة متوسطة الجهد من جمعية CIGRE حيث يتم النظر في البيانات التاريخية الحقيقية للأحمال ومصادر الطاقة. أثبتت المنهجية المقترحة قدرتها على الحصول على نتائج مقاربة للقيم المثلى. ختاماَ، استخدام المنهجية المطروحة يمكن أن تحقق جدولة بشكل مباشر لموارد الطاقة المختلفة داخل الشبكات الكهربائية مع إجراءات فعالة من حيث التكلفة في ظل الظروف المتغيرة.

English Abstract

Microgrid energy management is of a high importance to achieve economical operation of the different distributed micro resources within a microgrid. Existing model-based approaches to solve the energy management problem depend on experts to construct the microgrid dynamics and parameters, which will incur costs with development and maintenance. Adding resources or loads will alter the architecture of the microgrid, which will change the probability distribution of the uncertain variables. This necessitates changing the predictor model, and possibly the solver to achieve the required scheduling performance. Alternatively, model-free methods based on reinforcement learning consider the energy scheduling problem with no prior model of the microgrid, nor a predictor to estimate the uncertainty. Such methods depend on interactions with the system in order to find an optimal strategy to achieve the operation goals. Though, one main problem with such methods is that they deal with a high-dimensional state space input, that makes it difficult to extract valuable features to optimize value functions. Motivated by the recent advances of deep learning, deep q-network reinforcement learning is adopted as it can tackle high dimensional state spaces. The thesis investigates the use of deep reinforcement learning to optimally manage the different energy resources in a microgrid. The methodology considers the stochastic behavior of different elements of a microgrid, including loads, generations, and electric prices. It also models different grid elements using equivalent models and considers the various power flow constraints in a realistic setting. The energy management problem is formulated as a finite horizon Markov Decision Process (MDP) by defining the state, action, reward, and objective functions, with no knowledge of the transition probabilities. Such formulation does not require explicit model of the microgrid, making use of the accumulated data and interaction with the system to derive the optimal policy. The microgrid environment is developed using OpenAI Gym open-source platform, to allow the experimentation of formulated model with different techniques. Deep reinforcement learning algorithms based on deep Q-networks is implemented to solve the developed formulation. A case study based on a real microgrid is implemented to show the performance of the proposed methodology. The case study is based on a medium voltage microgrid from CIGRE where real historical generation and load profiles are considered. The proposed methodology demonstrated its capability to obtain comparable results to optimal values. Hence, using the proposed methodology can achieve online scheduling of the various energy resources within a microgrid with cost effective actions under stochastic conditions.

Item Type:	Thesis (Masters)
Subjects:	Electrical
Department:	College of Engineering and Physics > Electrical Engineering
Committee Advisor:	Abido, Mohamed
Committee Members:	Al-Ismail, Fahad and Khalid, Muhammad
Depositing User:	MOHAMMED ALABDULLAH (g201539430)
Date Deposited:	28 Jun 2021 10:34
Last Modified:	28 Jun 2021 10:34
URI:	http://eprints.kfupm.edu.sa/id/eprint/141886