Evaluating the Robustness of Deep Learning Models for Time Series Classification. Masters thesis, King Fahd University of Petroleum and Minerals.

PDF full.pdf Restricted to Repository staff only until 13 February 2022. Download (11MB)

Arabic Abstract

تحليل الدوال الزمنية له تطبيقات مهمة في العديد من المجالات كتشخيص الأمراض والتوقع المبكر لفشل الآلات وغيرها الكثير، وتندرج طرق تحليل الدوال الزمنية تحت عدة أنواع منها ما يكون لغاية التوقع للقيم المستقبلية، ومنها ما يكون لفرز أو تجميع الدوال لمجموعات مختلفة. أصبح استخدام نماذج التعلم التعلم العميق في إزتياد لاستخلاص ،المؤشرات التي تتظمنها الدوال الزمنية. على الرغم من ذلك نماذج التعلم العميق قد لا تعمل بالشكل المتوقع عند حدوث تغيرات في الدوال الزمنية عن شكلها الطبيعي بمسببات مختلفة قد تكون ناتجة لأسباب طبيعية من ضمن البيئة التشغيلية، أو قد تكون مصممة خصيصاً لأغراض تخريبية. لذلك، فإنه من المفيد أن يتم تقييم هذه النماذج تحت ظروف مختلفة للحصول على المزيد من الثقة حول آدائها في الاستخدام الواقعي. يتركز هذا البحث على دراسة نماذج التعلم العميق في فرز الدوال الزمنية (والذي يعد أحد أنواع تحليل الدوال الزمنية)، وتحليل آدائها عند تغيرات تشويشية. الهدف من هذا البحث هو تقييم ثبات آداء نماذج التعلم العميق بأشكالها وطرق تدريبها المختلفة تحت دوال تشويش مختلفة، وقد عملنا على استخدام طرق التدريب ضد دوال التشويش العدائي للتشويش الناتج لأسباب طبيعية في بعض أنواع الدوال الزمنية والمقارنة بينها. نتائجنا تظهر أن النماذج اللتي تم تدريبها بأحد هذه الطرق تظهر ثبات أفضل ضد التشويشات المختلفة، على الرغم أنه لم يتم إظهار أي من هذه التشويشات في مرحلة التدريب. بالإضافة ، قمنا بدراسة بعض القياسات المختلفة وعرضنا كيف أنها تمثل مؤشرات جيدة لقياس ثبات النماذج. علاوة على ذلك، قمنا أيضاً بتبني أخد الطرق لفهم كيفية عمل نماذج التعلم العميق من استخدامها لنماذج فرز الصور المرئية لنماذج فرز الدوال الزمنية المتعددة، واستخدامنا لهذه الطريقة مع القياسات المختلفة مكننا من دراسة النماذج بشكل متاكمل أكثر لفهم وتقييم آدائها المختلف.

English Abstract

Time series (TS) analysis has many applications in domains that are very critical for business and society. TS analysis may target different objectives including forecasting, clustering, and classification. Deep learning (DL) models, such as Residual Network (ResNet) and Long Short-Term Memory (LSTM) have been extensively considered for learning and analyzing the different patterns inherent in TS. However, it is known that DL models may not perform as expected under various circumstances that cause changes in the data. These changes could occur naturally due to noise, or could be crafted for malicious purposes, among possible other reasons. It is desirable to evaluate DL models under various circumstances to gain more confidence about their performance in deployment. In this research, we focus on various DL models considered for time series classification (TSC), which is one type of time series analysis, and evaluate the robustness of such models in response to noisy inputs. Our goal is to evaluate the robustness of various types of DL architectures and training methods in response to noisy data as well as missing data. We use different types of perturbation functions to simulate noisy inputs. A major objective of this research is to compare and contrast the effectiveness of different training methods in building robust models for TSC. Our experiments show that there is a significant statistical difference among the different training methods with regard to their impact on the models’ robustness in response to noisy or missing data. In this research, we employ various metrics to assess the robustness of the models as well as the training methods. We compare and contrast those metrics, highlighting some of their limitations. Moreover, we adapt the saliency maps method for interpreting the behavior of deep learning models from being applied to images, to being applied to multivariate time series datasets. We use these saliency maps along with the metrics to perform holistic analysis on various deep learning models to compare and understand their behavior.

Item Type:	Thesis (Masters)
Subjects:	Computer
Department:	College of Computing and Mathematics > Information and Computer Science
Committee Advisor:	Ahmed, Moataz A.
Committee Members:	Ramadan, Emad Y. and Ahmad, Irfan
Depositing User:	MAJID SAEEDAN (g201374690)
Date Deposited:	14 Feb 2021 12:13
Last Modified:	14 Feb 2021 12:13
URI:	http://eprints.kfupm.edu.sa/id/eprint/141831