New Algorithms for Deep Learning Machines. Masters thesis, King Fahd University of Petroleum and Minerals.

Preview

PDF master_thesis_issam.pdf Download (5MB) | Preview

Arabic Abstract

تهدف هذه الرسالة إلى تحقيق هدفين وهما: أولا تبيين مفصل للمف اهيم الأساسية للشبكات العصبية الصناعية وآلات التعلم السريعة. ثانيا، بناءا على هذه المف اهيم المقدمة يتم تصميم ثلاثة خوارزميات جديدة للتعلم العميق. تستخدم الخوارزمية الأول بتقنية ا لمربعات الصغرى لمعرفة ا لأنماط المكانية والزمانية. وكتطبيق لهذه الخوار زمية، تتم معالجة مشاكل مثل تنبؤ قيم أسهم الأوراق المالية، وسرعة الرياح، وتعلم أنماط الفوضى. وتعتمد هذه الخوارزمية على المعلومات المتمثلة في ا لخطوات السابقة لتحسين وظيفة قرارها. وتم اقتراح نسختين من هذه ا لخوارزميات وهما آلات التعلم السريعة ذات طبقة خفية متكررة (recurrent-hidden ELM) ، وآلات التعلم السريعة ذات مخرجات متكررة (recurrent-output ELM). وقد أظهرت محاكاة المق ارنة أنه، في المتوسط، تتفوق ا لخوارزمية المقترحة ا لأولى بنسختيها على آ لات ا لتعلم ا لسريعة ا لتق ليدية في حالة ستة مجموعات بيانات مستخدمة. أما الخوارزمية المقترحة الثانية والمعروفة باسم آ لات التعلم السريعة للتشفير الذاتي (ELM-AE) وهي طريقة استخراج الميزات على أساس المربعات الأق ل. وبما أنها لا يستخدم تقنية النشر العكسي (backpropagation)لتدريب الأوزان هي سريعة للغاية بخلاف النشر العكسي التي تعاني من بطؤ التعلم. وبذلك تتمكن هذه الخوارزمية من استخراج ا لسمات الهيكلية الخفية عبر بيانات الإدخال. علاوة على ذلك، يمكن استخدامها لتدريب شبكا تعصبية كبيرة الأحجام والمتكونة منطبقتين خفيتين أ و أ كثر. ومن خلال محاكاة التعرف على الحروف، تبين تشابه المي زات المستخرجة عبر خوارزميتي آلات ا لتعلم السريعة للتشفير الذاتي وآلات التشفير الذاتي الق ليلة التواصل ) sparse autoencoders ) على ا لرغم من أ ن سرعة تدريب آ لات ا لتعلم السريعة للتشفير الذاتي هو أ قل بكثير. كما أظهرت ا لدراسة أيضا أ ن الشبكات ا لعصبية كبيرة الأحجام المدربة باستخدام آلات ا لتعلم السريعة للتشفير الذاتي تتسم بدقة مشابهة للشبكات المدربة عبر شبكات الإيمان العميق (deep belief networks) وتقنية النشر ا لعكسي حتى عندما يستخدم نفس العدد من الطبق ات الخفية. وفيما يخص الخوارزمية المقترحة الثالثة والمعروفة باسم آ لات التعلم السريعة للتشفير الذاتي باعتماد التلافيف (ELM-based convolutional utoencoders) والتي تستخدم المربعات الصغرى لتدريب طبقة التلافيف لإعادة بناء ا لصور ا لمدخلة. وبهذا يمكن بناء شبكات عصبية كبيرة الأحجام باعتماد من الطبق ات الخفية. وفيما يخص الخوارزمية المقترحة الثالثة والمعروفة باسم آ لات التعلم السريعة للتشفير والتي تستخدم المربعات (ELM-based convolutional autoencoders) الذاتي باعتماد التلافيف الصغرى لتدريب طبقة التلافيف لإعادة بناء ا لصور ا لمدخلة. وبهذا يمكن بناء شبكات عصبية كبيرة الأحجام باعتماد والتي يمكن تدريبها بسرعة أق ل من تقنية النشر العكسي convolutional neural networks) التلافيف والتي قد تتطلب أسابيع لتدريب الشبكات. وقد أظهرت نتائج المحاكاة أن ا لشبكات العصبية ا لكبيرة الأحجام باعتماد التلافيف والمدربة باستخدام آلات التعلم السريعة للتشفير الذاتي باعتماد التلافيف تحقق نتائج تنافسية ومتجاوزة وآلات التعلم السريعة التق ليدية. و أ خيرا، (support vector machines) بشكل كبير لأداء الات شعاع الدعم تهدف المساهمات لمنجزة في هذه الرسالة إلى بدء ا تجاه جديد لخوارزميات التعلم العميقة والتي تتميز بسرعة التعلم والكف اءة في آن واحد.

English Abstract

The objective of the thesis is two-fold. First, it provides an outline of the fundamental concepts revolving around artificial neural networks (ANNs) and extreme learning machines (ELMs). Second, built on these concepts, it presents three new deep learning algorithms. The first algorithm uses the least squares technique to learn spatio-temporal patterns. It addresses problems including the prediction of stock market values, wind speed and chaotic patterns. The algorithm uses information provided by previous time-steps to improve its decision function. Two variants are proposed for of this algorithm: 1) recurrent-hidden ELM and; 2) recurrent-output ELM. Computer simulations showed that, on average, the algorithm outperforms traditional ELMs on six different datasets. Called ELM-based autoencoder (ELM-AE), the second algorithm is a feature extractor based on the least squares technique too. To extract structural hidden features from the input data, the least squares algorithm is preferred over the backpropagation algorithm for its learning speed. Further, the second algorithm can be used to train larger neural networks consisting of two or more hidden layers. Using the optical character recognition (OCR) problem, simulation results revealed that the extracted digit strokes using the ELM-AE and sparse autoencoders are similar. However, it is worth noting that the ELM-AE algorithm has a faster learning curve. Moreover, large networks, trained by the ELM-AE algorithm, perform as well as deep belief networks trained with the backpropagation algorithm using the same number of hidden layers. Like its predecessors, the third algorithm, called the ELM-based convolutional autoencoders (ELM-CA), uses the least squares algorithm to train a convolutional layer to reconstruct the input images. Such design allows constructing large convolutional neural networks (CNNs) that train very quickly as opposed to those based on backpropagation. In fact, the latter networks can take weeks to train. Reported results showed that CNNs trained using the ELM-based CA algorithm achieve competitive results that greatly outperform support vector machines (SVM) and standard ELM algorithms. The contributions, made in this thesis, aim to start a new trend of deep learning algorithms that are quick to train and efficient as well.

Item Type:	Thesis (Masters)
Subjects:	Computer Math
Department:	College of Computing and Mathematics > Information and Computer Science
Committee Advisor:	Ghouti, Lahouari
Committee Members:	Mahmoud, Sabri and Selim, Shokri
Depositing User:	ISSAM HADJ LARADJI (g200790850)
Date Deposited:	16 Jul 2014 07:47
Last Modified:	01 Nov 2019 15:43
URI:	http://eprints.kfupm.edu.sa/id/eprint/139338