KFUPM ePrints

On learning better decision trees

Al-Afandi, Muhammad Nauwar (1996) On learning better decision trees. Masters thesis, King Fahd University of Petroleum and Minerals.

[img]
Preview
PDF
3048Kb

Arabic Abstract

تتبع خوارزمية “ ID3” أسلوب التقسيم من الأعلى إلى الأسفل لبناء شجرات القرار من أمثلة معطاة ، وتولد الخوارزمية شجرات قرار محدودة المثالية كونها تعتمد على احصاءات تقديرية في عملية توليد الشجرات . تعرض في هذه الدراسة أسلوبين جديدين لتحسين مستوى جودة الشجرة المبنية عن طريق تقليل معدل كلفة تصنيف الأمثلة وزيادة مستوى دقة تصنيف الحالات الجديدة . ويسمى الأسلوب الأول أسلوب تعديل الأوزان بينما يسمى الثاني أسلوب التطوير المتتابع . يقوم الأسلوب الأول على أساس اعطاء وزن لكل مثال بقيمة حقيقية موجبة ، ومن ثم تعديل هذا الوزن بشكل متكرر وبطيء ، حيث تتغير القيم التي تحصل عليها السمات أثناء اختيارها ، وبالتالي يتم بناء شجرة قرار أعلى جودة . ومن ناحية أخرى يقوم الأسلوب الثاني على أساس استخدام طريقة جديدة لاختيار السمات ، بحيث يجمع بين فوائد استخدام قيمة الفائدة المعلوماتية المستخدمة في خوارزمية “ ID3 “ والمحسوبة من الأمثلة مع قيمة الأهمية لكل سمة والتي تعتمد على عدد الأمثلة التي تصنفها السمة في الشجرة السابقة . وتشير نتائج التجارب التي تم اجراؤها على كلا الأسلوبين إلا أن أسلوب التطوير المتتابع قد حقق نتائج أكثر أهمية من أسلوب تعديل الأوزان مقارنة مع خوارزمية “ ID3 “ .

English Abstract

The ID3 algorithm follows a top-down approach to learn decision trees from examples. It generates sub-optimal tress because it is based on heuristics. In this thesis, we propose two approaches aimed at improving the quality of the generated decision tree in terms of the average classification cost to classify a case and the generalization performance of the tree. The first approach, called the weight adjustment approach, is based on the idea of assigning weights to the examples and adjusting these weigths slowly in an iterative manner in order to alter the scores of the attributes in the attribute selection process so that a better decision tree is generated. The second approach is based in a new attribute selection criterion which combines the attribute's information-gain score (as used in ID3) computed from the training examples and the importance score related to the number of examples for which the attribute plays a role during classification by the previous tree. Judging from the experiments we conducted to test our approaches, the second approach added more significant improvement than the first one over ID3.



Item Type:Thesis (Masters)
Date:July 1996
Date Type:Completion
Subjects:Computer
Divisions:College Of Computer Sciences and Engineering > Information and Computer Science Dept
Creators:Al-Afandi, Muhammad Nauwar
Committee Advisor:Al-Muallim, Hussein
Committee Members:Al-Bassam, Sulaiman Abdulla and Al-Suwaiyel, M. I.
ID Code:9610
Deposited By:KFUPM ePrints Admin
Deposited On:22 Jun 2008 16:44
Last Modified:25 Apr 2011 09:11

Repository Staff Only: item control page