Uma Comparao de Classicadores para Contorno de Imagens de Folhas

Augusto A. B. Branquinho, Carlos E. S. Sabino, Eduardo C. Campos, Leandro N. Couto Departamento de Cincia da Computao, Universidade Federal de Uberlndia, Uberlndia, MG
ResumoEste artigo apresenta uma comparao entre diferentes algoritmos de classicao utilizando o Waikato Environment for Knowledge (WEKA), um software de cdigo aberto com uma coleo de algoritmos de aprendizagem de mquina para tarefas de minerao de dados. O objetivo deste artigo de investigar a taxa de acertos de diferentes algoritmos de classicao. No processo de classicao foram utilizados os algoritmos kNearest Neighbors (k-NN), Naive Bayes (NB), Support Vector Machine (SVM), rvore de Deciso J4.8 (J4.8), Random Forest (RF), Multilayer perceptron (MLP) e Linear Discriminant Analysis (LDA). Na tentativa de melhorar os resultados foram realizados experimentos com algoritmos genticos (AG) e de seleo de atributos na tentativa de descobrir quais atributos so mais importantes para o de reconhecimento de padres. Um conjunto de amostras de folhas foi usada para os experimentos. Este conjunto de dados contm informaes extradas dos contornos de 600 imagens de folhas, agrupadas em 30 classes, contendo 20 amostras cada. Cada amostra foi caracterizada por 76 atributos. Desses, os 38 primeiros so baseados em um tipo de medida de imagem, enquanto os 38 seguintes so outro tipo de medio obtida.

(PCA) para gerar um novo conjunto de atributos no correlacionados a partir da combinao de projees dos atributos originais. O segundo experimento envolveu a utilizao de algoritmos genticos para selecionar quais atributos classicam melhor o conjunto de amostras para cada algoritmo de classicao. A Seo 2 descreve a caracterizao do problema. Na Seo 3 feita a fundamentao terica dos conceitos utilizados no trabalho. A Seo 4 apresenta as ferramentas utilizadas. A seo 5 engloba os experimentos realizados e seus resultados. Na Seo 6 so apresentadas as concluses do trabalho e alguns possveis trabalhos futuros. II. C ARACTERIZAO DO P ROBLEMA

I.

I NTRODUO

O conjunto de dados contm informaes extradas dos contornos de 600 imagens de folhas, agrupadas em 30 classes contendo 20 amostras cada. Cada amostra identicada por um total de 76 atributos. Desses, os 38 primeiros so baseados em um tipo de medida de imagem, enquanto que os 38 seguintes so outro tipo de medio obtida. A Figura 1 ilustra parte da base de folhas contendo 10 tipos de folhas distintos. Cada tipo de folha representa uma classe. No estudo, foram consideradas 30 classes de folhas.

O objetivo do nosso trabalho investigar a taxa de acerto de diferentes algoritmos de classicao. Para isso, os experimentos foram divididos em trs partes: a primeira parte utilizou o software WEKA para a anlise de informaes extradas dos contornos de imagens de folhas. A segunda parte utilizou algoritmos genticos para seleo dos melhores atributos e um ambiente distribudo para execuo dos experimentos. J a terceira parte utilizou o software MATLAB para realizao de experimentos com o mtodo de classicao LDA, cuja implementao no est disponvel no WEKA. Com o intuito de reduzir a dimensionalidade dos dados e melhorar a eccia dos classicadores, foram realizados experimentos que fazem a seleo ou composio de atributos mais adequados a partir dos originalmente disponveis. Aprendizagem de mquina um ramo da Inteligncia Articial que lida com a construo e estudo de sistemas que podem aprender a partir dos dados. A extrao de informao importante a partir de uma grande pilha de dados e suas correlaes uma grande vantagem dessa rea de estudo [1]. A minerao de dados uma etapa do processo de Knowledge Discovery in Databases (KDD) que consiste na aplicao de anlise de dados e algoritmos de descoberta que, sob as limitaes de ecincia computacional aceitveis, produzem uma enumerao particular de padres (ou modelos) sobre os dados [12]. O primeiro experimento realizou uma Transformao do Espao de Atributos utilizando Principal Component Analysis

Figura 1.

Representao de parte da base de folhas

III.

F UNDAMENTAO T ERICA

A. k-Nearest Neighbors O algoritmo k-Nearest Neighbors (k-NN) considerado um algoritmo de aprendizagem estatstica. Alm de ser extremamente simples de implementar, ele aberto a uma grande variedade de variaes. Geralmente denido em termos da distncia Euclidiana [1]. O k-NN um classicador preguioso porque no induz um modelo de categorizao de dados de treinamento. O

processo de categorizao conseguido atravs da comparao da nova instncia com todas as instncias do conjunto de dados. Assim, a categoria para a nova instncia selecionada a partir das categorias dos K exemplos mais similares. Em um problema de categorizao as entradas so as caractersticas e a sada uma categoria. O k-NN tambm conhecido no WEKA como IBK [2]. B. Naive Bayes Os classicadores Naive Bayes assumem que todos os atributos so independentes e que cada um contribui igualmente para a categorizao. A categoria atribuda a um projeto, combinando a contribuio de cada caracterstica. Esta combinao atingida estimando as probabilidades a posteriori de cada categoria utilizando o Teorema de Bayes. As probabilidades a priori so estimadas com os dados de treinamento [2]. Este tipo de classicador capaz de lidar com entradas categricas e problemas de multi-classe. Portanto, em um problema de categorizao, as entradas para o classicador so os atributos e a sada a distribuio de probabilidade do projeto nas categorias [2]. C. Support Vector Machine Support Vector Machine divide o espao do problema em dois conjuntos possveis por encontrar um hiperplano que maximiza a distncia com o ponto mais prximo de cada subconjunto. SVM so classicadores binrios, mas podem ser utilizados para classicao multi-classe [2]. A funo que divide o hiperplano conhecida como funo Kernel. Se os dados so linearmente separveis, uma funo linear Kernel usada com o SVM. Nos outros casos, funes no lineares tais como polinmios, funes de base radial (RBF) e sigmides devem ser utilizadas [2]. D. rvore de Deciso J4.8 rvores de deciso so algoritmos que utilizam a estratgia divide and conquer para dividir o espao do problema em subconjuntos. Uma rvore de deciso modelada de forma que a raiz e os ns so as perguntas, e os arcos entre os ns so possveis respostas para as perguntas. As folhas da rvore so categorias [2]. As rvores de deciso so capazes de lidar com entradas categricas e os problemas multi-classe. Assim, em um problema de categorizao, as entradas para a rvore so os atributos de uma aplicao e a sada uma categoria [2]. J4.8 um algoritmo existente para construo de uma rvore de deciso que permite a manipulao tanto de atributos discretos quanto contnuos. Alm disso, permite a manipulao de dados de treinamento com valores de atributos ausentes [7]. E. Random Forests Random Forests so uma combinao de preditores de rvores de tal modo que cada rvore depende dos valores de um vetor aleatrio amostrado de forma independente e com a mesma distribuio para todas as rvores da oresta [8].

Random Forests so treinadas de forma supervisionada. O treinamento envolve a construo de rvores, bem como a atribuio a cada n-folha da informao sobre as amostras de treinamento atingindo esse n-folha (e.g. a distribuio da classe no caso de tarefas de classicao). Em tempo de execuo, uma amostra de teste transmitida a todas as rvores da oresta, e a sada calculada pela mdia das distribuies registradas nos ns-folha alcanados [9]. F. Multilayer Perceptron Uma rede Multilayer Perceptron (MLP) consiste de um conjunto de unidades sensoriais, que constituem a camada de entrada, uma ou mais camada(s) oculta(s) e uma camada de sada. O sinal de entrada propaga-se atravs da rede para a frente em uma base de camada-a-camada. Uma MLP representa uma generalizao da rede Single-layer Perceptron [10]. Multilayer Perceptrons tem sido aplicadas com sucesso para resolver alguns problemas difceis e diversos, treinando elas de forma supervisionada com um algoritmo muito popular conhecido como algoritmo de retropropagao do erro (backpropagation) [10]. G. Algoritmos Genticos O algoritmo gentico padro segue o mtodo de reproduo sexuada. Neste algoritmo, a populao composta por um conjunto de indivduos, de forma que cada indivduo representa o cromossomo de uma forma de vida [13]. Os indivduos correspondem a solues de um dado problema. Associado a cada cromossomo atribuda uma funo chamada de tness que determina o quo bom o indivduo. Outra funo usada para selecionar os indivduos da populao que iram se reproduzir. Aps a seleo de dois indivduos ocorre o cruzamento (crossover) dos indivduos selecionados e eles se dividem novamente. Em seguida, existe uma probabilidade que ocorra a mutao dos novos indivduos. O processo repetido durante um certo nmero de vezes [13]. Cada repetio corresponde a uma gerao. Fitness uma medida de "bondade"de um cromossomo, isto , o quo bem um cromossomo se encaixa no espao de busca, ou resolve o problema em questo [13]. Seleo o processo de escolha do par de indivduos para reproduzir [13]. Crossover um processo de troca de genes entre os dois indivduos que esto se reproduzindo [13]. Mutao o processo de alterao aleatria dos cromossomos [13]. H. Principal Component Analysis A Anlise dos Componentes Principais (PCA) uma das tcnicas mais bem sucedidas que tm sido utilizada em reconhecimento de imagem e compresso. PCA um mtodo estatstico cujo propsito reduzir a grande dimensionalidade do espao de dados (variveis observadas) para a menor dimensionalidade instrnseca do espao de caractersticas (variveis independentes). Este o caso quando existe uma forte correlao entre as variveis observadas [11].

Os trabalhos que PCA pode fazer so previso, remoo de redundncia, extrao de caractersticas, compresso de dados, entre outros. [11] I. Linear Discriminant Analysis Linear Discriminant Analysis (LDA) [3] [4] um mtodo popular para reduo de dimensionalidade linear, que maximiza a disperso entre as classes e minimiza a disperso dentro da classe. O LDA tende a dar resultados indesejados se as amostras de alguma classe formam vrios agrupamentos distintos, isto , multimodal [4]. Geralmente, o LDA pode se referir a um mtodo de classicao em que primeiramente as amostras de dados so projetadas em uma espao unidimensional e depois classicadas considerando um thresholding. A incorporao de um espao unidimensional utilizada acima dado como o maximizador do chamado critrio de Fisher. Este critrio frequentemente utilizado para reduo de dimensionalidade de um subespao com dimenso maior que um [4]. J. Standard Score Standard Score ou Z-Score, em estatstica, o nmero de desvios padro de um dado acima ou abaixo da mdia. Um ZScore positivo representa um dado acima da mdia, enquanto que um negativo representa um dado abaixo da mdia. uma quantidade desprovida de dimenses obtida subtraindo a mdia da populao de um dado bruto e dividindo o resultado pelo desvio padro [14]. (x ) z= (1) Essa ferramenta utilizada para diminuir a diferena que escalas podem fazer na classicao de determinados algoritmos. IV. A. WEKA O WEKA um software de minerao de dados que foi desenvolvido utilizando a linguagem JAVA pela Universidade de Waikato na Nova Zelndia. Possui uma coleo de algoritmos de aprendizagem de mquina para tarefas de minerao de dados. Ele implementa tambm algoritmos para pr-processamento de dados, classicao, regresso, clustering e regras de associao, alm de incluir ferramentas de visualizao [1]. O software encontra-se licenciado ao abrigo da General Public License (GPL) sendo portanto possvel estudar e alterar o respectivo cdigo fonte [1]. O arquivo de dados normalmente utilizado pelo WEKA o formato de arquivo ARFF (Attribute-Relation File Format), que consiste de tags especiais para indicar diferentes elementos no arquivo de dados (e.g. nomes de atributos, tipos de atributos, valores de atributos e os dados) [1]. B. MATLAB O Matrix Laboratory (MATLAB) ao mesmo tempo, um ambiente e linguagem de programao para clculos numricos com vetores e matrizes. Ele um produto da empresa The Math Works Inc. [5]. F ERRAMENTAS U TILIZADAS
Figura 2. Taxa de acerto considerando todos os 76 atributos

Figura 3.

Comparao utilizando ou no o PCA nos 76 atributos

O MATLAB permite executar tarefas computacionalmente intensivas mais rpido do que com linguagens de programao tradicionais. Ele tem uma ampla variedade de funes teis para o praticante de algoritmos genticos [6]. C. ECJ Evolutionary Computation Java (ECJ) consiste em uma biblioteca Java para a execuo de algoritmos evolutivos. Ele possui um conjunto de algoritmos j prontos e de fcil extenso. Alm disso ele permite o processo de criao e avaliao dos indivduos de forma distribuda [16]. Neste trabalho o ECJ foi usado para encontrar melhores atributos usando um AG distribudo. V. E XPERIMENTOS

Os experimentos foram divididos em trs partes. Na primeira parte foram realizados experimentos atravs da interface grca do WEKA considerando k-fold igual a 10. A segunda parte utiliza algoritmos genticos para a seleo dos melhores atributos e um ambiente distribudo para a execuo dos experimentos. Por ltimo, foi usado o MATLAB para a execuo de um novo conjunto de testes utilizando o algoritmo LDA. A. Parte 1 Inicialmente, foram utilizados todos os atributos como entrada para os algoritmos de classicao. Alm disso, foram feitas duas modicaes nos atributos na tentativa de melhorar a taxa de classicao correta: normalizao dos dados com o algoritmo Z-Score e combinao de atributos utilizando o

Figura 5. atributos

Utilizando PCA nos primeiros 38 atributos e nos ltimos 38

Figura 4.

Comparao utilizando ou no o Z-Score nos 76 atributos

PCA. Estas modicaes foram feitas considerando todos os 76 atributos. A utilizao do PCA resultou na gerao de seis componentes principais. Todos esses componentes foram considerados no clculo da taxa de acerto dos algoritmos de classicao, uma vez que ao utilizar menos componentes principais prejudicou o desempenho dos classicadores. Como podemos observar na Figura 2, entre os seis algoritmos utilizados, o que melhor se destacou foi o MLP com o Z-Score aplicado, com uma taxa de acerto de 85,16% das amostras. Ainda na Figura 2 podemos notar que na utilizao do PCA apenas o algoritmo Naive Bayes se beneciou, enquanto que todos os outros apresentaram melhores resultados sem nenhuma modicao nos atributos. A taxa de acerto do algoritmo Naive Bayes utilizando PCA nos 76 atributos foi de 74,83%. A Figura 3 ilustra um grco comparando a taxa de acerto em % dos algoritmos de classicao com a utilizao do PCA e sem a utilizao do PCA. A Fig. 3 ilustra um grco comparando a taxa de acerto em % dos algoritmos de classicao com a utilizao do Z-Score nos 76 atributos e sem a utilizao da normalizao. Numa segunda abordagem, a base foi dividida em duas partes: 38 primeiros e 38 ltimos atributos. Assim como na abordagem inicial, foram utilizados os seis algoritmos denidos anteriormente. Foram feitos dois testes: o primeiro teste aplicou o PCA apenas nos 38 primeiros atributos e o segundo teste aplicou o PCA apenas nos ltimos 38 atributos. O resultado do primeiro teste foi a gerao de seis componentes principais. A melhor taxa de acerto para os algoritmos foi utilizando todos os seis componentes principais, com exceo do SVM que aumentou sua taxa de acerto de 45,83% para 47,66%. J no segundo teste, foram gerados apenas trs componentes principais. Da mesma forma, a melhor taxa de acerto para os algoritmos foi utilizando todos os trs componentes

Figura 7.

Exemplo de um indivduo usado no AG.

principais. A Fig. 4 representa a comparao entre estes dois testes realizados. O PCA1 refere-se aplicao do PCA nos primeiros 38 atributos, enquanto que o PCA2 refere-se aplicao do PCA nos ltimos 38 atributos. Logo, podemos concluir que o PCA1 obteve melhores resultados do que o PCA2. B. Parte 2 Na segunda parte dos experimentos foi usado um AG para a seleo dos melhores atributos. Para esta tarefa foi usada a ECJ [16]. Esta biblioteca permitiu a execuo do algoritmo gentico de forma distribuda e paralela. 1 O indivduo foi representado por um cromossomo de 76 genes. Cada gene guarda um valor booleano que determina a presena ou ausncia do atributo usado no clculo do tness. O primeiro gene est associado ao primeiro atributo, o segundo gene ao segundo atributo e assim por diante at o ltimo gene/atributo. A Figura 7 mostra um exemplo resumido de um indivduo. Foram criadas 30 populaes com 50 indivduos cada. Estas populaes foram separadas em dois grupos de 15 populaes. No primeiro grupo foi usada a base de dados sem normalizao e no outro os dados foram normalizados com o Z-Score. Para cada populao est associado um algoritmo de reconhecimento de padres e um conjunto de parmetros. A Tabela I mostra os algoritmos e parmetros relacionados com cada grupo para suas 15 populaes. Para realizar o clculo do tness de um indivduo executado o algoritmo de reconhecimento de padres de acordo com a populao. A ordem que esto dispostas as amostras
1 O projeto e os logs da parte 2 dos experimentos esto disponveis em: https://code.google.com/p/pgc204/ e http://wpattern.com/blog/post/2013/ 07/08/ECJ-e-WEKA-(Reconhecimento-de-Padroes).aspx

Figura 6.

Grcos com os percentuais de acerto durante as geraes do AG para os experimentos do grupo 1 e grupo 2, respectivamente.

Tabela I.

PARMETROS USADOS POR CADA POPULAO DO AG.

Populao 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 Algoritmo k-NN (1) k-NN (5) k-NN (9) Random Forest Naive Bayes k-NN (1) k-NN (5) k-NN (9) Random Forest Naive Bayes k-NN (1) k-NN (5) k-NN (9) Random Forest Naive Bayes Cross-validation (folds)

10

durante a execuo dos algoritmos inuncia no percentual de acertos. Sendo assim, antes de qualquer execuo a base de dados reorganizada aleatoriamente e o tness dado pela mdia percentual de acertos aps 5 execues. A populao inicial gerada de forma totalmente aleatria. Para cada populao executado o AG com 50 geraes. Ao nal de cada gerao so criados 50 novos indivduos a partir da gerao anterior. A seleo dos indivduos feita pelo processo de torneio simples. J o crossover ocorre atravs do sorteio de duas posies (1 at 76) e a respectiva troca de genes entre estas posies. Cada novo indivduo possui uma chance de 3% de sofrer mutao, sendo que a mutao apenas altera o valor de um gene que foi escolhido aleatoriamente. Ao nal de cada gerao os piores indivduos so eliminados. Os melhores tnesss obtidos aps cada gerao para cada populao do primeiro e segundo grupos so mostrados na Figura 6. A melhor indivduo obtido para o primeiro grupo possui as seguintes caractersticas: Parmetros da populao: k-NN (1) com fold de 10. Menor tness: 86.33 Fitness mdio: 86.73 Maior tness: 87.16 Atributos selecionados: A1, A2, A4, A5, A6, A7, A9, A16, A21, A22, A23, A24, A25, A26, A27, A29, A30, A31, A34, A39, A40, A45, A46, A48, A49, A50, A51, A52, A54, A56, A57, A59, A60, A62, A63, A64, A65, A66, A68, A69, A76.

Figura 8. Comparao dos grupos considerando o tness do melhor indivduo de cada populao aps o processo de evoluo.

Conforme mostrada na Figura 8, em geral a normalizao dos dados permitiu a obteno de melhores resultados. Alm disso, o algoritmo k-NN com k = 1 demonstrou melhores tness que as outras conguraes. Apenas neste experimento foram realizados 75000 execues de classicao. Como os algoritmos SVM e MLP demandam maior tempo de execuo e a quantidade de execues em geral grande eles no foram testados. Contudo, este um dos trabalhos futuros. C. Parte 3 Os experimentos com o LDA foram feitos com a implementao do classicador presente no MATLAB considerando k-fold igual a 10. Aps a classicao das amostras, foi gerada a matriz de confuso, a partir da qual foram realizadas as anlises do mtodo. Foram realizados quatro testes independentes utilizando o LDA e o PCA: 1) 2) 3) 4) Classicao utilizando o LDA nos 76 atributos sem a utilizao do PCA; Utilizao do PCA nos 76 atributos e posterior classicao utilizando o LDA; Utilizao do PCA apenas nos 38 primeiros atributos e posterior classicao utilizando o LDA; Utilizao do PCA apenas nos ltimos 38 atributos e posterior classicao utilizando o LDA.

A melhor indivduo obtido para o segundo grupo possui as seguintes caractersticas: Parmetros da populao: k-NN (1) com fold de 10. Menor tness: 86.5 Fitness mdio: 87.3 Maior tness: 88.0 Atributos selecionados: A1, A2, A4, A5, A7, A8, A9, A10, A11, A16, A17, A18, A20, A21, A22, A23, A25, A26, A27, A28, A29, A31, A32, A33, A34, A37, A39, A40, A46, A47, A49, A50, A51, A53, A54, A55, A57, A58, A60, A61, A63, A65, A66, A67, A69, A71, A73.

Os melhores resultados foram obtidos no teste 1, cuja taxa de acerto foi de 88,66%. No teste 2 foram gerados 6 componentes principais e a taxa de acerto foi de 76,00%. J no teste 3 foi obtida uma taxa de acerto de 71,00%, enquanto que no teste 4, a taxa de acerto foi de 59,67%. VI. C ONCLUSO

Na primeira parte do experimento, o algoritmo de classicao que obteve maior taxa de acerto foi o MLP com Z-score, que alcanou o valor de 85,16%. Alm disso, podemos concluir que a utilizao do PCA nos 76 atributos originais diminuiu a taxa de acerto dos algoritmos de classicao considerados, com exceo do classicador Naive Bayes, que aumentou sua taxa de acerto atingindo o valor de 74,83%.

A segunda parte do experimento que envolveu AG em dois grupos de populaes mostrou que o algoritmo k-NN congurado com k = 1 e 10 folds obteve melhores tness em ambos os grupos do que as outras conguraes. Inclusive o melhor indivduo do segundo grupo obteve maior tness mdio (87,3%) do que o melhor indivduo do primeiro grupo (86,73%). O primeiro grupo foi composto por 15 populaes de 50 indivduos cada porm sem a normalizao da base de dados, enquanto que o segundo grupo foi composto por 15 populaes de 50 indivduos cada cuja base de dados foi normalizada com Z-Score. A utilizao do AG foi bastante til na seleo dos melhores atributos. A terceira parte do experimento que trabalhou com LDA obteve uma taxa de acerto de 88,66% considerando os 76 atributos originais, ou seja, sem a aplicao do PCA nos atributos. Para este tipo de problema, embora o PCA contribuiu para a reduo da dimensionalidade do espao de atributos, sua utilizao acarretou uma grande perda de informao nos algoritmos considerados na primeira e terceira partes do experimento. Como exemplo, o SVM foi o mais prejudicado pela utilizao do PCA, obtendo uma taxa de acerto de apenas 60,16%. Com taxas de classicao abaixo de 90%, ca evidente que a classicao desse conjunto de dados em particular no congura um problema trivial. A anlise do conjunto de dados atravs do uso de mltiplos mtodos de classicao oferece observaes importantes em relao natureza do conjunto de dados. Trabalhos Futuros O AG demonstrou seu poder de encontrar melhores atributos. Contudo, aps uma dada quantidade de geraes o tness cou estagnado. Este cenrio ocorre quando o processo de evoluo encontrou um mximo local. Para tentar explorar outros mximos locais existe a possibilidade de utilizar uma abordagem de evoluo baseado em ilhas [15] ou aumentar a taxa de mutao. Alm disso, existe a possibilidade de iniciar populaes com diferentes percentuais de presena de atributos, j que isso pode permitir encontrar outros mximos locais. Ainda considerando o AG, existe a necessidade da utilizao de outros algoritmos de classicao. Dentre estes algoritmos temos o SVM, LDA e MLP. R EFERNCIAS
[1] M. Fauzi, T. Moh, Comparison of different classication techniques using WEKA for Breast Cancer, IFMBE Proceedings, vol. 15, pp. 520-523, 2007. M. Linares-vsquez, C. Mcmillan, D. Poshyvanyk et al, On Using Machine Learning to Automatically Classify Software Applications into Domain Categories, pp. 7-8, 2009. R. A. Fisher, The use of multiple measurements in taxonomic problems. Annals of Eugenics, 7, pp. 179-188, 1936. K. Fukunaga, Introduction to statistical pattern recognition, Boston: Academic Press, Inc. Second edition, 1990. J. Ortega, M. Del, R. Boone et al, Research issues on K-means Algorithm: An Experimental Trial Using Matlab, pp. 89-90 J. Furtado, Z. Cai, L. Xiaobo, Digital Image Processing: Supervised classication using genetic algorithm in MATLAB Toolbox, vol. 2, pp.5455, 2010.

[7]

[8] [9]

[10] [11] [12] [13] [14] [15]

[16]

L. Sehgal, N. Mohan, P. Sandhu, Quality Prediction of Function Based Software Using Decision Tree Approach, International Conference on Computer Engineering and Multimedia Technologies, Bangkok, Thailand, pp. 44-44, 2012. L. Breiman, Random forests, Statistics Department University of California, Berkley, pp.1-2, 2001. V. Lempitsky, M. Verhoek, A. Noble et al, Random Forest Classication for Automatic Delineation of Myocardium in Real-Time 3D Echocardiography, pp. 449-449, 2009. S. Haykin, Neural Networks: a comprehensive foundation, Second Edition, pp. 178-179, 1998. K. Kim, Face Recognition using Principle Component Analysis, Department of Computer Science, University of Maryland, USA, pp. 1-1. U. Fayyad, G. Piatetsky-shapiro, P. Smyth, From Data Mining to Knowledge Discovery in Databases, pp. 41-41, 1996. E. Prebys, The Genetic Algorithm in Computer Science, MIT Undergraduate Journal of Mathematics, pp. 166-166. Kreyszig, E (fourth edition 1979). Applied Mathmatics, Wiley Press. Martin, W. N. and Lienig, J. and Cohoon, J. P. Island (migration) models: evolutionary algorithms based on punctuated equilibria. Handbook of Evolutionary Computation. 1997. Luke, S. The ECJ Owners Manual A User. Manual for the ECJ Evolutionary Computation Library. Department of Computer Science, George Mason University. May, 2013.

[2]

[3] [4] [5] [6]