1

UNIVERSIDADE FEDERAL DO AMAZONAS

FACULDADE DE TECNOLOGIA

PROGRAMA DE PS-GRADUAO EM ENGENHARIA ELTRICA

ENDREWS ZNYDER SOUZA DE SILVA

JONILSON ROQUE DOS SANTOS

ROBSON SILVA DE SOUZA

IDENTIFICAO DE PACIENTE COM TECIDO MAMRIO

CANCERGINO UTILIZANDO REDES NEURAIS ARTIFICIAS

MANAUS

2013
 2

UNIVERSIDADE FEDERAL DO AMAZONAS

FACULDADE DE TECNOLOGIA

PROGRAMA DE PS-GRADUAO EM ENGENHARIA ELTRICA

ENDREWS SZNYDER SOUZA DE SILVA

JONILSON ROQUE DOS SANTOS

ROBSON SILVA DE SOUZA

IDENTIFICAO DE PACIENTE COM TECIDO MAMRIO

CANCERGINO UTILIZANDO REDES NEURAIS ARTIFICIAS

Trabalho apresentada ao Programa de Ps-Graduao

Strictu Sensu em Engenharia Eltrica da Universidade
Federal do Amazonas, como requisito parcial para
obteno de nota na disciplina Tcnicas
Reconhecimento de Padres ministrada pelo Professor
Dr. Ccero Fernandes Costa Filho.

MANAUS

2013
 3

RESUMO

O diagnstico correto de cncer de mama um dos principais problemas na rea mdica. A

partir disto, diversos trabalhos foram realizados na rea de reconhecimento de padres para o
auxlio a estes profissionais. Neste trabalho ns apresentamos uma das tcnicas de
classificao de padres baseadas em Redes neurais MultilayerPerceptron (MLP). O
algoritmo utilizado ser o backpropagation e duas arquiteturas de redes neurais sero
utilizadas a 10-10-1 e a 10-8-1, para o teste do algoritmo ser implementado o banco de dados
Wisconsin Breast Cancer Database (WBCD), neste caso com 10 caractersticas do ncleo das
clulas. A performance desse algoritmo testada usando a acurcia na classificao, anlise
da sensibilidade e especificidade e a matriz de confuso. A acurcia na classificao obtida
de 92,6% para a arquitetura 10-10-1 e 93% para a arquitetura 10-8-1 mostrou-se prxima dos
trabalhos j realizadas por especialistas.

Palavras chave: Cncer de mama , backpropagation , Wisconsin Breast Cancer Database

 4

LISTA DE FIGURAS

Figura 1-Arquitetura 10-10-1 ................................................................................................... 14

Figura 2- Janela de treinamento da rede neural no MATLAB arquitetura 10-10-1. ............. 17

Figura 3-Relao da variao do erro mdio quadrtico com o nmero de pocas arquitetura
10-10-1. .................................................................................................................................... 18

Figura 4- Nvel de convergncia conseguida pelo treino arquitetura 10-10-1. ........................ 19

Figura 5- Janela de treinamento da rede neural no MATLAB arquitetura 10-8-1. ............... 20

Figura 6- Relao da variao do erro mdio quadrtico com o nmero de pocas Arquitetura
10-8-1. ...................................................................................................................................... 21

Figura 7- Nvel de convergncia conseguida pelo treino arquitetura 10-8-1. .......................... 21

Figura 8- Exemplos de Curvas ROC com valores de reana faixa entre 0,5 e 0,95. (COSTA
FILHO, 1996) ........................................................................................................................... 23

Figura 9- Curva ROC para 10-10-1 .......................................................................................... 25

Figura 10-Curva ROC 10-8-1 ................................................................................................... 27

 5

LISTA DE TABELAS

Tabela 1- Matrix de confuso ................................................................................................... 24

Tabela 2- Matrix de confuso 10-8-1 ....................................................................................... 26

Tabela 3-Especificidade Sensibilidade e Acurcia para diferentes autores ............................. 28

 6

SUMRIO

1 INTRODUO ................................................................................................................. 7

2 MATERIAIS .................................................................................................................... 10

2.1 BANCO DE DADOS ................................................................................................. 10

3 METODOLOGIA ........................................................................................................... 13

3.1 COLETA DE DADOS ............................................................................................... 13

3.2 ESCOLHA DA ARQUITETURA DA REDE ........................................................... 13

3.3 INICIALIZAO DE PESOS E BIAS ..................................................................... 15

3.4 INCIO DO TREINAMENTO ................................................................................... 15

3.4.1 Treinamento Efetivo no MATLAB .......................................................... 16

3.5 MEDIDAS DE AVALIAO DE DESEMPENHO ................................................ 22

4 RESULTADOS ................................................................................................................ 24

5 ANLISE DOS RESULTADOS .................................................................................... 28

6 CONCLUSO E TRABALHO FUTUROS.................................................................. 29

REFERNCIAS BIBLIOGRFICAS ........................................................................................ 30

 7

1 INTRODUO

Simara V. da Rocha et al (2000) O cncer de mama tem se tornado cada dia mais
frequente entre a populao feminina acima dos 40 anos. Somente para o ano de 2011 foram
estimados, no Brasil, 49 mil novos casos. Uma das maneiras para detectar os tumores no
palpveis que causam cncer de mama realizar uma radiografia (mamografia) das mamas. A
mamografia atualmente a melhor tcnica de deteco precoce de leses no apalpveis na
mama com altas chances de ser um cncer curvel. Sabe-se que as chances de cura do cncer
de mama so relativamente altas, se detectado nos estgios inicias.

Para determinar a natureza de alteraes na mama, realizada a puno aspirativa por

agulha fina (PAAF), que consiste na introduo de uma agulha fina, acoplada a uma seringa
em leses palpveis ou no na mama para a retirada de uma amostra de clulas, para exame.
O posicionamento da agulha indicado por ultrassom.

Aps a coleta, o material identificado e enviado para a anlise microscpica, que

realizada por um especialista o patologista -, mdico responsvel pela anlise citopatolgica
e pelo laudo que, na maioria das vezes, define o diagnstico final.

Ubeyli (2007) props uma viso integrada da implementao de sistemas de

diagnstico automatizados para deteco de cncer de mama. Mostrou a preciso de
classificao de diferentes classificadores, entre eles tem-se: multilayer perceptron neural
network (MLPNN), combined neural network (CNN), probabilistic neural network (PNN),
recurrent neural network (RNN) e support vector machine (SVM).

Cada rede foi treinada com o banco de dados de Wisconsin contendo 9 caractersticas
e somando 683 padres de entrada , 239 malignos e 444 benignos. A rede MLPNN possuiu a
seguinte arquitetura:

Nmero de entradas 9;
Nmero de neurnios na primeira camada oculta 15;
Nmero de neurnios na segunda camada oculta 15;
Nmero de Neurnios de camada de sada - 2.
 8

Nas camadas ocultas e de sada, a funo de ativao utilizada foi a sigmide cujo
range est entre 0 e 1, introduzindo importantes propriedades . A primeira, a sigmide no
linear permitindo que a rede faa mapeamentos complexos de entrada para espaos de sada
vetoriais, segundo contnua e diferencivel, o que permite que o gradiente do erro seja
utilizado na atualizao dos pesos. O algoritmo de Levenberg-Marquardt foi utilizado para o
treinamento da rede MLPNN.

Cedeo et al (2011) apresentaram um aprimoramento em treinamento de redes neurais

para reconhecimento de padres, visando o auxlio a mdicos no diagnstico de cncer de
mama. O algoritmo de treinamento inspirado em metaplasticidade biolgica de neurnios e
na teoria de informao de Shannon. O algoritmo foi chamado de Artificial Metaplasticity
Multilayer Perceptron (AMMLP), o mesmo prioriza a atualizao dos pesos para as ativaes
menos frequentes sobre as mais frequentes.

O algoritmo citado foi comparado com o algoritmo backpropagation (BPNN) em

termos de acurcia, e o banco de dados utilizado em ambas as redes foram de Wisconsin
contendo 9 caractersticas e da mesma forma que o projeto citado anteriormente, 683 padres
de entrada , 239 malignos e 444 benignos. A rede BPNN possuiu a seguinte arquitetura:

Nmero de entradas 9;
Nmero de neurnios na camada oculta 8;
Nmero de Neurnios de camada de sada - 1.

Nas camadas ocultas e de sada, a funo de ativao utilizada foi a sigmide e como
critrios de convergncia utilizaram-se erro mdio quadrtico 0.01 e 2000 pocas.

A partir do exposto, percebemos que existem trabalhos bem sucedidos na rea de

diagnstico automatizado de cncer de mama, e seguiremos a mesma linha dos autores
citados, porm este projeto conter algumas particularidades que sero expostas mais adiante.

A primeira etapa deste projeto consiste na explicao sobre os materiais utilizados, em

especfico o banco de dados que apresenta mais caractersticas do que os que mostramos da
literatura.
 9

A segunda etapa apresenta a metodologia do projeto incluindo a escolha e organizao

do banco de dados, as arquiteturas de rede definidas, as funes de criao e treinamento da
rede, a interface de monitoramento em termos de parmetros de convergncia e seus
respectivos grficos, alm de uma explanao sobre os mtodos de avaliao de desempenho.

Na etapa final sero apresentados os resultados atravs da matriz de confuso, que nos
mostrar a acurcia de classificao alm de outras anlises como a sensibilidade e a
especificidade, a anlise dos resultados, concluso e trabalhos futuros.
 10

2 MATERIAIS

Nesta seo apresenta-se o material utilizado no desenvolvimento do trabalho. O

material listado abaixo.

2.1 BANCO DE DADOS

O banco de dados utilizado para treinamento e teste da Rede neural contm um

conjunto de 569 amostras relativo a 10 caractersticas dos ncleos de clulas mamrias sendo

calculado: o valor mdio, erro padro, mdia de trs maiores valores. O mtodo de extrao

de caractersticas pode ser melhor entendido no artigo publicado pelos criadores Wolberg,

Street e Mangasarian,1993.

Do conjunto de dados, 212 so pacientes com tecido mamrio com cncer e 357

pacientes sem cncer. As seguintes caractersticas do ncleo celular, totalizando 10, constam

nesse banco de dados: raio, permetro, rea, compacidade, suavidade, concavidade, pontos

cncavos, simetria, dimenso fractal, textura. A seguir define-se cada uma dessas

caractersticas.

Raio

O raio de um ncleo individual medido a mdia do comprimento dos segmentos de

linhas radiais definida pelo centro de gravidade do contorno e o pontos indivduas do mesmo.

Permetro

a distancia total entre pontos constituintes do contorno nuclear.

 11

rea

medida com a contagem do nmero de pixel no interior do contorno, adicionados

com metade dos pixels do permetro.

Compacidade

combinao da rea e permetro para medir a compacidade do ncleo atravs da

formula . Este nmero adimensional tem valor mnimo em um disco

circular e aumenta conforme a irregularidade da borda (Wolberg, 1994).

Suavidade

A suavidade de um contorno nuclear medida a parti da diferena entre o

comprimento de uma linha radial e o comprimento mdio das linhas radias vizinhas.

Concavidade

Traa-se cordas entre pontos no adjacentes do contorno do ncleo, e quantifica-se o

quanto o contorno do ncleo cai dentro de cada corda. Este caracterstica afetada pelo

comprimento destas cordas, com cordas menores captura-se melhor as pequenas concavidades

(Wolberg, 1994).

Pontos cncavos

Caraterstica semelhante concavidade, porm medi apenas o nmero de concavidade

do contorno.
 12

Simetria

A fim de medir a simetria, encontra-se o eixo principal, em seguida, mede a diferena

de comprimento entre as linhas perpendicular ao eixo maior para o limite nuclear em ambas

as direes.

Dimenso fractal

Medida do permetro nuclear usando rguas de tamanhos crescentes.

Textura

A textura do ncleo celular medida pelo encontro de variao de intensidades da

escala de cinza nos componentes dos pixels.

 13

3 METODOLOGIA

O classificador escolhido para realizao do diagnstico do cncer de mama foi uma

rede neural artificial do tipo MultilayerPerceptron (MLP) com retropropagao do erro. Pois a
rede MLP um dos algoritmos de aproximao mais poderosos que existem, conforme
atestado por uma gama de teoremas matemticos (MELO, 2011).

Em relao aos recursos necessrios para o desenvolvimento deste trabalho, so um

computador e um programa computacional, o programa MATLAB, o qual possui um
mdulo especializado em redes neurais. As etapas propostas para o desenvolvimento deste
trabalho so descritas a seguir:

3.1 COLETA DE DADOS

Antes de iniciar o processo de classificao das clulas em benignas ou malignas

foram feitas a separao dos dados coletados em um conjunto de treinamento e um conjunto
de testes. No conjunto de treinamento e teste foram utilizadas quantidades iguais de casos
malignos e benignos (178 benignos e 106 malignos). E foram descartadas informaes
relativas a um paciente, j que o nmero total de pacientes mpar com descrito da seo 2.1.
Portanto, foram escolhidos 50% dos dados para treinamento e 50% para validao.

3.2 ESCOLHA DA ARQUITETURA DA REDE

As arquiteturas utilizadas foram 10-10-1ver Figura 1 e 10-8-1, ou seja, 10 neurnios

na camada de entrada, 1 neurnio na camada de sada e na camada intermediria variou-se a
quantidade de neurnios.
 14

Figura 1-Arquitetura 10-10-1

Definiu-se como vetor de sadas desejadas valores de 1 representando casos de

ncleos de clulas benignas e 0 caso o paciente seja diagnosticado como doente.

A utilizao de um grande nmero de camadas escondidas no recomendada, pois o

erro mdio durante o treinamento utilizado para atualizar os pesos das sinapses da camada
imediatamente anterior, ele se torna menos til ou preciso. A nica camada que tem uma
noo precisa do erro cometido pela rede a camada de sada.

Alm do mais o teorema da Aproximao Universal afirma que uma nica camada
intermediria suficiente para um perceptron de mltiplas camadas (MLP) realizarem uma
aproximao efetiva de um conjunto de treinamento representada pelo conjunto de entradas e
o alvo. (Haykin, 2001).

Em relao s funes de ativao cada neurnio pode ter a sua prpria funo de
ativao, diferente de todos os outros neurnios. Contudo, para simplificar o projeto da rede
comum adotar a mesma para todos os neurnios.

Tem sido demonstrado empiricamente, ou seja, atravs de simulao computacional

que o processo de treinamento converge mais rpido quando se utiliza a funo de ativao
tangente hiperblica do que quando se usa a funo logstica. A justificativa para isto est no
fato da tangente hiperblica ser uma funo mpar, ou seja, ( = .(MELO, 2011)
. Por esse motivo escolheu-se utilizar a funo tangente hiperblica neste trabalho.

A tcnica de aprendizado escolhida para a rede neural foi o mtodo de Levenberg-

Marquardt (trainlm no MATLAB). Porque este mtodo bastante eficiente quando estamos
tratando de redes que no possuem mais do que algumas centenas de conexes a serem
ajustadas (HAGAN, 1994). Isto se deve, principalmente, ao fato de que estes algoritmos
necessitam armazenar uma matriz quadrada cuja dimenso da ordem do nmero de
conexes da rede.
 15

3.3 INICIALIZAO DE PESOS E BIAS

Inicializada a entrada de comandos no MATLAB definiu-se a seguinte estrutura da

rede.

Net= newff ([PR, [S1 S2SN1],{TF1 TF2TFN1},BTF)

A funo newff inicializa as sinapses da rede. Ela utiliza como padro para camadas
de neurnios tansig a funo initnw para realizar a inicializao. Esta funo baseada na
tcnica de Nguyen e Widrow e gera valores iniciais para as sinapses de uma determinada
camada de tal modelo que as regies ativas dos neurnios da camada sejam distribudas
uniformemente pelo espao de entrada. Esse mtodo tem vrias vantagens sobre a
inicializao puramente aleatria dos pesos: (1) poucos neurnios so desperdiados
(subutilizados), j que as regies ativas de todos os neurnios esto no espao de entrada, (2)
o treinamento ocorre mais rpido (pois cada rea do espao de entrada possui regies ativas
de neurnios).

3.4 INCIO DO TREINAMENTO

Depois dos cuidados tomados no dimensionamento e formao da topologia da rede

neural artificial finalmente deu-se inicio ao processo de treinamento da rede.

A primeira etapa consiste na apresentao dos exemplos do conjunto de treinamento

ao sistema. A rede processar os parmetros de entrada relativos a estes exemplos, fornecendo
ento as respostas (sadas da rede) a este estmulo. Estas sadas da RN devero ser
comparadas com os valores reais dos parmetros de sada correspondentes aos exemplos do
conjunto de treinamento, e desta comparao ser obtido um valor de erro da fase de
treinamento (Dyminski, 2000).
 16

Haykin (2001) descreve que no existem critrios de parada bem formalizados para o
algoritmo backpropagation, mas sim, critrios de parada razoveis do ponto de vista prtico e
que so normalmente empregados.

Neste trabalho utilizou-se o critrio de parada o valor da taxa de variao do erro

mdio quadrtico igual a , ou seja, o algoritmo converge quando a taxa de variao do
erro mdio quadrtico por poca for menor que esse valor.

Procura-se, ento minimizar o erro de treinamento por meio de um algoritmo

matemtico, e ao mesmo tempo controlar a capacidade de generalizao da rede mediante a
apresentao peridica de exemplos do conjunto de teste, obtendo-se assim o chamado erro de
teste, atravs da comparao das sadas da rede com as respostas desejadas correspondentes
aos exemplos de teste. Monitorando-se os dois valores de erro (de treinamento e de teste),
deve-se procurar chegar a um ponto timo, equivalente minimizao de ambos os erros, em
que a rede estar bem treinada e com sua capacidade de generalizao mantida (Dyminski,
2000).

3.4.1 Treinamento Efetivo no MATLAB

Arquitetura 10-10-1
 17

Figura 2- Janela de treinamento da rede neural no MATLAB arquitetura 10-10-1.

Na marcao 1 tem-se uma representao da arquitettura da rede, so exibidos um

diagrama unindo as 3 camadas escolhidas com suas respectivas funes de ativao.

Na marcao 2, dito o algoritmo de treinamento escolhido trainlm mencionado

anteriormente.

Na marcao 3 so os dados referentes ao progresso da performance, para o

treinamento foram usados 305 pocas. O treinamento da rede encerrou-se pelo motivo exibido
na marcao 4 tendo alcanado o erro quadrtico especificado impossibilitando assim uma
convergencia maior do que a j encontrada.
 18

Figura 3-Relao da variao do erro mdio quadrtico com o nmero de pocas arquitetura 10-10-1.
 19

A Figura 3 exibe o desempenho do treinamento da rede neural, mantendo uma

melhora at o ponto em que estaciona por volta das 305 pocas.

Figura 4- Nvel de convergncia conseguida pelo treino arquitetura 10-10-1.

A Figura 4 apresenta o nvel de aperfeioamento conseguido pela rede neural

emparelhando a resposta ideal da amostra de sada com a resposta conseguida, o rendimento
obtido alcanou a convergncia de 99,979%.
 20

Arquitetura 10-8-1

Figura 5- Janela de treinamento da rede neural no MATLAB arquitetura 10-8-1.

 21

Figura 6- Relao da variao do erro mdio quadrtico com o nmero de pocas Arquitetura 10-8-1.

Figura 7- Nvel de convergncia conseguida pelo treino arquitetura 10-8-1.

 22

3.5 MEDIDAS DE AVALIAO DE DESEMPENHO

Com o objetivo de comparar o desempenho do mtodo utilizado neste trabalho com

outros encontrados na literatura, mostraremos algumas medidas para avaliar o mtodo
proposto.

S: Sensibilidade: percentual de classificao correta do paciente doente

VP
S
VP FN

E: Especificidade: percentual de classificao correta do paciente no doente

VN
E
FP VN

Ac: Acurcia: percentual total de acerto

VN VP
Ac
VP FP VN FN

onde: VP verdadeiro positivo, pacientes doentes classificados corretamente.

VN verdadeiro negativo, pacientes normais classificados corretamente.

FP falsos positivos, pacientes normais classificados como doentes.

FN falsos negativos, pacientes doentes classificados como no doentes.

ROC uma tcnica para visualizar, avaliar, organizar e selecionar classificadores

baseado em suas performances. Para realizar estas anlises, grficos ROC podem mostrar o
limiar entre taxas de acertos e alarmes falsos (taxas de erros) dos classificadores (SILVA,
2006).

A Curva ROC representa a relao entre a sensibilidade e especificidade de um teste

(ou exame). A sensibilidade apresentada no eixo das ordenadas e (1- especificidade) no eixo
 23

das abscissas (vide Figura 1). A partir de pares (Sensibilidade, 1 - Especificidade) obtidos
com valores de corte diferentes, tm-se a curva ROC.

Figura 8- Exemplos de Curvas ROC com valores de rea na faixa entre 0,5 e 0,95. (COSTA FILHO, 1996)
 24

4 RESULTADOS

O desempenho dos classificadores tanto para arquitetura com 10 neurnios na camada

oculta com a de 8 neurnios medido utilizando o resultado que apresentou o melhor
resultado para a acurcia na fase de teste, ou seja, para a taxa de classificao correta dos
casos malignos e benignos.

Arquitetura 10-10-1

Tabela 1 mostra a os resultados obtidos pelo classificador utilizando a arquitetura 10-

10-1.

Tabela 1- Matrix de confuso

Confusion Matrix

98 13 88.3%
0
34.5% 4.6% 11.7%
Output Class

8 165 95.4%
1
2.8% 58.1% 4.6%

92.5% 92.7% 92.6%

7.5% 7.3% 7.4%

0 1
Target Class

Analisando a Tabela 1 temos que o classificador possui uma Sensibilidade de 92.7%,

uma Especificidade de 92.5% e uma Acurcia de 92.6%.
 25

Outra medida de desempenho do classificador e mostrado na Figura 9, onde a rea sob

a curva possui um valor de 0.96468.

ROC
1

0.9

0.8

0.7

0.6
True Positive Rate

0.5

0.4

0.3

0.2

0.1

0
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
False Positive Rate

Figura 9- Curva ROC para 10-10-1

 26

Arquitetura 10-8-1

Analisando a Tabela 2 temos que o classificador possui uma Sensibilidade de 92.7%,

uma Especificidade de 93.4% e uma Acurcia de 93.0%.

Tabela 2- Matrix de confuso 10-8-1

Confusion Matrix

99 13 88.4%
0
34.9% 4.6% 11.6%
Output Class

7 165 95.9%
1
2.5% 58.1% 4.1%

93.4% 92.7% 93.0%

6.6% 7.3% 7.0%

0 1
Target Class

Outra medida de desempenho do classificador e mostrado na Figura 10, onde a rea

sob a curva possui um valor de 0.96476.
 27

ROC
1

0.9

0.8

0.7
True Positive Rate

0.6

0.5

0.4

0.3

0.2

0.1

0
0 0.2 0.4 0.6 0.8 1
False Positive Rate

Figura 10-Curva ROC 10-8-1

 28

5 ANLISE DOS RESULTADOS

Tabela 3-Especificidade Sensibilidade e Acurcia para diferentes autores

Autor Mtodo Arquitetura Especificidade Sensibilidade Acurcia

Ubeli(2007) MLPNN(Backpropagation) 15-15-2 92,34 91,19 91,92
Cedeo(2011) MLPNN(Backpropagation) 9-8-1 98,31 87,37 94,51
Este estudo MLPNN(Backpropagation) 10-8-1 93,4 92,7 93
Este estudo MLPNN(Backpropagation) 10-10-1 92,5 92,7 92,6

Uma forma de analisar os resultados obtidos seria comparar nosso estudo com outros
estudos da literatura, referente ao mesmo objetivo.

Portanto como mostrado na Tabela 3, a acurcia deste trabalho est melhor que o
estudo de Ubeli, 2007 e prximo ao estudo de Cedeo, 2011.
 29

6 CONCLUSO E TRABALHO FUTUROS

Neste estudo, uma Rede Neural Artificial foi apresentada para classificao de cncer
de mama baseado em MultilayerPerceptron (MLP) com retropropagao do erro
(Backpropagation). O estudo mostrou-se ter um bom desempenho, obtendo como melhor
resultado uma acurcia de 93%.

Portanto o sistema atendeu seu objetivo inicial, podendo ser utilizado no auxlio do
diagnstico de cncer de mama.

Para futuros trabalhos podemos propor melhoria da preciso da classificao por uso
de diferentes arquiteturas e algoritmos de treinamento, como por exemplo, utilizando 70% dos
dados para treinamento, uma vez que usamos 50%.
 30

REFERNCIAS BIBLIOGRFICAS

MELO, Davyd Bandeira de. Um sistema de Reconhecimento de comandos

de voz Utilizando a Rede Neural , Universidade Federal do Cear,2011.

HAYKIN, Simon. Redes Neurais Princpios e Prtica. Bookman, 2001.

HAGAN, M. T.; MENHAJ, M. (1994). Training feedforward networks with

the Marquardt algorithm. IEEE Transactions on Neural Networks, vol. 5, no. 6.

Dyminski, A. S. (2000). Anlise de Problemas Geotcnicos Atravs de

Redes Neurais.Tese PhD. Pontifcia Universidade Catlica do Rio de Janeiro. Rio
de Janeiro, RJ.

HAYKIN, S. Redes Neurais: princpios e prticas; trad. Paulo Martins

Engel. -2.ed. Porto Alegre: Bookman 2001.

SILVA, F.C., Analise Roc, So Jos dos Campos, Dezembro, 2006.

COSTA FILHO, C. F. F., Deteco de Contornos de Ventrculo Esquerdo

em Imagens de Medicina Nuclear Utilizando Redes Neurais. Tese de Doutorado,
Faculdade de Engenharia Eltrica, UNICAMP, Novembro 1996.