Você está na página 1de 23

MODELAGEM DO RISCO DE CRDITO: UM ESTUDO DO SEGMENTO DE

PESSOAS FSICAS EM UM BANCO DE VAREJO


Antnio Alves Amorim Neto 1
Av. Prof. Moraes Rego, 1235 - Cidade Universitria
CEP: 50670-901 Recife/PE Brasil
E-mail: amorim@rce.neoline.com.br ; amorim@fir.br
Charles Ulisses De Montreuil Carmona 1
Av. Prof. Moraes Rego, 1235 - Cidade Universitria
CEP: 50670-901 Recife/PE Brasil
Tel.: (81) 3271-8368 / 3274-7176 R.168 / Fax: 3271-8870
E-mail: carmona@ufpe.br
1

Universidade Federal de Pernambuco - UFPE


Programa de Ps -graduao em Administrao - PROPAD
CEP: 50670-901 Recife/PE Brasil

Resumo:
Nas ltimas dcadas diversos modelos estatsticos de probabilidade foram desenvolvidos
pelas instituies financeiras. Estes modelos, no entanto, na maioria das vezes so especficos
para anlise do crdito de empresas. O segmento de pessoas fsicas ao contrrio do segmento
de pessoas jurdicas bastante homogneo sob a tica financeira, em outras palavras, este
segmento possui poucos ndices financeiros para serem analisados. As principais diferenas
entre os clientes bancrios do segmento de pessoas fsicas esto relacionadas ao seu
comportamento. A funcionalidade dos modelos estatsticos multivariados aplicados ao
gerenciamento do crdito para pessoas fsicas no Brasil ainda uma incgnita. O propsito
deste artigo, portanto, consiste em preencher uma lacuna existente no meio acadmico
brasileiro no que se refere aos modelos de gerenciamento e concesso do crdito para pessoas
fsicas. Os resultados encontrados nesta pesquisa trazem indcios que os modelos
multivariados podem ser utilizados como ferramentas eficazes no gerenciamento do crdito
bancrio para o segmento de pessoas fsicas no Brasil.

Palavras -chaves: Risco de crdito, credit scoring, eficincia bancria.

REAd Edio 40 Vol. 10 No. 4, jul-ago 2004

Modelagem do risco de crdito:


Um estudo do segmento de pessoas fsicas em um banco de varejo

MODELAGEM DO RISCO DE CRDITO: UM ESTUDO DO SEGMENTO DE


PESSOAS FSICAS EM UM BANCO DE VAREJO

1 .Introduo
As mudanas testemunhadas na economia brasileira aps a introduo do Plano Real
em julho de 1994, alaram a questo de administrao de risco de crdito a uma posio de
destaque nas instituies financeiras locais. Antes disso, a alta inflao havia inibido o
crescimento do mercado de emprstimos no pas. Ao invs de emprestar a clientes do setor
privado (a um risco de crdito maior), os grandes bancos comerciais preferiam financiar a
dvida interna do pas (a um risco de crdito menor), com maior liquidez, mas ainda assim
cobrando taxas de juros substanciais (PRADO, BASTOS e DUARTE JR., 2000).
A expanso das operaes de crdito, no Brasil aps o Plano Real foi abrangente em
vrios segmentos da economia, entretanto, as operaes de crdito para pessoas fsicas foram
as que mais cresceram nos ltimos anos. As informaes consolidadas divulgadas pelo Banco
Central do Brasil para cada modalidade de credito do sistema financeiro nacional mostram
que j no incio do ano 2001 o saldo total das operaes concedidas a pessoas fsicas
representava um volume superior a 50% do saldo total das operaes concedidas a pessoas
jurdicas.
O presente trabalho justifica-se por tratar de um tema de fundamental importncia para
as empresas que trabalham com crdito para pessoas fsicas: A utilizao de tcnicas
estatsticas multivariadas no desenvolvimento de modelos para previso de inadimplncia no
segmento de pessoas fsicas em um banco comercial brasileiro.

2. Referencial terico
2.1 Sistemas de pontuao de crdito (credit scoring )

Credit scoring pode ser definido como o processo de atribuio de pontos s variveis
de deciso mediante tcnicas estatsticas. Trata-se de processo que define a probabilidade de
que um cliente com certas caractersticas, pertena ou no a um grupo possuidor de outras
determinadas caractersticas consideradas desejveis, hiptese em que se aprova um limite de
crdito, esta tcnica, portanto, estabelece uma regra de discriminao de um determinado
cliente solicitante de crdito (VICENTE, 2001, p.49).
REAd Edio 40 Vol. 10 No. 4, jul-ago 2004

Antnio Amorim Neto & Charles Ulisses De Montreuil Carmona

Os sistemas de pontuao de crdito definem a probabilidade de um cliente vir a ser


bom pagador ou mau pagador com base em suas caractersticas: Existem vrios fatores
que esto associados possibilidade de inadimplncia. Um modelo de escoragem de crdito
combina os fatores mais importantes associados possibilidade de inadimplncia, determina o
inter-relacionamento entre eles e atribui nmeros para gerar o escore final. A prtica tem por
objetivo produzir um modelo de escoragem de crdito no qual quanto maior for o escore,
menor ser o risco de perda com devedores duvidosos (GHERARDI e GHIELMETTI,
2000).
Os sistemas de pontuao de crdito so encontrados em praticamente todos os tipos
de anlises de crdito, desde crdito ao consumidor at emprstimos comerciais. A idia
essencialmente a mesma: A pr-identificao de certos fatores-chave que determinam a
probabilidade de inadimplncia, e sua combinao ou ponderao para produzir uma
pontuao quantitativa (SAUNDERS, 2000, p. 13).
Os modelos tradicionais de credit scoring atribuem pesos estatisticamente
predeterminados a alguns dos atributos dos solicitantes, para gerar um escore de crdito. Se
esse escore favorvel, quando comparado a um valor de corte, ento a solicitao aprovada
(CAOUETTE, ALTMAN e NARAYANAN, 1998, p.182).
A figura abaixo, apresentada por Sousa e Chaia (2000) ilustra o processo de concesso
de crdito atravs do uso de modelos de credit scoring:

Figura 2.1 Processo de concesso de crdito atravs do uso de modelos de


credit scoring

Fonte: SOUSA E CHAIA, 2000, p.21.


O credit scoring representa um processo cientfico, porm, no inibe a possibilidade
de se recusar um bom pagador ou se aceitar um mau pagador. Isto ocorre porque nenhum
REAd Edio 40 Vol. 10 No. 4, jul-ago 2004

Modelagem do risco de crdito:


Um estudo do segmento de pessoas fsicas em um banco de varejo

sistema de gesto de crdito consegue o total de informaes relevantes na classificao do


devedor, e, mesmo que conseguisse, o seu custo tornaria a anlise economicamente invivel
(SOUSA E CHAIA, 2000, p.21).
Os modelos de credit scoring se dividem em duas categorias: modelos de aprovao
de crdito e modelos de escoragem comportamental, tambm conhecidos como behavioural
scoring (CAOUETTE, ALTMAN e NARAYANAN, 1998, p.180).
O behavioural scoring uma ferramenta para previso de eventos associados ao risco
de crdito, como a inadimplncia e pagamentos em dia, entre outras caractersticas. Para tanto
leva em considerao aspectos comportamentais e de atividades de clientes da instituio
(VICENTE, 2001, p.47).
A principal diferena entre as duas categorias que nos modelos de escoragem
comportamental, a instituio financeira analisa o comportamento do cliente em operaes
anteriores, enquanto que nos modelos de aprovao de crdito a instituio financeira no
conhece o cliente: A informao adicional no behavioural scoring o histrico de compras e
pagamentos do cliente (THOMAS, 2000).
No behavioural scoring so utilizadas variveis tais como nmero de atrasos no ltimo
ano, volume da transao, utilizao mdia da linha. Desta maneira cada operao recebe uma
classificao, que representa seu risco de crdito relacionado ao comportamento do tomador.
Enquanto os modelos de aprovao de crdito preocupam-se apenas com a concesso
e o volume de crdito, os modelos de escoragem comportamental podem ser utilizados para
gesto de limites de crdito rotativo, autorizaes de compra acima do limite em caso de
cartes de crdito, ofertas de crdito, cobrana preventiva, entre outras estratgias
(VICENTE, 2001, p.48).

2.2 Histrico
David Durand em 1941 foi o primeiro a reconhecer que a tcnica de anlise
discriminante, inventadas por Fisher em 1936, poderia ser usada para separar bons e maus
emprstimos (THOMAS, 2000, p. 6). Em Risk Elements in Consumer Installment Financing,
1941 (National Bureau of Economic Research, N.Y.), Durand apresentou um modelo que
atribua pesos para cada uma das variveis usando anlise discriminante (KANG e SHIN,
2000, p.2198).
A popularizao dos sistemas de credit scoring, no entanto, s ocorreu nos anos 60:
A chegada dos cartes de crdito na dcada de 60 fez com que os bancos intensificassem o
REAd Edio 40 Vol. 10 No. 4, jul-ago 2004
4

Antnio Amorim Neto & Charles Ulisses De Montreuil Carmona

uso de credit scoring. O nmero de pessoas que solicitavam carto de crdito a cada dia
tornou economicamente impossvel ter mo-de-obra suficiente para decises de emprstimos
que no fossem automatizadas (THOMAS, 2000).
No meio acadmico os estudos comearam na dcada de 60. O modelo de Altman
(1968) considerado um marco terico no estudo do risco de crdito:

Os estudos acadmicos sobre o risco, no entanto, remontam ao final


da dcada de 60, num dos trabalhos pioneiros sobre risco de crdito,
Altman (1968) argumentava que o desenvolvimento de um novo
modelo preditivo era necessrio em funo do crescimento das
falncias e mudanas financeiras nas organizaes, agravado pelo
drstico aumento do tamanho mdio de empresas falidas. Apresentou
ento, o clssico modelo de anlise discriminante de sete variveis
ZETA, continuao dos trabalhos j apresentados em 1968 com cinco
variveis(BRUNI, FUENTES e FAM, 1997, p.1)

O avano na computao permitiu o uso de outras tcnicas na construo de sistemas


de credit scoring. Nos anos 80 foram introduzidas as tcnicas de regresso logstica e
regresso linear, as duas principais tcnicas utilizadas atualmente para a construo dos
modelos. Mais recentemente tcnicas de inteligncia artificial como sistemas especialistas e
redes neurais artificiais foram implantadas com sucesso (THOMAS, 2000, p.7).

2.3 Vantagens dos modelos de credit scoring

Sobre as vantagens relativas ao uso dos modelos de credit scoring, CAOUETTE,


ALTMAN e NARAYANAN (1998) dizem:
Os modelos de credit scoring oferecem muitas vantagens. So
objetivos e consistentes, que so caractersticas desejveis para
qualquer instituio, e especialmente para aquelas que no possuem
uma forte cultura de crdito. Se desenvolvidos apropriadamente, eles
podem eliminar prticas discriminatrias nos emprstimos. Eles tendem
a ser relativamente inexpressivos, bastante simples e de fcil
interpretao. A instalao de tais modelos relativamente fcil. As
REAd Edio 40 Vol. 10 No. 4, jul-ago 2004
5

Modelagem do risco de crdito:


Um estudo do segmento de pessoas fsicas em um banco de varejo

metodologias usadas para construir esses modelos so comuns e bem


entendidas, assim como as abordagens usadas para avalia-los. Os
regulamentadores aprovam modelos bem projetados e baseados em
estatsticas. Uma instituio capaz de proporcionar melhor servio ao
consumidor pela sua habilidade de aprovar ou negar um pedido de
emprstimo rapidamente. Esse um fator importante no mundo de
mudanas rpidas como o atual.
Por outro lado Silva (2000) conclui: A agilidade que o banco ou a empresa que
concede crdito ganha altamente valiosa, pois ao invs do analista ficar examinando e
concluindo sobre cada um dos ndices, podero dedicar seus tempos a outros assuntos
relevantes e que no possam ser sistematizados.
Parkinson e Ochs (1998, p.26-27) elaboraram um resumo com as principais vantagens
do uso de sistemas de credit scoring:
Revises de crdito consistente: Os dados histricos de outros devedores so um bom
indicador de consistncia para reviso de crdito.
Informaes Organizadas: A sistematizao e organizao das informaes contribuem para a
melhoria do processo.
Eficincia no trato de dados fornecidos por terceiros: O processo de Credit Scoring torna as
informaes de banco de dados fornecido por terceiros, anteriormente classificadas como
dados acessrios, parte integrante do sistema.
Diminuio da metodologia subjetiva: O uso de um sistema quantitativo parametrizado que
minimiza o subjetivismo.
Compreenso do processo: O modelo construdo sintetiza o processo de concesso de crdito
da empresa, fornecendo maiores subsdios para entend-lo.
Maior eficincia do processo: A anlise de crdito centrada em um nmero menor de
fatores, reduzindo o tempo do processo e melhorando a eficincia.

2.4 Limitaes e desvantagens dos modelos de credit scoring

Apesar das vantagens em relao a outros modelos citadas acima, os modelos de


pontuao de crdito possuem tambm diversas desvantagens.
Entre as principais limitaes dos modelos de credit scoring, Silva (2000) destaca o
aspecto temporal da amostra:
REAd Edio 40 Vol. 10 No. 4, jul-ago 2004

Antnio Amorim Neto & Charles Ulisses De Montreuil Carmona

O tempo (a poca) uma das principais limitaes apresentadas


pelos modelos desenvolvidos a partir do uso de anlise discriminante.
Com o decorrer do tempo, tanto as variveis quanto seus pesos
relativos sofrem alteraes. As variveis que, segundo a anlise
discriminante, so as que melhor classificam sob determinada
conjuntura econmica, podem no ser em outra situao.
Caouette, Altman e Narayanan (1998) tambm destacam o aspecto temporal: Um
modelo de credit scoring pode degradar-se pelo tempo se a populao que ele aplicado
diverge da populao original que foi usada para construir o modelo.
O aspecto geogrfico outra grande limitao para os sistemas de credit scoring: Os
aspectos da regio geogrfica limitam o uso de um modelo nico, sendo que o
desenvolvimento de diversos modelos poder exigir que disponha de amostras muito grandes
(SILVA, 2000, p.308).
Parkinson e Ochs (1998, p.26-27) destacaram as seguintes desvantagens do uso de
sistemas de credit scoring:
Custo de desenvolvimento: o desenvolvimento de um sistema de credit scoring traz no
apenas os custos do sistema, mas altos custos de manuteno com suporte tcnico e recursos
humanos.
Modelos com excesso de confiana: Os modelos de Credit Scoring podem adquirir Status
de Perfeitos, no permitindo crtica de seus resultados.
Problemas de Valores no preenchidos: A falta de dados no caractersticos de
determinados clientes, ou mesmo a falta de informao pode causar problemas na sua
utilizao, assim como resultados no esperados.
Interpretao equivocada dos escores: O uso inadequado do sistema devido falta de
conhecimento pode ocasionar problemas para a instituio.

3. Mtodos estatsticos aplicados em modelos de credit scoring

As trs principais tcnicas para elaborao de sistemas de credit scoring so a anlise


discriminante, a regresso logstica e, mais recentemente modelos baseados em redes neurais.
A tcnica de anlise discriminante foi a primeira tcnica estatstica utilizada na criao
de modelos de escoragem de crdito: A aplicao de modelos matemticos e estatsticos para
a deciso de concesso de crdito ganhou reconhecimento quando David Duran, da National
Bureau of Economic Research (Agncia Nacional de Pesquisa Econmica), em Nova Iorque,
REAd Edio 40 Vol. 10 No. 4, jul-ago 2004
7

Modelagem do risco de crdito:


Um estudo do segmento de pessoas fsicas em um banco de varejo

publicou o seu estudo em 1941 intitulado Risk Elements in Consumer Installment


Financing (Elementos de Risco no Financiamento a Prazo do Consumidor). Ele foi o
primeiro a usar a anlise discriminante para medir o risco de crdito. Subseqentemente,
foram feitas vrias tentativas para investigar os sistemas de crdito estatsticos, mas a
indstria de crdito no considerou seriamente os modelos de pontuao de crdito at
meados de pontuao de crdito at meados da dcada de sessenta (COLE e MISHLER,
1998).
A partir da dcada de 80 foi introduzida a tcnica de regresso logstica, e mais
recentemente foram implantados mtodos de anlise de crdito baseados em redes neurais
(THOMAS, 2000).
Os modelos mais utilizados atualmente continuam sendo os modelos de anlise
discriminante e os modelos de regresso logstica: A evoluo das tcnicas preditivas de
insolvncia possibilitou a utilizao de modelos estatsticos mais sofisticados como a Anlise
Discriminante Mltipla (ADM) ou a Anlise de Regresso Logstica (Logit), presentes em
boa parte dos modelos acadmicos elaborados (BRUNI, MURRAY e FAM, 1998).
CAOUETTE, ALTMAN e NARAYANAN (1998, p.182) diz que em geral utiliza-se
tcnicas estatsticas multivariadas tais como anlise discriminante e anlise de regresso.

3.1 Anlise discriminante


Os primeiros estudos acadmicos sobre riscos de insolvncia se baseavam em anlises
de quocientes, ndices contbeis, e deduziam que empresas em processos de insolvncia
apresentavam quocientes bastante diferenciados das solventes. Nestes estudos, uma das
principa is questes levantadas consistia em se determinar quais ndices seriam os mais
importantes na predio e qual a ponderao ideal desses ndices. Surgiu, ento, a anlise
discriminante multivariada como capaz de solucionar este questionamento (BRUNI,
MURRAY e FAM, 1998).
KASSAI e KASSAI (1998, p.6) dizem: A anlise discriminante, tambm chamada de
anlise do fator discriminante ou anlise discriminante cannica, uma tcnica estatstica
desenvolvida a partir dos clculos de regresso linear e, ao contrrio desta, permite resolver
problemas que contenham no apenas variveis numricas, mas tambm variveis de natureza
qualitativa, como o exemplo de empresas solventes e insolventes.
A anlise discriminante permite descobrir as ligaes que existem entre um carter
qualitativo a ser explicado e um conjunto de caracteres quantitativos explicativos. Tambm
REAd Edio 40 Vol. 10 No. 4, jul-ago 2004
8

Antnio Amorim Neto & Charles Ulisses De Montreuil Carmona

permite prever, por meio de um modelo, os valores da varivel que derivam dos valores
tomados pelas variveis explicativas (GIMENES e URIBE-OPAZO, 2001, p.67).
O objetivo fundamental da anlise discriminante a alocao de todos os elementos da
amostra em grupos bem definidos, evitando todas as formas de superposio. Os dados de
cada elemento, de cada um dos grupos, so coletados e, em seguida procur a-se derivar uma
funo, que nada mais que uma combinao linear, para melhor discriminar os grupos entre
si. O resultado almejado a obteno de um conjunto nico de coeficientes para cada uma das
variveis independentes e que classifique, com a mxima preciso, cada elemento observado
nos grupos previamente definidos (GUIMARES 2001, p.33).
A funo discriminante linear tem a forma:

Yx = 0 + 1 X1 + 2 X2 + 3 X3 + . + ? n Xn
Onde:

Yx = Varivel Dependente, reflete o valor do escore;


0 = Intercepto;
1 , 2 , 3 , , n = Pesos atribudos a cada varivel;
X1 , X2 , X3 , , Xn = Variveis discriminantes;
A classificao de cada cliente efetuada a partir da funo discriminante estimada, e
atravs do clculo do valor dessa funo para cada cliente (escore). De acordo com o critrio
de classificao de Fisher para dois grupos, o cliente dever ser classificado como bom
pagador se estiver mais prximo do centride deste grupo do que do centride do grupo dos
maus pagadores, isto , se a distncia entre o seu escore discriminante e o centride do grupo
1 for menor que a distncia entre o seu escore e o centride do grupo 2, e no grupo dos maus
pagadores no caso contrrio (COSTA, 1992, p.62).
Sejam X1 e X2 as variveis observadas para cada indivduo de cada grupo. No grfico
abaixo esto representadas as observaes efetuadas:

REAd Edio 40 Vol. 10 No. 4, jul-ago 2004

Modelagem do risco de crdito:


Um estudo do segmento de pessoas fsicas em um banco de varejo

Grfico 3.1 Espao discriminante

Fonte: GUIMARES, 2000, p.33.

3.2 Regresso logstica


Os modelos de risco de crdito que utilizam a regresso logstica comearam a ser
usados na dcada de 80. Desde OHLSON (1980) a anlise LOGIT usada freqentemente
para a avaliao de riscos de ina dimplncia, baseada em caractersticas financeiras (por
exemplo, ndices das empresas).
A anlise de regresso logstica uma tcnica de probabilidade condicional que
usada para estudar a relao entre uma srie de caractersticas de um indivduo e a
probabilidade de que o indivduo pertena a um entre dois grupos estabelecidos anteriormente
(GIMENES e URIBE-OPAZO, 2001).
A tcnica de regresso logstica (LOGIT) aplicada em situaes nas quais se deseja
predizer a presena ou ausncia de uma caracterstica, ou resultado, baseado em valores de
um conjunto de variveis independentes. No caso da mensurao do risco de crdito, a
regresso logstica utilizada para a avaliao da probabilidade de insolvncia (ou
inadimplncia) de determinado grupo de clientes, relativos a situaes de emprstimo ou
financiamento (VICENTE, 2001, p.82).
Os modelos elaborados com base na anlise LOGIT usam um conjunto de variveis
contbeis para prever a probabilidade de inadimplncia do tomador de emprstimo,
REAd Edio 40 Vol. 10 No. 4, jul-ago 2004

10

Antnio Amorim Neto & Charles Ulisses De Montreuil Carmona

assumindo que a probabilidade de inadimplncia distribuda logisticamente, ou seja,


estatisticamente assume uma forma funcional logstica, e , por definio, forada a cair entre
0 e 1 (BRUNI, MURRAY e FAMA, 1998).
O modelo LOGIT cria para cada empresa um escore Z:

Z = a + Xi

Onde Xi o valor da i-sima varivel.


Estudos comparativos entre modelos que utilizam tcnicas de regresso logstica e os
modelos de anlise discriminante mostrou que a capacidade de previso desses modelos
similar, portanto, no existe uma tcnica estatstica predominante.
GIMENES e URIBE-OPAZO (2001, p.74) concluem a comparao entre as tcnicas
de anlise discriminante e LOGIT com o seguinte comentrio: Na realidade, no h uma
metodologia nica para a construo de modelos de previso de insolvncia: muito menos
existe um consenso terico sobre qual das metodologias a melhor.
importante destacar que na anlise LOGIT no existem restries normalidade
multivariada na distribuio das variveis independentes, nem a igualdade de matrizes de
covarincia dos dois grupos, como ocorre na anlise discriminante, onde se pressupe a
existncia dessas condies (GIMENES e URIBE-OPAZO, 2001, p.70).

4. Metodologia

4.1 Composio da amostra


A amostra desta pesquisa est formada por dois grupos de indivduos selecionados
aleatoriamente entre os tomadores de emprstimo pessoa fsica de um banco comercial:
1.

Grupo A = 172 clientes sem atraso no pagamento de suas operaes,

classificados como risco nvel A;


2.

Grupo H = 172 clientes inadimplentes.

Nessa pesquisa os clientes inadimplentes so caracterizados como indivduos com


atraso no pagamento de suas operaes superior a 180 dias e inferior a 360 dias, classificados
de acordo com a resoluo 2.682/99 do Banco Central do Brasil como risco nvel H.
REAd Edio 40 Vol. 10 No. 4, jul-ago 2004

11

Modelagem do risco de crdito:


Um estudo do segmento de pessoas fsicas em um banco de varejo

4.2 Mtodo de seleo

Para selecionar os indivduos da amostra utilizamos mtodos de aleatoriedade


baseados em nmeros gerados por computador (aplicativo Microsoft Excel). Os dados
utilizados referem-se a operaes de crdito concedidas a pessoas fsicas pelas agncias
sediadas na cidade de Recife (PE) de um banco comercial brasileiro. Estas informaes esto
disponveis em seu sistema de informaes interno atravs do aplicativo especfico para esse
fim. Os dados coletados foram impressos e arquivados para futuras eventuais consultas.

4.3 Parmetros da amostra


A classificao consiste em dados referentes situao/classificao das operaes no
ms de julho do ano de 2001, e obedece aos seguintes parmetros:
A. Indivduos com responsabilidade cujo valor seja superior a R$ 200,00 Foram
relacionados apenas indivduos cujo valor mnimo do somatrio de suas operaes seja de
duzentos reais, pois operaes cujo limite seja inferior a 200 reais muitas vezes so deferidas
sem a necessidade da atualizao de dados cadastrais, o que impossibilita a coleta de dados.
Ser assumido o pressuposto de que as operaes com valores inferiores a duzentos reais
representam um percentual insignificante no montante da carteira de crdito;
B. Clientes que possuam operaes a pelo menos 12 meses Ser assumido o
pressuposto que clientes com operaes com prazo menor que 12 meses em julho/2001
podem estar classificados indevidamente no grupo de bons pagadores devido ao curto
perodo de tempo analisado;
C. Clientes que permaneceram 12 meses no mesmo status Em julho/2002 foram
eliminados da amostra clientes inadimplentes que pagaram suas dvidas, assim como, clientes
adimplentes que se tornaram inadimplentes.
Para desenvolver os modelos de escoragem do crdito utilizamos duas tcnicas
estatsticas distintas, Anlise Discriminante e Regresso Logstica, sendo que para cada
tcnica foram desenvolvidos dois modelos: Um modelo classificatrio para a concesso do
crdito, e um modelo classificatrio para o gerenciamento do crdito. Estes modelos foram
comparados e avaliados.

REAd Edio 40 Vol. 10 No. 4, jul-ago 2004

12

Antnio Amorim Neto & Charles Ulisses De Montreuil Carmona

4.4 Avaliao dos modelos

Se o modelo de previso for exato, a exatido da previso ser melhor que 80 ou 90%
sobre o horizonte de previso (CAOUETTE, ALTMAN e NARAYANAN, 1998, p.214).
Assumindo que consideramos um modelo funcional quando este apresenta uma taxa de
sucesso (nmero de acertos por casos totais) superior a 80%, podemos expressar a seguinte
hiptese:
H 0 : 1 80%
H 1 : 1 < 80%
Onde:

1 = Mdia de acertos do modelo.

Logo, se H0 no for rejeitada, pode -se considerar o modelo de risco de crdito


desenvolvido vlido para o objetivo proposto.

4.5 Principais limitaes da metodologia


Abaixo enumeramos as principais limitaes metodolgicas desta pesquisa:

Tamanho da amostra. De uma forma geral quanto maior a amostra, maior ser a credibilidade
do modelo. No entanto, devido a limitaes tcnicas e temporais, a amostra limitou-se a 344
indivduos;
Ausncia da amostra de validao. Antes de desenvolver a frmula de escoragem de crdito,
o ideal dividir a amostra total em: amostra de desenvolvimento e amostra de validao. A
frmula de escoragem de crdito desenvolvida atravs da amostra de desenvolvimento e
testada atravs da amostra de validao, ou seja, a comparao do comportamento previsto
com o comportamento real, usando as amostras de desenvolvimento e validao. O teste de
validao mostra se o sistema de escoragem de crdito est funcionando, independentemente
da amostra na qual foi desenvolvido. No caso dessa pesquisa, e, em muitos outros trabalhos a
limitao quantitativa da amostra total impede a diviso em dois grupos;
Ausncia de indivduos com classificaes de crdito intermedirias. Neste trabalho no
estamos analisando a deteriorao do crdito, ou seja, incorporando as classes intermedirias
entre a classe de risco A e H. A amostra presente nessa pesquisa limita-se a utilizar
clientes sem atrasos, e, clientes com atraso superior a 180 dias;

REAd Edio 40 Vol. 10 No. 4, jul-ago 2004

13

Modelagem do risco de crdito:


Um estudo do segmento de pessoas fsicas em um banco de varejo

Perodo de anlise. Em geral, anlise de perodo temporal maior traz uma maior compreenso
dos modelos. A partir dessas informaes seria possvel arbitrar o perodo de anlise ideal. A
limitao tcnica, no entanto, fez com que fosse utilizado o perodo referente 1ano;
Ausncia da taxa de recuperao de crdito. Um percent ual reduzido dos crditos
inadimplentes renegociado. Especialistas calculam que entre 1,5% e 3% das operaes em
prejuzo (atraso superior a 1 ano) so recuperadas. Nos modelos presentes nessa pesquisa a
taxa de recuperao de crdito no utilizada, pois, faltavam dados abertos sobre a
recuperao de crdito, assim como o perfil dos clientes destas operaes;
Limitao institucional e geogrfica. A amostra est limitada a um nico banco e uma nica
cidade. A segmentao do mercado bancrio faz com que os bancos atuem em segmentos
diferentes, o que pode ocasionar um vis da amostra. A cidade de escolhida, assim, como
outras capitais, possui caractersticas econmicas peculiares que tambm pode trazer vieses a
amostra;
Nmero limitado de informaes. Um cadastro com maior nmero de informaes de
variveis poderia aumentar a capacidade preditiva dos modelos. Informaes tais como
nmero de filhos, hbitos de consumo, propriedade de bens, endividamento com outras
instituies, podem aumentar sensivelmente a qualidade dos modelos;
Abstrao de princpios ticos e legais. No foram analisados princpios ticos e legais nessa
pesquisa. Em todo o mundo existem legislaes que protegem o consumidor. Nos Estados
Unidos a Lei Equal Credit Oportunity de 1975 especfica em relao discriminao do
consumidor. O estado civil e o sexo do consumidor, por exemplo, no podem ser motivo de
recusa de crdito (MISHLER e COLE, 1998, p.191). No Brasil, o cdigo do consumidor rege
essas relaes.

5. Resultados

5.1 Modelos de concesso de crdito

5.1.1 Anlise discriminante


A opo STEPWISE para anlise discriminante do software SPSS 10.0 foi utilizada
para gerar o seguinte modelo:

REAd Edio 40 Vol. 10 No. 4, jul-ago 2004

14

Antnio Amorim Neto & Charles Ulisses De Montreuil Carmona

Tabela 5.1.1.a Modelo 1: Anlise discriminante


VARIVEIS

Coeficientes

ESCOLAR Grau de escolaridade

1= Nvel Fundamental
2= Nvel Mdio
3 = Nvel Superior
LRESID Local onde reside
1 = Recife (capital)
2 = Interior de Pernambuco
3 = Fora do Estado
NATOCUP Natureza da ocupao principal 1 = Empresa Privada
2 = Economia mista
3 = Funcionrio Pblico
IDADE Idade
Valor Absoluto em Anos
(Constante)

0,942

-0,532

0,282

0,039
-3,332

O quadro 5.1.1.b mostra as mdias dos escores e os parmetros de classificao (Ponto


de corte dos escores) dos dois grupos:

Quadro 5.1.1.b - Anlise discriminante: mdias e parmetros de classificao do modelo 1


Escore
Mdia
Parmetro de classificao

Grupo A
(Adimplentes)
0,572.
Escore > 0

Grupo H
(Inadimplentes)
-0,572.
Escore < 0

O modelo de concesso de crdito desenvolvido com a tcnica de anlise


discriminante conseguiu alocar corretamente 73,3% dos indivduos da amostra:

Quadro 5.1.1.c Anlise discriminante (modelo 1): percentual de acertos

Classificao Original
Grupo A (Adimplentes)
Grupo H (Inadimplentes)

Classificao do Modelo
Grupo A
Grupo H
(Adimplentes)
(Inadimplentes)
71,5%
25%

28,5%
75%

5.1.2 Regresso logstica


O modelo obtido utilizando regresso logstica foi bastante similar ao obtido com a
utlizao da anlise discriminante (quadro 5.1.2.a):

REAd Edio 40 Vol. 10 No. 4, jul-ago 2004

15

Modelagem do risco de crdito:


Um estudo do segmento de pessoas fsicas em um banco de varejo

Tabela 5.1.2.a Modelo 1: Regresso logstica


VARIVEIS

Coeficientes

ESCOLAR Grau de escolaridade

1= Nvel Fundamental
2= Nvel Mdio
3 = Nvel Superior
LRESID Local onde reside
1 = Recife (capital)
2 = Interior de Pernambuco
3 = Fora do Estado
NATOCUP Natureza da ocupao principal 1 = Empresa Privada
2 = Economia mista
3 = Funcionrio Pblico
IDADE Idade
Valor Absoluto em Anos
(Constante)

-1,014

0,623

-0,314

-0,042
3,526

As regras de deciso para classificao diferem em relao tcnica estatstica


utilizada para gerar o modelo de credit scoring. O quadro 5.1.2.b mostra as mdias dos
escores e os parmetros de classificao (ponto de corte) dos dois grupos:

Quadro 5.1.2b Regresso logstica: mdias e parmetros de classificao do modelo 1


Escore
Mdia
Parmetro de classificao

Grupo A
(Adimplentes)
0,375.
Escore < 0,50

Grupo H
(Inadimplentes)
0,625.
Escore > 0,50

O percentual de acertos do modelo baseado em regresso logstica, assim como


aconteceu no modelo gerado atravs da aplicao de anlise discriminante, mostra que o
modelo mais eficiente na classificao de clientes inadimplentes. O quadro 5.1.2.c apresenta
o percentual de acerto do grupo A (clientes adimplentes) e grupo H (clientes
inadimplentes):

Quadro 5.1.2.c Regresso logstica (modelo 1): percentual de acertos


Classificao do Modelo
Classificao Original
Grupo A (Adimplentes)
Grupo H (Inadimplentes)

Grupo A
(Adimplentes)
70,9%
26,2%

Grupo H
(Inadimplentes)
29,1%
73,8%

A taxa geral de acertos do modelo de concesso de crdito desenvolvido com a tcnica


de regresso logstica (72,4%) foi bem prxima a taxa encontrada no modelo desenvolvido
com a aplicao de anlise discriminante (73,3%).

REAd Edio 40 Vol. 10 No. 4, jul-ago 2004

16

Antnio Amorim Neto & Charles Ulisses De Montreuil Carmona

5.2 Modelos de escoragem comportamental


5.2.1 Anlise discriminante

O software e os parmetros utilizados para gerar o modelo de escoragem


comportamental foram os mesmos utilizados para gerar o modelo de concesso de crdito. O
modelo de escoragem comportamental, no entanto, agrega um nmero maior de variveis. A
tabela 5.2.1.a apresenta o modelo final de escoragem comportamental (behavioural scoring)
gerado atravs da aplicao de anlise discriminante:

Tabela 5.2.1.a Modelo 2: Anlise discriminante


VARIVEIS

Formato/Valores

Coeficientes

ESCOLAR Grau de escolaridade

1= Nvel Fundamental
2= Nvel Mdio
3 = Nvel Superior
LRESID Local onde reside
1 = Recife (capital)
2 = Interior de Pernambuco
3 = Fora do Estado
NATOCUP Natureza da ocupao principal 1 = Empresa Privada
2 = Economia mista
3 = Funcionrio Pblico
IDADE Idade
Valor Absoluto em Anos
RESTBX J possuiu restrio de crdito
0 = No
1 = Sim
PVEICULO Possui financiamento de
0 = No
veculos
1 = Sim
PCARTAO Possui carto de crdito do
0 = No
banco.
1 = Sim
(Constante)

0,665

-0,425

0,226

0,030
-0,816
2,008
1,193
-2,213

Os parmetros de classificao da anlise discriminante aplicada a escoragem


comportamental so os mesmos aplicados ao modelo de concesso de crdito. As mdias dos
escores dos dois grupos, no entanto, tornaram-se mais distantes do ponto de corte, o que
indica uma melhoria de eficincia em relao ao modelo de concesso de crdito:

Quadro 5.2.1.b - Anlise discriminante: mdias e parmetros de classificao do modelo 2.


Escore
Mdia
Parmetro de classificao

Grupo A
(Adimplentes)
0,771.
Escore > 0

Grupo H
(Inadimplentes)
-0,771.
Escore < 0

O quadro 5.2.1.c apresenta o percentual de classificaes corretas e incorretas


efetuadas pelo modelo para cada um dos grupos (grupo A e grupo H):
REAd Edio 40 Vol. 10 No. 4, jul-ago 2004

17

Modelagem do risco de crdito:


Um estudo do segmento de pessoas fsicas em um banco de varejo

Quadro 5.2.1.c Anlise discriminante (modelo 2): percentual de acertos


Classificao do Modelo
Grupo A
(Adimplentes)
76,7%
14%

Classificao Original
Grupo A (Adimplentes)
Grupo H (Inadimplentes)

Grupo H
(Inadimplentes)
23,3%
86%

Assim como no modelo 1 (concesso de crdito) verificou-se que o modelo 2


(escoragem comportamental) desenvolvido com a tcnica de anlise discriminante possui
maior capacidade de predio para o grupo dos clientes inadimplentes (86%) do que no grupo
dos adimplentes (76,7%).
O modelo 2 desenvolvido com a tcnica de anlise discriminante conseguiu alocar
corretamente 81,4% dos indivduos da amostra, o que demonstra um ganho considervel de
eficincia em relao ao modelo 1 (73,3%).

5.2.2 Regresso Logstica


O mesmo software (SPSS 10.0) e parmetros foram usados para gerar o modelo 2 de
regresso logstica. O modelo de escoragem comportamental obtido com a utilizao da
regresso logstica est ilustrado na tabela 5.2.2.a:

Tabela 5.2.2.a Modelo 2: Regresso logstica


VARIVEIS
ESCOLAR Grau de escolaridade

LRESID Local onde reside

NATOCUP Natureza da ocupao principal

IDADE Idade
RESTBX J possuiu restrio de crdito
PVEICULO Possui financiamento de veculos
pelo banco
PCARTAO Possui carto de crdito do banco.

Formato/Valores
1= Nvel Fundamental
2= Nvel Mdio
3 = Nvel Superior
1 = Recife (capital)
2 = Interior de Pernambuco
3 = Fora do Estado
1 = Empresa Privada
2 = Economia mista
3 = Funcionrio Pblico
Valor Absoluto em Anos
0 = No
1 = Sim
0 = No
1 = Sim
0 = No
1 = Sim

(Constante)

REAd Edio 40 Vol. 10 No. 4, jul-ago 2004

Coeficientes
-0,991

0,686

-0,332

-0,039
1,405
-8,049
-1,667
3,213

18

Antnio Amorim Neto & Charles Ulisses De Montreuil Carmona

O ponto de corte da regresso logstica para o modelo 2 o mesmo do modelo 1.


Ainda em relao ao modelo 1, os escores se tornaram mais distantes do ponto de corte (0,50)
indicando maior preciso do modelo 2:

Quadro 5.2.2.a Regresso logstica: mdias e parmetros de classificao do modelo 2


Escore
Mdia
Parmetro de classificao

Grupo A
(Adimplentes)
0,297.
Escore < 0,50

Grupo H
(Inadimplentes)
0,703.
Escore > 0,50

O quadro 5.2.2.b apresenta o percentual de classificaes corretas e incorretas para os


dois grupos:

Quadro 5.2.2.b Regresso logstica (modelo 2): percentual de acertos


Classificao do Modelo
Classificao Original
Grupo A (Adimplentes)
Grupo H (Inadimplentes)

Grupo A
(Adimplentes)

Grupo H
(Inadimplentes)

78,5%
15,1%

21,5%
84,9%

O modelo 2 desenvolvido com a tcnica de regresso logstica, assim como os outros


modelos desenvolvidos, tambm mostrou classificar melhor os clientes inadimplentes (84,9%)
do que os clientes adimplentes (78,5%). A capacidade de predio desse modelo (81,7%)
ligeiramente superior ao modelo desenvolvido com a tcnica de anlise discriminante
(81,4%).
6. Anlises e concluses
A anlise dos modelos confirma a similaridade da eficincia das tcnicas de anlise
discriminante e regresso logstica. A diferena da taxa de sucesso nos dois modelos foi
mnima: No modelo 1 a tcnica de anlise discriminante conseguiu uma taxa de sucesso
superior (73,3%) a taxa obtida atravs da aplicao da regresso logstica (72,4%), enquanto
que no modelo 2, a tcnica de regresso logstica obteve taxa de sucesso (81,7%) superior ao
da aplicao da tcnica de analise discriminante.
Outro ponto que diz respeito similaridade dos modelos refere-se as variveis obtidas.
Os dois modelos possuem as mesmas variveis, e, respeitando-se as regras de deciso de cada
REAd Edio 40 Vol. 10 No. 4, jul-ago 2004

19

Modelagem do risco de crdito:


Um estudo do segmento de pessoas fsicas em um banco de varejo

modelo, estas variveis possuem pesos (coeficientes) bem parecidos. O resultado que o
percentual de indivduos que recebeu a mesma classificao dos modelos desenvolvidos com
a aplicao da anlise discriminante e regresso logstica de 98,5% no modelo 1, e 98% no
modelo 2, ou seja, apenas 5 indivduos receberam classificaes diferentes no modelo de
concesso de crdito, enquanto que no modelo de escoragem comportamental o quantitativo
foi de 7 indivduos.
As semelhanas acima citadas conjuntamente com a ausncia de uma tcnica
estatstica com taxa de sucesso predominante nos dois modelos corroboram com a idia,
presente em outros estudos comparativos, de que no existe uma tcnica estatstica
predominante no desenvolvimento de modelos de credit scoring.
De acordo com a metodologia dessa pesquisa um modelo considerado funcional
quando apresenta uma taxa de sucesso superior a 80%, alm disso, para ser aplicvel na
realidade um modelo tem que estar de acordo com a legislao sobre proviso de crdito.
Os estudos sobre finanas corporativas incorporam uma multiplicidade de ndices,
estratgias e va riveis. Os estudos sobre finanas pessoais, no entanto, limitam-se a poucos
ndices financeiros, assim, o comportamento humano quem determina a heterogeneidade
desse segmento. Mensurar o comportamento humano e suas variveis, porm, uma tarefa
rdua. comum ver indivduos de origem, formao e renda semelhante seguirem caminhos
divergentes em suas finanas pessoais.
Os modelos desenvolvidos para fins de concesso de crdito desenvolvidos com as
tcnicas de anlise discriminante e regresso logstica tiveram taxas de sucesso de 73,3% e
72,4% respectivamente. Os modelos de concesso de crdito apresentam geralmente baixas de
sucesso devido ao nmero limitado de variveis. Nos modelos desenvolvidos nessa pesquisa,
variveis importantes como renda familiar, restries do cnjuge, e quantidade de instituies
que o cliente opera ficaram ausentes, apesar disso as taxas de sucesso mdia dos modelos de
concesso de crdito ficaram prximas de 73% de acerto. A hiptese de funcionalidade dos
modelos de concesso de crdito foi rejeitada, no entanto, esse modelo gerou importantes
informaes que podem melhor subsidiar as decises de um analista de crdito.
Os modelos de escoragem comportamental envolvem um maior nmero de variveis,
e, conseqentemente apresentam maiores taxas de sucesso. Os modelos de behavioural
scoring desenvolvidos nessa pesquisa tiveram, alm da limitao das variveis, a limitao
temporal, j que normalmente o perodo analisado duas vezes maior que o aqui utilizado.
Apesar disso o modelo gerado atravs da anlise discriminante obteve uma taxa de sucesso de
REAd Edio 40 Vol. 10 No. 4, jul-ago 2004

20

Antnio Amorim Neto & Charles Ulisses De Montreuil Carmona

81,4%, enquanto que o modelo gerado atravs de regresso logstica obteve um taxa de
sucesso de 81,7%.
De acordo com esses valores a hiptese de funcionalidade dos modelos no foi
rejeitada, ou seja, os modelos foram considerados funcionais para o objetivo proposto. Esses
valores indicam, ainda, que com um cadastro mais completo, informaes mais coerentes, e
um perodo de anlise maior, provavelmente seria possvel obter uma taxa de sucesso maior.
A natureza ad hoc impede, no entanto, a generalizao e inferncia dos resultados
obtidos neste trabalho para outras realidades. Apesar de ser improvvel, possvel que em
uma outra regio geogrfica, por exemplo, as amostras dos dois grupos (adimplentes e
inadimplentes) sejam to homogneas que torne impossvel desenvolver modelos de credit
scoring funcionais.

7. Referncias Bibliogrficas
ALTMAN, E. I., Financial Ratios, Discriminant Analysis and the Prediction of
Corporate Bankruptcy. Journal of Finance, Sep 1968, p. 589-609.
AMORIM NETO, Antnio A. Modelagem do risco de crdito: um estudo do segmento de
pessoas fsicas em um banco de varejo. Dissertao de Mestrado. Universidade Federal de
Pernambuco. Recife: 2002.
BRUNI, A. L., FUENTES J., FAM, R. Risco de crdito: Evoluo terica e mecanismo
de proteo desenvolvido nos ltimos 20 anos. Anais do II SEMEAD da FEA/USP. So
Paulo: 1997.
BRUNI, A. L., MURRAY, A. D. , FAM, R. Modelos Brasileiros Preditivos de Risco de
Crdito: Um Estudo Exploratrio Atual sobre as suas Eficcias . Peridico Tema, nmero
32, p. 148-167, janeiro/junho 1998.
CAOUETTE, J.B. E.J. ALTMAN, e P. NARAYANAN, Gesto do Risco de Crdito: O
prximo grande desafio financeiro. Rio de Janeiro: Qualitymark Ed. 1998.
COLE, R., MISHLER L. Gesto de Crdito. 11 Edio. So Paulo: Ed. McGraw-Hill, 1998.
COSTA, Francisco C. Avaliao de crdito pessoal. Dissertao de Mestrado. Instituto
Superior de Cincias do Trabalho e da Empresa Portugal. Lisboa: Julho/1992.
DUARTE JR. , Antonio M. Riscos: Definies, Tipos, Medio e Recomendaes para o
seu gerenciamento. Working Paper, IBMEC. So Paulo: 2000.

REAd Edio 40 Vol. 10 No. 4, jul-ago 2004

21

Modelagem do risco de crdito:


Um estudo do segmento de pessoas fsicas em um banco de varejo

GHERARDI, Carlo e GHIELMETTI, Slvia Revista Tecnologia do Crdito, ANO 01, N


02, Artigo Escoragem de Crdito: Metodologia que identifica Estatisticamente o Risco de
Crdito So Paulo: Serasa, setembro/97.
GIMENES, Rgio M. T., URIBE-OPAZO, Miguel A. Modelos Multivariantes para a
previso de insolvncia em cooperativas agropecurias: Uma comparao entre a
Anlise Discriminante e a Anlise de Probabilidade Condicional - Logit. Caderno de
Pesquisas em Administrao, v.08, n 03, pp 65-76. So Paulo: Julho/2001.
GUIMARES, Incio A. Construo e avaliao de uma regra de conhecimento e
classificao de clientes de uma instituio financeira com base em anlise multivariada.
Dissertao de Mestrado, Universidade Federal do Paran. Curitiba: 2000.
HAND, David J. Modelling consumer credit risk. Journal of Management Mathematics, n
12, p. 139-155. London, U.K: 2001.
KANG, S., SHIN, K. Custumer credit scoring model using analytic hierarchy process.
Informs & Korms, Seoul, p.2197-2204. Korea:2000.
KASSAI, J. R., KASSAI S. O termmetro de kanitz. Trabalho apresentado no
ENANPAD/98. Foz do Iguacu/PR. Setembro/98.
OHLSON, J.A. Financial Ratios and the Probabilistic Prediction of Bankruptcy. Journal
of Acounting Research, Spring, p.109-131, 1980.
PARKINSON, Kenneth L. & OCHS, Joyce R. Using credit screening to manage credit
risk. Business Credit, p.23-27, mar., 1998.
PRADO, Renata G. A., BASTOS, Norton T., DUARTE JR, Antnio M. Gerenciamento de
Riscos de Crdito em Bancos de Varejo no Brasil. Global Risk Management Unibanco
S.A. So Paulo, 2000.
SANVICENTE, Antnio Z., MINARDI, Andra M. A. Migrao de risco de crdito de
empresas brasileiras: Uma aplicao de anlise de clusters na rea de crdito. Instituto
Brasileiro de Mercado de Capitais, So Paulo: 1999.
SAUNDERS, Anthony. Medindo o Risco de Crdito: Novas abordagens para value at
risk e outros paradigmas. Rio de Janeiro: Qualitymark Ed., 2000.
SECURATO, Jos R. Um modelo para determinar o valor presente de uma carteira de
crdito e de seus riscos. Anais do III SEMEAD da FEA/USP. So Paulo:1998.
SICSU, Abraham L. Revista Tecnologia do Crdito, ANO 01, N 05, Artigo
Desenvolvimento de um Sistema de Credit Scoring. So Paulo: Serasa, Maro/98.
SILVA, Jos Pereira. Gesto e anlise do risco de crdito. 3 ed. So Paulo: Atlas, 2000.
REAd Edio 40 Vol. 10 No. 4, jul-ago 2004

22

Antnio Amorim Neto & Charles Ulisses De Montreuil Carmona

SOUSA, Almir F., CHAIA, Alexandre J. Poltica de crdito: uma anlise qualitativa dos
processos das empresas. Caderno de Pesquisas em Administrao, v.07, n 03, pp 13-25. So
Paulo: Julho/2000.
THOMAS, Lyn C. A survey of credit and Behavioural Scoring; Forecasting financial risk
of lending to consumers . University of Edinburgh, Edinburgh, U.K, 2000.
VICENTE, Ernesto F. R. A estimativa do risco na constituio da PDD. Dissertao de
Mestrado, USP. So Paulo: Maio/2001.

REAd Edio 40 Vol. 10 No. 4, jul-ago 2004

23

Você também pode gostar