Você está na página 1de 10

0II0 - 0orcurso de Iraba||os de lr|c|aao 0|ert|f|ca

12 s 18 e [a||e
3e|em ae |ar, |/
Aaa|s do XXVIII 0oagresso da S80

Estabilizao de mtricas de redes complexas


Paulo R. A. Margarido
1
, Maria das Graas V. u!es
1
, "#iago A. $. Pardo
1
,
%s&aldo . de %li&eira 'r.
(
1
Instituto de Cincias Matemtica e de Computao (ICMC)
Universidade de So Paulo (USP) So Carlos, SP rasil
!
Instituto de "#sica de So Carlos (I"SC)
Universidade de So Paulo (USP) So Carlos, SP rasil
pauloram@grad.icmc.usp.br, {gracan,taspardo}@icmc.usp.br,
chu@ifsc.usp.br
Abstract. An extension to graph theory, the theory of complex networks has
been recently developed, and several areas of knowledge have begun to
employ complex networks to a wide variety of tasks with positive results,
including the area of Natural Language Processing. However, this association
between complex networks and natural language processing aplications has
not been thoroughly explored, since the limits and capabilities of complex
networks as a means for representing texts are somewhat unknown. he focus
of this work is to determine how stable the complex networks are when the
metrics used to evaluate them are considered.
Resumo. !ma extens"o da teoria dos grafos, a teoria das #edes $omplexas
foi recentemente formulada, e diversas %reas come&aram a empregar as redes
complexas para v%rias tarefas com resultados positivos, inclusive a %rea de
Processamento de L'ngua Natural. Por(m, esta associa&"o entre redes
complexas e aplica&)es de processamento de l'ngua natural ainda n"o foi
devidamente explorada, uma ve* +ue n"o se conhecem bem os limites e
capacidades das redes en+uanto representa&"o de textos. , foco deste
trabalho ( determinar +u"o est%veis as redes complexas s"o +uando as
m(tricas usadas para avalia-las s"o consideradas.
1. )!troduo
$s redes comple%as tm recentemente rece&ido 'rande visi&ilidade em vrias reas da
computao devido ( sua )le%i&ilidade para representar e lidar com diversos tipos de
pro&lemas* Com o desenvolvimento de uma representao de te%tos por meio de redes
comple%as, permitiu+se ,ue vrias aplica-es clssicas de P./ (Processamento de
.#n'ua /atural) )ossem reali0adas utili0ando as redes comple%as 123, por e%emplo, as
reas de atri&uio de autoria 143, avaliao de ,ualidade 1!3, sumari0ao automtica e
traduo automtica, entre outras, com resultados comparveis ao estado da arte 153*
6 vem se )a0endo pes,uisas so&re a aplica&ilidade das redes nestas tare)as,
por7m, como 7 uma pes,uisa iniciada 8 relativamente pouco tempo, as in)orma-es
o&tidas ainda so limitadas* 9 )oco deste tra&al8o 7 tentar o&ter mais in)orma-es so&re
a din:mica das redes comple%as en,uanto representao de te%tos para aplica-es de
P./ 113, a )im de desenvolver uma &ase s;lida so&re a ,ual )uturos e%perimentos
possam ser reali0ados com uma maior preciso, determinando ,uais m7tricas das redes
SBC 2008 61
0II0 - 0orcurso de Iraba||os de lr|c|aao 0|ert|f|ca
12 s 18 e [a||e
3e|em ae |ar, |/
Aaa|s do XXVIII 0oagresso da S80

comple%as so mais previs#veis e )ornecem resultados mais 'arantidos* 9utro o&<etivo


deste tra&al8o 7 determinar um limite in)erior con)ivel para o taman8o dos te%tos
modelados como redes para ,ue as m7tricas se<am previs#veis o &astante* =ste tipo de
in)ormao 7 importante para determinar ,uais aplica-es so as mais recomendveis
para as redes comple%as, contri&uindo assim para ,ue se ac8e um nic8o de aplicao
com redes comple%as em P./* Com &ase nessa discusso, reali0a+se um e%perimento
com a tare)a modela'em de autoria*
/a Seo se'uinte est uma &reve de)inio das principais caracter#sticas das
redes comple%as e de como te%tos so representados neste tra&al8o* /a Seo 4 esto
descritas as m7tricas utili0adas no e%perimento ,ue condu0imos, en,uanto, na Seo 2,
encontram+se in)orma-es so&re o e%perimento, como o corpus com ,ue tra&al8amos, a
metodolo'ia empre'ada e os resultados o&servados* "inalmente, as conclus-es se
encontram na Seo >*
(. Redes complexas e represe!tao textual
9 trao mais importante das redes comple%as 7 ,ue se trata de 'ra)os com alto n?mero
de v7rtices ou n;s, o ,ue tam&7m ocorre em pro&lemas reais* $l'umas outras
caracter#sticas tam&7m so relevantes@
$pesar do taman8o das redes, o n?mero de n;s entre um dado par de n;s 7
relativamente pe,ueno, isto 7, o camin8o m#nimo entre dois n;s tem &ai%o
custoA tais redes so con8ecidas como redes mundo pe,ueno ou small world 153*
Buando um 'rupo pe,ueno em relao ao taman8o da rede possui n;s ,ue so
)ortemente conectados entre si, trata+se de um a'lomerado (ou cluster)* $s redes
comple%as tm uma tendncia a ter um alto coe)iciente de a'lomerao
(de)inido na Seo 4), isto 7, elas tendem a apresentar 'rupos muito coesos*
9utra caracter#stica marcante das redes comple%as 7 o )ato de ,ue elas so livres
de escala ou scale-free* Isso si'ni)ica ,ue redes comple%as tm poucos hubs (n;s
com 'rande ,uantidade de cone%-es) e muitos n;s com &ai%a ,uantidade de
cone%-es, e novos n;s adicionados tendem a se li'ar a n;s < &em conectados*
Figura 1. Exemplo de rede complexa e do texto correspondente.
/este tra&al8o, antes de se modelar um te%to como uma rede comple%a 123, uma
etapa de pr7+processamento 7 necessria* /esta etapa, primeiramente so removidas as
/o meio do camin8o tin8a uma pedra
tin8a uma pedra no meio do camin8o
tin8a uma pedra
no meio do camin8o tin8a uma pedra*
/unca me es,uecerei desse
acontecimento
na vida de min8as retinas to
)ati'adas*
/unca me es,uecerei ,ue no meio do
camin8o
tin8a uma pedra
tin8a uma pedra no meio do camin8o
no meio do camin8o tin8a uma pedra*
Carlos Crummond de $ndrade
SBC 2008 62
0II0 - 0orcurso de Iraba||os de lr|c|aao 0|ert|f|ca
12 s 18 e [a||e
3e|em ae |ar, |/
Aaa|s do XXVIII 0oagresso da S80

stopwords (palavras muito )re,Dentes e com pouco si'ni)icado) e, em se'uida, as


palavras remanescentes so lemati0adas, isto 7, )le%ionadas em uma )orma comum (por
e%emplo, todos os ver&os so )le%ionados para o in)initivo) para evitar pro&lemas com
dados esparsos* Cada uma dessas palavras ser um n; na rede, como na "i'ura 1*
$s redes dos te%tos utili0ados neste arti'o so ento criadas da se'uinte maneira@
cada associao entre palavras no te%to 'era uma aresta direcionada entre dois n;s na
rede, e cada associao entre palavras aumenta em 1 o peso de sua aresta
correspondente* Ceste modo, ,uanto mais ve0es uma associao aparece (na mesma
ordem) no te%to, maior 7 o peso dessa aresta na rede* $s arestas o&tidas so ento
representadas como uma matri0 N % N, onde N 7 o n?mero de v7rtices* $ partir dessa
modela'em, o te%to passa a ser tratado simplesmente como uma rede comple%a e 7,
portanto, su&metido ( anlise so& essa perspectiva*
*. Medidas utilizadas
$ representao de te%tos por redes comple%as permite vrios )ocos de anlise atrav7s
de suas di)erentes medidas, e da# vem a nossa preocupao em encontrar medidas ,ue
mel8or se a<ustem (s aplica-es dessa rea* $l'umas dessas medidas )oram
implementadas no /?cleo Interinstitucional de .in'D#stica Computacional e utili0adas
em e%perimentos 1>3* Se'ue uma &reve descrio de cada uma delas e como o&t+las@
,utdegree (Erau)@ uma rede comple%a 7, por de)inio, um 'ra)o direcionado
com pesos nas arestas* Portanto, devemos levar em considerao am&os os 'raus
de entrada e sa#da de cada n;* =ntretanto, dado o m7todo de )ormao da rede,
cada aresta ,ue incide em um n; tem uma aresta complementar ,ue sai deste
mesmo n;* Por isso os resultados para 'rau de sa#da e 'rau de entrada so
sempre os mesmos, e com isso, apenas o 'rau de sa#da 7 levado em conta*
9 'rau de cada n; i da rede 7 medido com a se'uinte );rmula@
ODi=

j=1
N
W j,i
9nde i e . so n;s da rede e /0.,i1 o peso da aresta i2.* $ medida )inal 7 a
m7dia aritm7tica dos 'raus de todos os n;s da rede*
$lustering $oefficient (Coe)iciente de a'lomerao)@ para um n; i, o coe)iciente
7 de)inido da se'uinte maneira@ ,uanto mais arestas e%istem entre um vi0in8o
espec#)ico de i e os outros vi0in8os de i, maior 7 o coe)iciente de a'lomerao*
Isto 7, o $$ veri)ica ,uo pr;%imo o su&'ra)o dos vi0in8os do n; i da rede est
do 'ra)o completo com o mesmo n?mero de n;s* 9 valor da medida 7 1 ,uando
todos os n;s de um con<unto de vi0in8os se conectam entre si* 9 valor para a
rede toda 7 a m7dia aritm7tica de todos os $$s* Matematicamente, temos@ se<a #
o con<unto de todos os n;s ,ue se conectam ao n; i* Femos ,ue N
c
G H#H e 3 7 o
n?mero de arestas e%istentes entre os n;s do con<unto #* 9 $$ do n; # 7
calculado da se'uinte maneira@
CCi=
B
N
c

N
c
1

Se N
c
G I ou N
c
G 1, $$0i1 G I*
$omponents 4ynamics 4eviation (Cesvio na din:mica dos componentes)@ o
SBC 2008 63
0II0 - 0orcurso de Iraba||os de lr|c|aao 0|ert|f|ca
12 s 18 e [a||e
3e|em ae |ar, |/
Aaa|s do XXVIII 0oagresso da S80

$44 7 uma medida ,ue indica a uni)ormidade com a ,ual novas palavras so
inseridas em um te%to* Seu clculo 7 )eito da se'uinte maneira@ inicialmente,
tm+se todos os n;s e nen8uma aresta* =nto, cada aresta da rede 7 adicionada e
o n?mero de componentes cone%os 7 contado (isto 7, 7 veri)icado se um novo n;
)oi adicionado ( rede parcial)* 9 desvio da din:mica dos componentes 7 o
resultado da comparao entre a curva do n?mero de componentes o&tida pela
adio de arestas e a reta ;tima, na ,ual os n;s so adicionados uni)ormemente a
cada nova aresta* 9 valor da medida para toda a rede 7 a m7dia aritm7tica do
desvio para todos os pontos da curva* Se<am f
a
)uno da curva supracitada, f
s
a
)uno da reta, N o n?mero de n;s na rede e L o n?mero total de associa-es de
palavras no te%to* 9 $44 7 medido da se'uinte maneira@
$44=

x=1
L
f
a
x f
s
x
N.L
5atching index (Jndice de Correlao)@ o 56 7 uma medida aplicada (s arestas, e
o&serva a similaridade entre a conectividade dos dois n;s ad<acentes ( aresta em
,uesto, isto 7, ,uanto menor o valor do 56, menor 7 a semel8ana entre as
re'i-es do 'ra)o conectadas pela aresta* 9 clculo da medida 7 )eito da se'uinte
maneira@ o 56 da aresta i2. (a,ui representada por a
i<
) 7 o n?mero de cone%-es
compartil8adas entre i e ., isto 7, ,uantas cone%-es am&os tm em comum com
um terceiro v7rtice k, dividido pelo n?mero total de cone%-es entre i, k e ., k
(e%ceto cone%-es entre i e .)A como o 'ra)o de um te%to 7 direcionado, so
tomadas como arestas compartil8adas apenas as ,uem possuem a mesma
direo* Matematicamente, temos@
MI i,j =

ki,j
a
ik
a
jk

ki
a
ik

kj
a
jk
Hierarchical 4egree (Erau Kierr,uico)@ para de)inir o H4, 7 necessrio
primeiramente de)inir os conceitos de dist:ncia e anel* $ dist:ncia entre os n;s i
e . ser tomada neste arti'o como o n?mero de arestas necessrias para se c8e'ar
do n; i ao n; .* Por e%emplo, os vi0in8os (diretos) de um n; sempre tm
dist:ncia 1 do mesmo* 6 o anel #
d
0i1 de dist:ncia d do n; i 7 o con<unto de todos
os n;s ,ue distam e%atamente d de i* 9 'rau 8ierr,uico de dist:ncia d de um n;
i pode ento ser de)inido como o n?mero de arestas ,ue conecta os an7is #
d
0i1 e
#
d-7
0i1* Fam&7m 7 )eita a di)erenciao pela direo das arestas, resultando em
'raus 8ierr,uicos de sa#da e de entrada* /os e%perimentos ,ue utili0aram o H4,
a dist:ncia utili0ada )oi !, com L varia-es@ todas as com&ina-es de
entradaMsa#da, acumuladoMno+acumulado, com pesoMsem peso das arestas* 9
termo acumulado indica ,ue, para calcular o 'rau 8ierr,uico de dist:ncia d, os
'raus de dist:ncia 1 at7 d+1 devem ser somados ao valor )inal da medida*
4egree $orrelation (Correlao de Erau)@ $ 4$ mede ,uo pr;%imos esto os
'raus ()oi utili0ado apenas o 'rau de sa#da de cada n;) dos n;s ad<acentes a uma
mesma aresta, averi'uando assim ,uo uni)orme a distri&uio das arestas 7 na
rede* Seu clculo 7 )eito da se'uinte maneira@ para cada aresta, os 'raus de seus
dois n;s ad<acentes so o&tidos, e ento dois vetores podem ser )ormados, N G
SBC 2008 64
0II0 - 0orcurso de Iraba||os de lr|c|aao 0|ert|f|ca
12 s 18 e [a||e
3e|em ae |ar, |/
Aaa|s do XXVIII 0oagresso da S80

(N
1
, N
!
, ***, N
n
) e O G (O
1
, O
!
, ***, O
n
), onde n 7 o n?mero de arestas na rede, 8
i
e
9
i

so os 'raus dos n;s de incidncia e de partida da i+7sima aresta* 9 valor da
correlao de 'rau utili0ado neste arti'o )oi o coe)iciente de Pearson entre os
vetores 8 e 9, calculado pela se'uinte );rmula@
4$ 8 , 9 =

t =1
n
8
t

8 9
t

t =1
n
8
t

8
!

t=1
n
9

9
!
onde

X
e

Y
so as m7dias dos valores de 8 e 9* 9s resultados da 4$ variam
entre +1 e 1, e valores em m;dulo pr;%imos de 1 indicam correlao linear*
$ se'uir, descrevemos o corpus utili0ado em nosso e%perimento de autoria com redes
comple%as* Cada te%to do c;rpus )oi representado como indicado na Seo ! e as
medidas anteriores )oram calculadas*
+. Experime!to
9 corpus deste e%perimento consistiu de 41 livros (dispon#veis livremente na Pe&) de Q
autores consa'rados da l#n'ua in'lesa* 9s livros )oram utili0ados na sua verso ori'inal,
e seus nomes e respectivos autores esto descritos na Fa&ela 1*
Tabela 1. Autores e livros pertencentes ao corpus deste experimento, com os ttulos
originais em ingls.
Autor ,i&ros
C8arles CicRens $ Fale o) FPo Cities
$merican /otes
Cavid Copper)ield
Ereat =%pectations
Kard Fimes
Master Kump8reSTs ClocR
9liver FPist
F8e 9ld CuriositS S8op
F8e Seven Poor Fravelers
=rnest Kemin'PaS F8e Earden o) =den
Ereen Kills o) $)rica
.ePis Carroll $liceTs $dventures in Uonderland
SSlvie and runo
F8rou'8 t8e .ooRin'+Elass
Pel8am E* Uode8ouse MS Man 6eeves
Fales o) St* $ustinTs
F8e $dventures o) SallS
F8e ClicRin' o) Cut8&ert
F8e Eem Collector
F8e Man Pit8 FPo .e)t "eet
F8e Pot8unters
F8e SPoop
F8e U8ite "eat8er
F8omas KardS $ C8an'ed Man and 9t8er Fales
$ Eroup o) /o&le Cames
Cesperate Vemedies
SBC 2008 65
0II0 - 0orcurso de Iraba||os de lr|c|aao 0|ert|f|ca
12 s 18 e [a||e
3e|em ae |ar, |/
Aaa|s do XXVIII 0oagresso da S80

"ar )rom t8e Maddin' CroPd


F8e Kand o) =t8el&erta
Wir'inia Uool) 6aco&Ts Voom
/i'8t and CaS
F8e WoSa'e 9ut
=ste corpus, em&ora de taman8o limitado e contendo te%tos no muito lon'os,
cont7m um con<unto de te%tos &astante distintos entre si (em&ora se<am do mesmo
'nero), o ,ue contri&ui para con)ia&ilidade dos resultados o&tidos*
Cada um dos te%tos so)reu a se'uinte anlise@ as !*III primeiras associa-es de
palavras do te%to )oram o&tidas, e os valores de todas as medidas )oram o&tidas para
cada se'mento destes de maneira cumulativa* Com isso, cada par te%to+medida 'erou
!*III valores, ,ue )oram or'ani0ados em curvas, como na "i'ura !, onde a curva da
es,uerda representa os valores das medidas (a curva em preto 7 uma apro%imao por
polinXmio de 'rau 4 o&tido pelo M7todo dos M#nimos Buadrados Eenerali0ado
(55:;)), e ( direita tem+se a )lutuao da medida com relao ao polinXmio*
Figura 2. Grico das m!tricas da rede correspondente ao livro American "otes, de
#ic$ens. % es&uerda' cada valor de n no eixo das associa()es indica &ue as n
primeiras associa()es oram utili*adas. % direita' grico da lutua(+o dos valores
das medidas para textos de dierentes taman,os.
9&servando estas duas curvas 7 poss#vel analisar a esta&ilidade de cada m7trica,
assim como 7 poss#vel determinar um taman8o de te%to para o ,ual a medida < se
comporta de maneira uni)orme, aumentando a con)ia&ilidade do valor o&tido*
$l'uns e%emplos de comportamento das medidas esto e%postos nas "i'uras 4+
L, ,ue correspondem ao livro 4avid $opperfield, de CicRens* Pelas )i'uras 7 poss#vel
o&servar ,ue na maioria dos casos os valores da )lutuao diminuem con)orme o
taman8o do te%to aumenta, eventualmente se apro%imando de 1, onde o comportamento
dos valores pode ser apro%imado mais precisamente com o 55:;* $ "i'ura Y cont7m
uma comparao entre os valores do $44 para Q livros di)erentes, com o intuito de
demonstrar ,ue os valores 'eralmente se'uem um mesmo padro de comportamento*
SBC 2008 66
0II0 - 0orcurso de Iraba||os de lr|c|aao 0|ert|f|ca
12 s 18 e [a||e
3e|em ae |ar, |/
Aaa|s do XXVIII 0oagresso da S80

Figura -. Gricos para .#. / provavelmente a medida mais estvel de todas,


seguindo praticamente um comportamento monotonicamente crescente.
Figura 0. Gricos para 11. Esta medida se caracteri*a por somente crescer ap2s
um certo patamar de taman,o de textos.
Figura 3. Gricos para 1##. 4ara textos extremamente pe&uenos, esta medida !
altamente instvel, mas seu comportamento se altera para textos maiores.
SBC 2008 67
0II0 - 0orcurso de Iraba||os de lr|c|aao 0|ert|f|ca
12 s 18 e [a||e
3e|em ae |ar, |/
Aaa|s do XXVIII 0oagresso da S80

Figura 5. Gricos para #1. .s valores desta medida tendem a icar sempre
pr2ximos de 6, diminuindo assim a precis+o da medi(+o da lutua(+o.
Figura 7. Gricos para 8#. 9esultados bastante pr2ximos aos do .#. Entre as
diversas varia()es do 8#, os resultados s+o geralmente muito pr2ximos.
Figura :. Gricos para ;<. 1omo ! uma medida bastante parecida com 11, suas
evolu()es se comportam de modo bastante parecido.
SBC 2008 68
0II0 - 0orcurso de Iraba||os de lr|c|aao 0|ert|f|ca
12 s 18 e [a||e
3e|em ae |ar, |/
Aaa|s do XXVIII 0oagresso da S80

Figura =. 1ompara(+o entre valores do 1## para vrios livros dierentes.


Como pode ser visto nas "i'uras 4+L, todas as medidas tm a mesma tendncia
de diminuir a )lutuao con)orme o taman8o do te%to aumenta* $pesar disso, para o
caso do 4$, o taman8o de !*III palavras no 7 &astante para ,ue os valores se<am
previs#veis o &astante, e um destes casos de )al8a pode ser o&servado na "i'ura 1I*
Figura 16. Exemplo de caso em &ue 2666 palavras n+o s+o suicientes para &ue a
medida se estabili*e.
Para todas as outras medidas, os resultados )oram &astante positivos, com todos
os te%tos se'uindo apro%imadamente o padro de)inido pelos 'r)icos !+5* Z plaus#vel
assumir ,ue os pro&lemas encontrados com o 4$ proven8am do )ato do alcance de
valores da medida ser muito pr;%imo de I, o ,ue aumenta a )lutuao relativa da curva
(e pode implicar em valores menos estveis)*
Com estes resultados, 7 poss#vel a)irmar ,ue todas as medidas estudadas, e%ceto
o 4$, so ra0oavelmente previs#veis, e portanto recomendveis para utili0ao em
)uturos e%perimentos utili0ando redes comple%as* $l7m disso, )oi poss#vel se o&servar
,ue te%tos com !*III palavras < tm taman8o su)iciente para ,ue as redes comple%as
SBC 2008 69
0II0 - 0orcurso de Iraba||os de lr|c|aao 0|ert|f|ca
12 s 18 e [a||e
3e|em ae |ar, |/
Aaa|s do XXVIII 0oagresso da S80

ten8am um &om desempen8o com uma mar'em ra0ovel de se'urana, o ,ue 7 um


resultado &astante positivo, uma ve0 ,ue os populares m7todos estat#sticos para
pro&lemas de P./ normalmente re,uerem uma ,uantidade muito maior de dados para
)ornecer resultados satis)at;rios*
-. .o!clus/es
9s resultados o&tidos ao lon'o deste tra&al8o comprovam ,ue as diversas medidas para
redes comple%as estudadas, salvo a e%ceo da Correlao de Erau, so &astante
previs#veis e podem, portanto, ser utili0adas em maior escala para )ornecer resultados
cada ve0 mais e%pressivos na rea* Com isso, a possi&ilidade de se desenvolver sistemas
de maior preciso usando redes comple%as aumenta, permitindo assim avanos tanto no
estudo das redes ,uanto na rea de P./*
9utro resultado importante 7 a o&servao de um taman8o ideal para aplica-es
de P./ envolvendo redes comple%as, em torno de !*III palavras, ,ue implica em
te%tos &astante pe,uenos (poucas p'inas), mas ainda assim )ornecendo &ons
resultados* =sta in)ormao 7 importante por,ue as aplica-es de redes comple%as
normalmente so computacionalmente caras, e%i'indo &oa ,uantidade de recursos e
tempo e, como esperado, te%tos to pe,uenos ,uanto poss#vel cola&oram para a
construo de sistemas mais e)icientes* Sa&er um taman8o de rede ,ue se<a estvel e
computacionalmente )act#vel 7 de suma import:ncia para o avano da rea*
Re0er1!cias
113 V* $l&ert and $* .* ara&si* Statistical mec8anics o) comple% netPorRs* Vev* Mod*
P8Ss*, 52@25Y5, !II!*
1!3 .* $nti,ueira, M*E*W* /unes, 9*/* 9liveira 6r*, and .* da "* Costa* Stron'
correlations &etPeen te%t ,ualitS and comple% netPorRs )eatures* P8Ssica $,
454@L11L!I, !IIQ*
143 .* $nti,ueira, F*$*S* Sal'ueiro, M*E*W* /unes, and 9*/* 9liveira 6r* Some issues on
comple% netPorRs )or aut8or c8aracteri0ation* Vevista I&eroamericana de I$, n* 4Q,
11@>1>L, !II5*
123 .ucas $nti,ueira, Maria das Eraas W* /unes, 9svaldo /* de 9liveira 6r*, and
.uciano da "* Costa* Modelando te%tos como redes comple%as* Fec8nical report,
Instituto de Cincias Matemticas e de Computao, !II>*
1>3 .* da "* Costa, "* $* Vodri'ues, E* Fravieso, and P* V* Willas oas* C8aracteri0ation
o) comple% netPorRs@ $ surveS o) measurements* arNiv@cond+ matMI>I>1L>, !IIQ*
1Q3 V* "errer i Canc8o and V* W* Sol[e* F8e small Porld o) 8uman lan'ua'e* P* VoS* Soc*
.ond* io*, !QL@!!Q1, !II1*
153 "* Pen', C* Sc8uurmans, W* \esel<, and S* Uan'* .an'ua'e independent aut8ors8ip
attri&ution usin' c8aracter level lan'ua'e models* In Proceedin's o) =$C., !II4*
SBC 2008 70