Escolar Documentos
Profissional Documentos
Cultura Documentos
Aprendizado semissupervisionado via competio ca de part culas em redes complexas: modelagem, anlise e aplicaes a co
Thiago Christiano Silva
Orientador: Dr. Zhao Liang Instituto de Cincias Matemticas e de Computao e a ca Universidade de So Paulo a
20 de setembro de 2011
Introduo ca
Reviso Bibliogrca a a
Sumrio a
1
Introduo ca Macrocontexto Motivaes co Objetivos Reviso Bibliogrca a a Redes Complexas Aprendizado Semissupervisionado Proposta de Pesquisa e Resultados Obtidos Estratgia de Desenvolvimento e Resultados Obtidos e Forma de Anlise dos Resultados a Cronograma de Atividades Consideraes Finais co
2 / 52
Introduo ca
Reviso Bibliogrca a a
Macrocontexto
Introduo ca
Reviso Bibliogrca a a
Motivaoes c
E importante investigar e aplicar Redes Complexas So um mecanismo poderoso para representao dos dados a ca Em funo da sua complexidade, existe um grande espao para ca c explorao ca
Existe a necessidade de desenvolver novas tcnicas de Aprendizado e Semissupervisionado Envolvem minimizao de custo e inverses matriciais ca o Incorrem de alto custo computacional: O(n3 ) ou superior
4 / 52
Introduo ca
Reviso Bibliogrca a a
Motivaoes c
Merece aprofundamento e aplicaes a tcnica de Competio de co e ca Part culas No s oferece um mecanismo de deteco de comunidades, a o ca mas tambm um esquema geral de aprendizado de mquina e a competitivo Apresenta alta preciso e baixa complexidade computacional a Carece de fundamentao matemtica ca a E valioso investigar o assunto de conabilidade de dados em Aprendizado Semissupervisionado A propagao de erros cr ca e tica em alguns sistemas
Diagnstico Mdico: rotulao inicial incorreta o e ca
Introduo ca
Reviso Bibliogrca a a
Objetivos Principais
Modelagem de um sistema competitivo de vrias part a culas em aprendizado semissupervisionado, via um sistema dinmico esa tocstico a Anlise matemtica do modelo competitivo a a Extenso do modelo competitivo para o campo no supervisioa a nado Deteco de vrtices sobrepostos ca e Preveno da propagao de rtulos de dados erroneamente ca ca o rotulados
6 / 52
Introduo ca
Reviso Bibliogrca a a
Redes Complexas
Redes de larga escala com topologia no trivial a Aplicabilidade em vrios ramos da Cincia a e
Internet, redes de prote nas, sociais, metablicas, o distribuio de energia eltrica e de transporte ca e
A representao em rede complexa unica a esca trutura, dinmica e funes do sistema o qual rea co presenta Capaz de descrever a estrutura topolgica do siso tema original
S. Fortunato (2010), Community detection in graphs, Physics Reports, 486(35):75174 L. F. Costa, F. A. Rodrigues, G. Travieso e P. R. V. Boas (2007), Characterization of complex networks: A survey of measurements, Advances in Physics, 56:167242 G. Palla, I. Dernyi, I. Farkas e T. Vicsek (2005), Uncovering the overlapping community structure of e complex networks in nature and society, Nature, 435:814818 M. Newman (2003), The structure and function of complex networks, SIAM Review, 45:167256 7 / 52
Introduo ca
Reviso Bibliogrca a a
Comunidades
DEFINICAO: Um grupo de vrtices que est densamente inter e a conectado e, ao mesmo tempo, poucas conexes existem entre o este grupo e a rede remanescente
M. Girvan, M.E.J. Newman (2002), Community structure in social and biological networks, Proc. Natl. Acad. Sci. USA, 99(12):78217826 A. Lancichinetti, S. Fortunato, F. Radicchi (2008), Benchmark graphs for testing community detection algorithms, Phys. Rev. E, 78(4):046110 8 / 52
Introduo ca
Reviso Bibliogrca a a
Cada part cula pode realizar: movimentao aleatria ou deca o termin stica Aplicada apenas a tarefas de deteco de comunidades ca Descrita como um modelo procedimental, sem rigor matemtico a
M. G. Quiles, L. Zhao, R. L. Alonso e R. A. F. Romero (2008), Particle competition for complex network community detection, Chaos, 18(3):033107 9 / 52
Introduo ca
Reviso Bibliogrca a a
Vrtices Sobrepostos e
DEFINICAO: Vrtices que, naturalmente, so membros de mais e a de uma comunidade
Ex: Uma pessoa membro, ao mesmo tempo, das comunidades e representando sua fam empresa em que trabalha e c lia, rculo de amigos
S. Fortunato (2010), Community detection in graphs, Physics Reports, 486(35):75174 G. Palla, I. Dernyi, I. Farkas, T. Vicsek (2005), Uncovering the overlapping community structure of e complex networks in nature and society, Nature, 435:814818 10 / 52
Introduo ca
Reviso Bibliogrca a a
Aprendizado de Mquina a
No Supervisionado a
Semissupervisionado
Supervisionado
11 / 52
Introduo ca
Reviso Bibliogrca a a
V. N. Vapnik (1998), Statistical learning theory, Wiley & Sons Inc X. Zhu e A. B. Goldberg (2009), Introduction to semi-supervised learning, Morgan & Claypool Publishers 12 / 52
Introduo ca
Reviso Bibliogrca a a
M. Belkin, I. Matveeva e P. Niyogi (2004), Regularization and semi-supervised learning on large graphs, COLT, pp. 24638 M. Belkin, P. Niyogi e V. Sindhwani (2006), Manifold regularization: A geometric framework for learning from labeled and unlabeled examples, Journal of Machine Learning Research, 7:23992434 13 / 52
Introduo ca
Reviso Bibliogrca a a
Suposioes c
Os dados no rotulados iro SEMPRE auxiliar no processo? a a
Suposio de Agrupamento: Dados de uma mesma classe devem ca pertencer a uma regio de alta densidade a Suposio de Suavidade: A funo classicadora deve ser suave ca ca em regies de alta densidade de dados o Suposio de Existncia Manifolds: Reduzir o fenmeno da ca e o maldio de dimensionalidade e facilitar classicao ca ca
V. N. Vapnik (1998), Statistical learning theory, Wiley & Sons Inc O. Chapelle, B. Scholkopf e A. Zien (2006), Semi-supervised learning, The MIT Press X. Zhu e A. B. Goldberg (2009), Introduction to semi-supervised learning, Morgan & Claypool Publishers 14 / 52
Introduo ca
Reviso Bibliogrca a a
X. Zhu, Z. Ghahramani e J. Laerty (2003), Semi-supervised learning using gaussian elds and harmonic functions, ICML, pp. 912919 D. Zhou e B. Schlkopf (2004), Learning from labeled and unlabeled data using random walks, Pattern o Recognition, Proceedings of the 26th DAGM Symposium, 3175:237244 X. Zhu (2005), Semi-supervised learning Literature Survey, Computer Sciences, University of Wisconsin-Madison 15 / 52
Introduo ca
Reviso Bibliogrca a a
D. Zhou, O. Bousquet, T. N. Lal, J. Weston e B. Schlkopf (2004), Learning with local and global o consistency, Advances in Neural Information Processing Systems, 16:321-328 16 / 52
Introduo ca
Reviso Bibliogrca a a
aqq
J. Callut, K. Franoise, M. Saerens e P. Duppont (2008), Semi-supervised classication from discriminative c random walks, ECML PKDD, LNAI, 5211:162-177 J. D. Noh e H. Rieger (2004), Random walks on complex networks, PRL, 92:118701 17 / 52
Introduo ca
Reviso Bibliogrca a a
Denio: D-Walks ca
J. Callut, K. Franoise, M. Saerens e P. Duppont (2008), Semi-supervised classication from discriminative c random walks, ECML PKDD, LNAI, 5211:162-177 18 / 52
Introduo ca
Reviso Bibliogrca a a
B(q, y )
pt(q)
t=1
1{Xt =q}
J. Callut, K. Franoise, M. Saerens e P. Duppont (2008), Semi-supervised classication from discriminative c random walks, ECML PKDD, LNAI, 5211:162-177 19 / 52
Introduo ca
Reviso Bibliogrca a a
J. Callut, K. Franoise, M. Saerens e P. Duppont (2008), Semi-supervised classication from discriminative c random walks, ECML PKDD, LNAI, 5211:162-177 20 / 52
Introduo ca
Reviso Bibliogrca a a
BL (q, y )
Benef cios Melhores taxas de classicao ca Betweenness pode ser calculado de maneira eciente (variveis a backward e forward estocsticas) a
J. Callut (2007), First passage times dynamics in markov models with applications to HMM induction, Sequence Classication and Graph Mining, PhD Thesis dissertation, Universit Catolique de Louvain e J. Callut, K. Franoise, M. Saerens e P. Duppont (2008), Semi-supervised classication from discriminative c random walks, ECML PKDD, LNAI, 5211:162-177 21 / 52
Introduo ca
Reviso Bibliogrca a a
P[q | y ]
E a classe que o vrtice q recebe pela tcnica : e e e yq = arg max P[q | y ]P[y ]
y Y
J. Callut, K. Franoise, M. Saerens e P. Duppont (2008), Semi-supervised classication from discriminative c random walks, ECML PKDD, LNAI, 5211:162-177 22 / 52
Introduo ca
Reviso Bibliogrca a a
Q=
Avw
vw
No algoritmo original, a cada passo, as duas comunidades com o maior Q(i, j) so fundidas, sem quaisquer restries: a co
1/2m
Q(i, j) =
0,
M. E. J. Newman (2006), Modularity and community structure in networks, Proceedings of the National Academy of Sciences, 103(23):85778582 A. Clauset, M. E. J. Newman e C. Moore (2004), Finding community structure in very large networks, Physical Review E, 70(6):066111 23 / 52
Introduo ca
Reviso Bibliogrca a a
Inicialmente, existem |L| vrtices rotulados na rede. Objetiva-se e a propagao destes rtulos para os vrtices ainda no rotulaca o e a dos. Uma vez que um vrtice no rotulado seja rotulado, no e a a e permitida a redesignao de classe ca A cada passo, so fundidas as duas comunidades com o maior a Q(i, j). Todavia, tal fuso sujeita a algumas restries a e co
T. C. Silva e L. Zhao (2011), Semi-supervised learning guided by the modularity measure in complex networks, Neurocomputing, DOI: 10.1016/j.neucom.2011.04.042 24 / 52
Introduo ca
Reviso Bibliogrca a a
Com o m de imitar o processo de propagao de rtulos em ca o uma rede, uma fuso se estabelecer somente se pelo menos a a uma das comunidades a serem fundidas estiver sido rotulada previamente Seja o pseudo-rtulo de uma comunidade ainda no rotulada o a Suponha que as comunidades ci e cj foram selecionadas para serem fundidas, cada qual carregando os rtulos cil e cjl o
T. C. Silva e L. Zhao (2011), Semi-supervised learning guided by the modularity measure in complex networks, Neurocomputing, DOI: 10.1016/j.neucom.2011.04.042 25 / 52
Introduo ca
Reviso Bibliogrca a a
A fuso no ocorrer se cil = cjl , desde que cil = e cjl = . a a a Este caso representa um confronto entre os limites estabelecidos pelas regies das classes i e j, ambas j rotuladas o a A fuso no ocorrer se cil = cjl = , uma vez que nenhum a a a rotulado est sendo propagado a
T. C. Silva e L. Zhao (2011), Semi-supervised learning guided by the modularity measure in complex networks, Neurocomputing, DOI: 10.1016/j.neucom.2011.04.042 26 / 52
Introduo ca
Reviso Bibliogrca a a
A fuso ocorrer se cil = e cjl = , ou cil = e cjl = . a a Este caso representa o mecanismo tradicional de propagao de ca rtulos de uma comunidade rotulada para outra no rotulada o a A fuso ocorrer se cil = cjl , desde que cil = e cjl = . Neste a a caso, o processo de fuso apenas coloca duas comunidades da a mesma classe na mesma comunidade, maximizando a modularidade
T. C. Silva e L. Zhao (2011), Semi-supervised learning guided by the modularity measure in complex networks, Neurocomputing, DOI: 10.1016/j.neucom.2011.04.042 27 / 52
Introduo ca
Reviso Bibliogrca a a
Processo de Fuso a Se uma fuso no ocorrer, ento as duas comunidades com a a a o segundo maior valor de Q sero selecionadas para serem a potencialmente fundidas e assim sucessivamente Este processo realizado at que no exista nenhum dado no e e a a rotulado remanescente
T. C. Silva e L. Zhao (2011), Semi-supervised learning guided by the modularity measure in complex networks, Neurocomputing, DOI: 10.1016/j.neucom.2011.04.042 28 / 52
Introduo ca
Reviso Bibliogrca a a
ETAPA I Modelagem da tcnica de competio de part e ca culas para aprendizado semissupervisionado via sistema dinmico estocstico a a J foi completada a
T. C. Silva e L. Zhao (2011), Network-based stochastic semi-supervised learning, IEEE Transactions on Neural Networks and Learning Systems, em reviso a 29 / 52
Introduo ca
Reviso Bibliogrca a a
Dado um grafo G = V, E , insere-se uma part cula em cada vrtice pr-rotulado e e Cada part cula responsvel por conquistar novos vrtices por e a e meio da constante visita aos mesmos
Fortalece o seu n de dominao no vrtice visitado vel ca e Enfraquece o n de dominao de todos os times rivais naquele vel ca vrtice e
T. C. Silva e L. Zhao (2011), Network-based stochastic semi-supervised learning, IEEE Transactions on Neural Networks and Learning Systems, em reviso a 30 / 52
Introduo ca
Reviso Bibliogrca a a
(k) Ni (t)
Ni (t)
(u) K u=1 Ni (t)
T. C. Silva e L. Zhao (2011), Network-based stochastic semi-supervised learning, IEEE Transactions on Neural Networks and Learning Systems, em reviso a 31 / 52
Introduo ca
Reviso Bibliogrca a a
E (k) (t) =
Estados de uma Part cula Exausto: Indica que a part cula est com a m a nima energia permitida Ativo: Indica que a part cula tem energia suciente para navegar pela rede
T. C. Silva e L. Zhao (2011), Network-based stochastic semi-supervised learning, IEEE Transactions on Neural Networks and Learning Systems, em reviso a 32 / 52
Introduo ca
Reviso Bibliogrca a a
Ptrans (t)
(k)
(k)
S (k) (t) atua como uma chave: 0, se a part cula k est ativa no instante t a 1, se a part cula k est exausta no instante t a
T. C. Silva e L. Zhao (2011), Network-based stochastic semi-supervised learning, IEEE Transactions on Neural Networks and Learning Systems, em reviso a 33 / 52
Introduo ca
Reviso Bibliogrca a a
Termo Preferencial Comportamento defensivo Prefere visitar vrtices j doe a minados Variante no tempo
Paleat (i, j)
ai,j Nj (t)
V (k) u=1 ai,u Nu (t)
(k)
T. C. Silva e L. Zhao (2011), Network-based stochastic semi-supervised learning, IEEE Transactions on Neural Networks and Learning Systems, em reviso a 34 / 52
Introduo ca
Reviso Bibliogrca a a
1
P(k) (i, j, t) rean
V u=1
arg max mK
arg max mK
T. C. Silva e L. Zhao (2011), Network-based stochastic semi-supervised learning, IEEE Transactions on Neural Networks and Learning Systems, em reviso a 35 / 52
Introduo ca
Reviso Bibliogrca a a
(k)
T. C. Silva e L. Zhao (2011), Network-based stochastic semi-supervised learning, IEEE Transactions on Neural Networks and Learning Systems, em reviso a 36 / 52
Introduo ca
Reviso Bibliogrca a a
Ni (0) =
E (0): Todas as part culas comeam com uma energia c intermediria: a E (k) (0) = min + max min K
Introduo ca
Reviso Bibliogrca a a
Contribuioes da Etapa I c
Um descrio rigorosa do modelo competitivo foi realizada por ca meio de um sistema dinmico estocstico no linear a a a
Inexiste tal modelagem na literatura
Generalizao da teoria de caminhada aleatria simples para ca o um modelo matemtico que comporta mltiplas caminhadas a u aleatrias com interao o ca
> 0: mltiplos caminhantes com interao u ca = 0: mltiplos caminhantes sem interao (mltiplas camiu ca u nhadas aleatrias) o
T. C. Silva e L. Zhao (2011), Network-based stochastic semi-supervised learning, IEEE Transactions on Neural Networks and Learning Systems, em reviso a 38 / 52
Introduo ca
Reviso Bibliogrca a a
T. C. Silva e L. Zhao (2011), Network-based stochastic semi-supervised learning, IEEE Transactions on Neural Networks and Learning Systems, em reviso a 39 / 52
Introduo ca
Reviso Bibliogrca a a
Contribuioes da Etapa II c
Validaes das equaes tericas obtidas, contra o resultado co co o emp rico do modelo, foram conduzidas
Conrmam a anlise terica a o
T. C. Silva e L. Zhao (2011), Network-based stochastic semi-supervised learning, IEEE Transactions on Neural Networks and Learning Systems, em reviso a 40 / 52
Introduo ca
Reviso Bibliogrca a a
ETAPA III Extenso do modelo competitivo para o aprendizado no supervia a sionado e criao de mecanismos para estimar o nmero de clusca u ters/comunidades de uma base de dados
41 / 52
Introduo ca
Reviso Bibliogrca a a
2, 1,
R(t) ser baixo quando: a K for maior que o nmero de clusters: mais de uma part u cula dominando um cluster K for menor que o nmero de clusters: uma part u cula dominando mais de um cluster Ideia para estimar nmero de clusters ou comunidades u Usar esse avaliador externo e vericar para que K a quantidade R(t) e maximizada
42 / 52
Introduo ca
Reviso Bibliogrca a a
43 / 52
Introduo ca
Reviso Bibliogrca a a
Oi (t) = 1 (Mi (1, t) Mi (2, t)) Mi (x, t) produz o x-simo maior n de dominao imposto e vel ca ao vrtice i no tempo t e
Ideia para detectar vrtices e comunidades sobrepostos e Vericar relativamente os vrtices com os maiores valores de Oi (t) e
44 / 52
Introduo ca
Reviso Bibliogrca a a
45 / 52
Introduo ca
Reviso Bibliogrca a a
Ideias para prevenir ou reduzir a propagao de rtulos errados ca o Utilizar o n de dominao da vizinhana vel ca c Utilizar a distncia mdia percorrida pela part a e cula Utilizar a informao de quantas vezes uma part ca cula se tornou exausta
46 / 52
Introduo ca
Reviso Bibliogrca a a
Os modelos matemticos sero avaliados quanto ` preciso na a a a a previso dos processos emp a ricos
Mtodos estat e sticos devem gurar em cena para mensurar e validar o desempenho das tcnicas desenvolvidas e
47 / 52
Introduo ca
Reviso Bibliogrca a a
Cronograma de Atividades
: Incompleta : Completa
Atividade hhhh h 1 2 3 4 5 6 7 8 9
hhhh
Semestre
Disciplinas (84 crditos) e Pesquisa Bibliogrca a Exame de Qualicao e TOEFL ca Desenvolvimento Terico o Testes e Simulaoes c
6 7 8
Introduo ca
Reviso Bibliogrca a a
Consideraoes Finais c
Em consonncia ao aumento de dados dispon a veis, o aprendizado semissupervisionado se destaca como um tipo de aprendizado vivel a Conquanto existam inmeras tcnicas presentes na literatura u e concernentes ao aprendizado semissupervisionado, a maioria se fundamenta, essencialmente, em minimizao de funes de ca co energia
49 / 52
Introduo ca
Reviso Bibliogrca a a
Consideraoes Finais c
Em constraste `s tcnicas tradicionais, aqui, buscam-se mtodos a e e alternativos de soluo, que harmonizem bons resultados com ca baixa complexidade computacional H a expressa preocupao com: a ca
a descrio matemtica do modelo, cujo propsito revelar, ca a o e seno integralmente, grande parte de seu comportamento evoa lucional frente aos parmetros de entrada a a anlise do impacto da propagao de erros, fenmeno oriundo a ca o da insero errada de rtulos, no contexto de aprendizado seca o missupervisionado
50 / 52
Publicado (Peridico) o
1
T. C. Silva e L. Zhao (2011), Semi-supervised learning guided by the modularity measure in complex networks, Neurocomputing, DOI: 10.1016/j.neucom.2011.04.042
Submetidos (Peridicos) o
1
T. C. Silva e L. Zhao (2011), Network-based stochastic semi-supervised learning, IEEE Transactions on Neural Networks and Learning Systems, em reviso a T. C. Silva e L. Zhao (2011), Network-based high level data classication, IEEE Transactions on Neural Networks and Learning Systems, em reviso a
T. C. Silva e L. Zhao (2011), Network-based learning through particle competition for data clustering, International Joint Conference on Neural Networks (IJCNN2011), pp. 45-52 T. C. Silva e L. Zhao (2011), Semi-supervised learning in complex networks, VIII Encontro Nacional de Inteligncia Articial (ENIA2011), e XXXI Congresso da Sociedade Brasileira de Computao, pp. 406-417. ca T. C. Silva, T. H. Cupertino e L. Zhao (2011), High level classication for pattern recognition, XXIV Sibgrapi Conference on Graphics, Patterns and Images (SIBGRAPI2011) T. C. Silva, T. H. Cupertino e L. Zhao (2011), Stochastic competitive learning applied to handwritten digit and letter clustering, XXIV Sibgrapi Conference on Graphics, Patterns and Images (SIBGRAPI2011) B. Arajo, F. A. Rodrigues, T. C. Silva e L. Zhao (2010), Identifying u abnormal nodes in protein-protein interaction networks, XI Brazilian Symposium on Articial Neural Network (SBRN2010), pp. 97-102
Aceito (Congresso)
1
T. C. Silva e L. Zhao (2011), Uncovering overlapping structures via stochastic competitive learning, X Brazilian Congress on Computational Intelligence (CBIC2011), aceito