Clusterizao de Dados Utilizando Tcnicas de Deteco de Comunidades em Redes Complexas

Thiago Christiano Silva Leonardo Nascimento Ferreira

Contedo
Introduo

Motivaes Objetivos

Tpicos Relevantes

Redes Complexas Clusterizao de Dados

Contedo
Clusterizao de Dados Utilizando Redes Complexas
Descrio da Tcnica Resultados e Simulaes Computacionais

Consideraes Finais Referncias

Introduo
1.

Motivaes
Redes Complexas
Faz parte essencial da comunidade moderna Capacidade de aplicao em diversas reas Internet, rede eltrica, redes de estrada Apresenta vantagens na sua anlise Considera a estrutura topolgica Auxilia na Clusterizao de Dados As tcnicas so robustas

Introduo
1.

Objetivos
Utilizao do processo de Minerao de Dados em Redes Complexas
Aquisio de conhecimento Detalhamento de todas as fases

A extrao de padres ser conduzida com os seguintes parmetros:

Modo de Aprendizado (atividade): No-supervisionado Tarefa: Clusterizao de Dados Capaz de detectar diversas formas de clusters Que oferea uma estrutura hierrquica de clusters

Introduo

Objetivos
Aplicao em Redes Sociais para Deteco de Comunidades e posterior tomada de deciso
Academia de Karate Zachary

Tpicos Relevantes
1.
Redes Complexas

Compostas por milhares de vrtices Possuem topologia no-trivial

Distribuio de grau complexa

Caractersticas que as descrevem

Complexidade estrutural Comportamento evolucional Diversidade de conexes entre vrtices Dinmica complexa

Exemplos
Internet, Redes Neurais Biolgicas, Sociais, Eltricas

Tpicos Relevantes
1.
Clusterizao de dados

Consiste em agrupar uma coleo de vrtices em clusters

Necessita de uma medida de similaridade

Difcil classificar corretamente clusters de formas arbitrrias Caractersticas

Algoritmo divisivo Algoritmo aglomerativo

Exemplos
K-Means, CHAMELEON

Clusterizao de Dados
1.
Descrio da Tcnica

Algoritmo baseado no CHAMELEON Simplifica e melhora o processo de formao de clusters

Capaz de detectar clusters de formas e densidades arbitrrias Oferece uma estrutura hierrquica dos clusters Dividido em 2 fases Formao de Rede Partio da rede em sub-redes

Formao da Rede
k-nearest neighbour Ligaes com todos da -vizinhana

= 50 e k = 5

= 50 e = 150

Partio em sub-redes
A medida utilizada foi a modularidade, proposta por Newman Modularidade
Indica o quanto uma certa diviso da rede boa
Leva em considerao o nmero de arestas inter e intracomunidades

Algoritmo aglomerativo hierrquico

Simulaes

Simulaes Dados Reais

Descrio do Problema
Rede social: Academia de Karate Zachary Afinidade

Identificao do Problema
Clima ruim Diretor:
Quem est do meu lado? Quem devo convencer a vir para meu lado?

Simulaes Dados Reais

Pr-Processamento

Transformao:
Disposio os dados para visualizao Vrtice nome -> Vrtice ID inteiro
DE Director Instructor John Director Instructor PARA John Kenny William Andy Director

Simulaes Dados Reais

Extrao de Padres
Atividade:
Descritiva: No-supervisionado Tarefa: Clusterizao

Execuo:
Implementao da Rede Complexa

Simulaes Dados Reais

Execuo:
Academia de carat de Zachary: = 34

Configurao Inicial

Configurao com Q mximo de 0.4

Simulaes Dados Reais

Ps-Processamento
Clusterizao no rotula classes
Atravs dos IDs dos clusters obtm-se os nomes dos membros

Gerao de relatrio com a separao dos grupos

Permite saber quem possivelmente ir se desligar da academia Grande chance de serem aqueles em que o algoritmo classificou como seguidores do instrutor

Simulaes Dados Reais

Utilizao do Conhecimento:
Tomada de Deciso:
Convencer os membros a no efetivarem o desligamento:
Atravs de estratgias de marketing Descontos na mensalidade Bnus mensal de fidelizao ao cliente Prmios por antiguidade etc.

Simulao Dados Artificiais

Rede Artificial
norm = 0.004

= 7320 Arestas = 190450

Qmx = 0.80

Simulao Dados Artificiais

Comunidades = 9

Comunidades = 7

Simulao Dados Artificiais

Comunidades = 5

Comunidades = 4

Simulao Dados Artificiais

Simulao Dados Artificiais

Simulao Dados Artificiais

Simulao Dados Artificiais

Simulao Dados Artificiais

Simulao Dados Artificiais

Simulao Dados Artificiais

Simulao Dados Artificiais

Simulao Dados Artificiais

Consideraes Finais
Consonante ao grande volume de dados produzido no mundo atual, a Minerao de Dados se tornou um processo essencial s corporaes e s pesquisas atuais
Permite estabelecer relaes e descobertas de padres e comportamentos Auxilia na tomada de decises

Este trabalho apresentou uma aplicao hipottica simples, porm factvel, de utilizao de Minerao de Dados no campo de Clusterizao de Dados utilizando Redes Complexas para Deteco de Comunidades

Referncias
[1] Silva, T. C., Zhao L. (2007) Pixel Clustering by Using Complex Network Community Detection Technique. In: 7th International Conference on Intelligent Systems Design and Applications, 2007, Rio de Janeiro. Proceedings of 7th International Conference on Intelligent Systems Design and Applications. Danvers, MA, USA : IEEE Computer Society. v. 1. p. 925-930 [2] Newman, M. E. J. (2004) Fast algorithm for detecting community structure in networks, Physical Review E, v. 69, p. 066133(1-5) [3] Newman, M.E.J., Girvan, M. (2004) Finding and evaluating community structure in networks, Physical Review E, v. 69, p. 026113(115) [4] Strogatz, S.H. (2001) Exploring complex networks, Nature, v. 410, p. 268-276

Referncias
[5] Barabsi, A.-L., Albert, R. (1999) Emergence of scaling in random networks, Science, v. 286, p. 509-512 [6] Linda G. Shapiro and George C. Stockman (2001): "Computer Vision", pp 279-325, New Jersey, Prentice-Hall [7] Ron Ohlander, Keith Price, and D. Raj Reddy (1978): "Picture Segmentation Using a Recursive Region Splitting Method", Computer Graphics and Image Processing, volume 8, pp 313-333 [8] Hppner, F., Klawonn, F., Kruse, R., Runkler, T. (1999) Fuzzy cluster analysis: methods for classification, data analysis and image recognition, John Wiley & Sons, Inc., Hoboken, NJ,USA [9] Chvez G. C, Video Content Analysis by Active Learning. (2007) Tese (Doutorado em Cincias da Computao) - Universidade Federal de Minas Gerais