Você está na página 1de 54

Tpicos Avanados de Bancos de Dados

Prof. Antonio Carlos


Faculdade Sumar - 2013

Apresentao

Ementa
Plano de Aula
Avaliao
Aula introdutria

Ementa

Ao Final do Semestre o Aluno ter conhecimento do


estado da Arte de Banco de Dados

Competncias e Habilidades

Datawarehouse
DataMining
Mecanismo de Busca/Relevncia - PageRANK
Descoberta de Conhecimento Automatizada/KDD
Bancos no Relacionais

Plano de Aula

Avaliao

Duas avaliaes da instituio valendo +-75% da nota

Uma ou Duas atividades valendo +-15% da nota

Frequencia podendo valer at 10% da nota

As Datas das atividades e provas dependem do


calendario academico, e o plano de aula ser
reajustado.

Histrico

Sistemas Computacionais Comerciais


Arquivos
Banco de Dados Hierrquico/Rede

Histrico

Sistemas Computacionais Comerciais


Arquivos
Analise de Resultados

Consultas e Relatrios

Independncia

Banco de Dados Hierrquico/Rede

Histrico

Sistemas Computacionais Comerciais


Arquivos
Analise de Resultados

Consultas e Relatrios

Independncia

Banco de Dados Hierrquico/Rede

Definir - Grupos de Trabalho

Pesquisa e Explanao

Projetando

Entender o domnio do problema

Projetando

Entender o domnio do problema


Sistema Convencional

Sistema de Apoio a Deciso (BI)

Projetando

Entender o domnio do problema


Sistema Convencional

Faturamento

Vendas

RH

Outros

Sistema de Apoio a Deciso (BI)

Projetando

Entender o domnio do problema


Sistema Convencional

Faturamento

Vendas

RH

Outros

Normalizao

Sistema de Apoio a Deciso (BI)

Projetando

Entender o domnio do problema


Sistema Convencional

Faturamento

Vendas

RH

Outros

Normalizao
(No Redundncia)
(Confiabilidade)

Sistema de Apoio a Deciso (BI)

Projetando

Entender o domnio do problema


Sistema Convencional

Sistema de Apoio a Deciso (BI)

Procurar Comportamentos/Repeties/Sazonalidade

Projetando

Entender o domnio do problema


Sistema Convencional

Sistema de Apoio a Deciso (BI)

Procurar Comportamentos/Repeties/Sazonalidade

Comprar melhor

Suficiente
Necessrio
Quando

Projetando

Sistemas de Apoio a Deciso (BI)


Normalizao?

Projetando

Sistemas de Apoio a Deciso (BI)


Normalizao?

Se Aplica?

Projetando

Exercitando....

Dado o Layout abaixo, em grupo defina os passos para usar esta informao
01 Record
05 diretoria pic 9(5)
05 dir-nome pic x(30).
05 agencia.
10 ag-cod pic 9(5)
10 filler pic x
10 ag-dv pic 9
05 age-nome pic x(30).
05 conta.
10 cta-cod pic 9(6)
10 filler pic x
10 cta-dv pic 9
05 id pic x(15)
05 nome pic x(40)
05 endereco pic x(40)
05 complemento pic x(20)
05 cep pic x(9)
05 uf pic x(2)
05 cidade pic x(30)
05 produtos occurs 10 times
10 prd-cod pic 9(2)
10 prd-dsc pic x(20)
10 prd-vlr pic s9(9)v99

Minerao de Dados

Procurar padres de comportamento, identificar, aprender


com o padro e us-lo como parte da estratgia de
negcios.

Minerao de Dados

Procurar padres de comportamento, identificar, aprender


com o padro e us-lo como parte da estratgia de
negcios.
Padres
Repeties seguindo algum critrio

Ex.: Temporal
Gnero

Minerao de Dados

Temporal (ex.:)
Champanhe

Panetone

Abada

Minerao de Dados

Gnero
Produtos ligados ao gnero do comprador,
eventualmente o parceiro pode efetuar a compra no
seu lugar.

Minerao de Dados

Padro Social
Produtos concorrentes, mas com proposta diferente
em funo da posio social do comprador

Minerao de Dados

Claramente o exemplo acima, foi pensado para um


modelo de negcio. Comrcio.

Concluindo-se que a minerao modelada a responder


as dvidas existentes no modelo de negcio afim de
obter vantagem competitiva

Minerao de Dados

Uma forma de se iniciar a minerao de dados criar o


modelo, j pensando em que respostas este modelo
poder responder atravs de simulao

Minerao de Dados

Uma forma de se iniciar a minerao de dados criar o


modelo, j pensando em que respostas este modelo
poder responder atravs de simulao.

Aps a validao inicial deste modelo, os dados devero


ser importados, ajustados, eventualmente
transformados antes de serem utilizados.

Minerao de Dados

Page-Rank

Qual o principal uso da Internet?

Page-Rank

Qual o principal uso da Internet?

R. Pesquisa, embora possamos fazer outros usos como pagamentos, subida e descida
de arquivos, etc.

Page-Rank

Pela sua prpria natureza o contedo da Internet no padronizado, e quando se


iniciou o seu uso intensivo, percebeu-se um grande problema.

Qual o maior problema que podemos encontrar na internet?

Page-Rank

Pela sua prpria natureza o contedo da Internet no padronizado, e quando se


iniciou o seu uso intensivo, percebeu-se um grande problema.

Qual o maior problema que podemos encontrar na internet?

R. encontrar as respostas exatas

Page-Rank

Pela sua prpria natureza o contedo da Internet no padronizado, e quando se


iniciou o seu uso intensivo, percebeu-se um grande problema.

Qual o maior problema que podemos encontrar na internet?

R. encontrar as respostas exatas

E o que utilizamos para isto?

Page-Rank

R. Google, a referncia para os motores de pesquisa, sendo de longe o mais


utilizado, mas existem outros tais como ask,bing e outros tantos.

Page-Rank

R. Google, a referncia para os motores de pesquisa, sendo de longe o mais


utilizado, mas existem outros tais como ask,bing e outros tantos.

Mas o que explica o seu sucesso?

Page-Rank

R. Google, a referncia para os motores de pesquisa, sendo de longe o mais


utilizado, mas existem outros tais como ask,bing e outros tantos.

Mas o que explica o seu sucesso?

Sua Tecnologia para calculo de relevncia das pginas, esta tecnologia chamada de
Page-Rank.

Page-Rank

PageRank foi proposto pela universidade de STANFORD e patenteado, ao Google


cabe a marca registrada, o Google tem os direitos de licena exclusivos sobre a
patente, pagando atravs de 1.8 milhes de aes do Google.

As aes foram vendidas em 2005 por 336 milhes de dlares.

O Sistema PageRank usado pelo motor de busca Google para ajudar a determinar a
relevncia ou importncia de uma pgina. Foi desenvolvida pelos fundadores do
Google, Larry Page e Sergey Brin enquanto cursavam a Universidade de Stanford
em 1.988 http://pt.wikipedia.org/wiki/PageRank

Page-Rank

PageRank foi proposto pela universidade de STANFORD e patenteado, ao Google


cabe a marca registrada, o Google tem os direitos de licena exclusivos sobre a
patente, pagando atravs de 1.8 milhes de aes do Google.

As aes foram vendidas em 2005 por 336 milhes de dlares.

O Sistema PageRank usado pelo motor de busca Google para ajudar a determinar a
relevncia ou importncia de uma pgina. Foi desenvolvida pelos fundadores do
Google, Larry Page e Sergey Brin enquanto cursavam a Universidade de Stanford
em 1.988 http://pt.wikipedia.org/wiki/PageRank

Mas como funciona?

Page-Rank

A Ideia proposta simples, cada documento(pgina) ganha um peso proporcional ao


numero de relaes que este documento possui.
Portanto quanto mais referncias esta pgina possui, maior ser o seu peso e se esta
pgina referenciar a outra, o peso desta outra pgina proporcional a indicao.

Page-Rank

Bom mas como isto feito?

R. o Google criou alguns webbots, so pequenos robs que ficam navegando pela
internet e a cada pgina visita, uma cpia enviada ao servidores do Google e
armazenada, e estes mesmos webbots tambm vo votando nestas pginas
ajudando a dar peso a pgina visitada.

Page-Rank

Bom mas como isto feito?

R. o Google criou alguns webbots, so pequenos robs que ficam navegando pela
internet e a cada pgina visita, uma cpia enviada ao servidores do Google e
armazenada, e estes mesmos webbots tambm vo votando nestas pginas
ajudando a dar peso a pgina visitada.

Naturalmente quanto mais a pgina for visitada pelos links que a ela levaram ter um
peso maior, tambm desnecessrio dizer que os links so visitados apenas uma
vez, para evitar que um rob fique preso.

Page-Rank

Bom mas como isto feito?

R. o Google criou alguns webbots, so pequenos robs que ficam navegando pela
internet e a cada pgina visita, uma cpia enviada ao servidores do Google e
armazenada, e estes mesmos webbots tambm vo votando nestas pginas
ajudando a dar peso a pgina visitada.

Naturalmente quanto mais a pgina for visitada pelos links que a ela levaram ter um
peso maior, tambm desnecessrio dizer que os links so visitados apenas uma
vez, para evitar que um rob fique preso.

Mas possvel manipular o resultado do PageRank com links descontextualizados


ocasionando resultados pouco relevantes ou tendenciosos a esta falha atribuda
o termo Googlebombing. E o Google tem removido estes resultados
frequentemente, logicamente que quando so percebidos.

Page-Rank

Page-Rank

Alguns benefcios citados pelo site do Google.

Voc pode receber a pgina mesmo que o site original esteja fora

Pode acontecer do resultado estar desatualizado.

Voc receber apenas os links das pginas que contm os argumentos usados na
pesquisa

Quanto mais prximos os argumentos estiverem maior ser a importncia

Voc recebe um resumo/parte da pgina original, evitando navegar


desnecessariamente

Page-Rank

Trabalho em Grupo, apresentao 10 minutos prxima aula

Motores de Busca

Globais BING, Yahoo

Verticais CATHO, BUSCAPE, ZURA, ACHANOTICIAS,SAPO

Guias Locais GUIAMAIS, LISTO, ACHECERTO


Motores de Busca Acadmica

Motores de Busca

Basicamente Existem trs tipos de motores de Busca:

Diretrios

Indexadores

Metapesquisadores

Motores de Busca

Diretrios

O seu contedo organizado e mantido por pessoas gerando grandes catlogos


Vantagens

Pouco rudo.

Contedo melhor classificado.

Acreditando-se que a pessoa responsvel tenha sido bastante rigorosa quanto


ao contedo e relevncia

Motores de Busca

Indexadores

O seu contedo organizado e mantido por robs gerando grandes bases


Vantagens

Muito contedo.

Necessitam de outros passos afim de garantir a qualidade mnima aceitvel.

Motores de Busca

MetaPesquisadores

So ferramentas, que permitem que se dispare vrias pesquisas simultneas para


vrios catlogos e Indexadores.

Vantagens

Tempo.

Motores de Busca

Percebemos facilmente que o volume de informao na WEB, a cada dia aumenta e


com isto a localizao de contedo relevante continua interminvel, por conta da
prpria natureza da WEB.

Motores de Busca

Percebemos facilmente que o volume de informao na WEB, a cada dia aumenta e


com isto a localizao de contedo relevante continua interminvel, por conta da
prpria natureza da WEB.

Mas Existe Soluo?

Motores de Busca

Percebemos facilmente que o volume de informao na WEB, a cada dia aumenta e


com isto a localizao de contedo relevante continua interminvel, por conta da
prpria natureza da WEB.

Mas Existe Soluo?

R. A curto prazo no, mas existem alguns esforos para se divulgar endereos
especficos para um domnio de conhecimento, e tentar organizar melhor este
contedo.

Atravs de Sites de Categorias IEEE, ou por exemplo Acadmicos

Reviso

Motivao Banco de Dados(Aplicao/BI)


Modelos de Banco/Normalizao/Fat-Table
Orientao a Negocio/BI
Exportao/Transformao + Agregao dados externos
Minerao de Dados
Google (PageRank)
Motores de Busca
Indexadores

Globais

Locais

Bibliografia

http://litolima.com/2010/09/23/introducao-a-mineracao-de-dados-parte-1/
http://pt.wikipedia.org/wiki/PageRank