Você está na página 1de 72

Web Semntica

Web de Dados

Agenda

Web de Documentos

Exemplo Motivacional
Web de Dados Definio e Requisitos

Exemplos de Aplicaes

By Mark Douglas Page 2

Como consumimos informao na Web?

Basicamente conduzimos trs atividades principais, ordenadas da mais simples para a

mais complexa:
- Busca (Searching) - Integrao de Informao - Quer seja via documentos Web ou via Web Services (SOA) - Web Data Mining

Conduzimos as atividades acima para tomar de decises usando o conhecimento adquirido. Isto se aplica tanto ao cenrio de Internet quanto ao cenrio de Intranet
- Afinal so as mesmas tecnologias e padres (protocolo HTTP)

By Mark Douglas Page 3

A Web de Documentos

Objetivo: Exibir informaes para o ser humano


- Semntica implcita interpretada por humanos.

Objetos primrios: documentos no estruturados (Texto/HTML). Mquinas apenas exibem os dados, mas no compreende a sua semntica. Cada documento possui um identificador global nico (URL). Links entre documentos (com base na URL) para navegao.

By Mark Douglas Page 4

Problema da Web de Documentos

By Mark Douglas Page 5

Exemplo Integrao de Informao - Viagem

Organizar uma viagem de frias utilizando a Web convencional:


1.
2. 3. 4.

Pesquisar por um lugar que atenda seu interesse e que caiba no oramento.
Reservar voo. Reservar hotel. Alugar carro.

A informao oriunda de todos estes sites tem que ser combinada, manualmente, para criar um plano de viagem
Um processo bem demorado e tedioso.

By Mark Douglas Page 6

Exemplo Integrao de Informao - Viagem

Vamos organizar uma viagem de Amsterd (Holanda) para Budapeste (Hungria) usando a Web.
[exemplo do tutorial de Ivan Herman, W3C]

By Mark Douglas Page 7

Exemplo Integrao de Informao - Viagem

Voc tenta encontrar um voo adequado usando ...

By Mark Douglas Page 8

Exemplo Integrao de Informao - Viagem


... uma grande companhia area, ou ...

By Mark Douglas Page 9

Exemplo Integrao de Informao - Viagem


... a companhia area do pas destino, ou ...

By Mark Douglas Page 10

Exemplo Integrao de Informao - Viagem


... uma companhia mais barata.

By Mark Douglas Page 11

Exemplo Integrao de Informao - Viagem

Voc tem que encontrar um hotel, ento voc procura por ...

By Mark Douglas Page 12

Exemplo Integrao de Informao - Viagem


... uma acomodao bem barata (albergue), ou ...

By Mark Douglas Page 13

Exemplo Integrao de Informao - Viagem


... uma bem luxuosa, ou ...

By Mark Douglas Page 14

Exemplo Integrao de Informao - Viagem


... uma intermediria ...

By Mark Douglas Page 15

Exemplo Integrao de Informao - Viagem

Oops, a pgina est em lngua hngara que voc no compreende, mas ...

By Mark Douglas Page 16

Exemplo Integrao de Informao - Viagem


... esta est melhor.

By Mark Douglas Page 17

Exemplo Integrao de Informao - Viagem

Obviamente, voc pode decidir utilizar um site especializado ...

By Mark Douglas Page 18

Exemplo Integrao de Informao - Viagem


... como este, ou ...

By Mark Douglas Page 19

Exemplo Integrao de Informao - Viagem


... ou este.

By Mark Douglas Page 20

Exemplo Integrao de Informao - Viagem

Voc pode querer conhecer um pouco sobre Budapeste, ver algumas fotos ...

By Mark Douglas Page 21

Exemplo Integrao de Informao - Viagem


... no Flickr ...

By Mark Douglas Page 22

Exemplo Integrao de Informao - Viagem


... no Google ...

By Mark Douglas Page 23

Exemplo Integrao de Informao - Viagem


... ou em um site social sobre viagens.

By Mark Douglas Page 24

Exemplo Integrao de Informao - Viagem


O que aconteceu neste cenrio?

Voc teve que visitar um grande nmero de sites, todos diferentes com relao a estilos, propsitos, possivelmente lnguas... Voc teve que mentalmente integrar todas as informaes para atingir seu objetivo. Um processo demorado e tedioso.

By Mark Douglas Page 25

Exemplo Integrao de Informao - Viagem


Deep Web.

Todas esta pginas so apenas a ponta dos respectivos icebergs


- Os dados reais esto escondidos em banco de dados, arquivos XML, planilhas Excel, etc. - Temos acesso apenas aos dados que o web designer nos permite enxergar.

By Mark Douglas Page 26

Exemplo Integrao de Informao - Viagem


Site especializados (Expedia, TripAdvisor) fazem um pouco mais...

Eles buscam e combinam dados de outras fontes (em geral, com autorizao destas fontes).
- Mas ainda assim, eles controlam o que podemos enxergar.

s vezes queremos personalizar o acesso aos dados: acessar os dados originais e fazer a integrao ns mesmos, como quisermos.

By Mark Douglas Page 27

Outro Exemplo Consulta


Exemplo de Consulta: Existe outro Pel?

By Mark Douglas Page 28

Outro Exemplo Consulta


Exemplo de Consulta: Existe outro Pel?

By Mark Douglas Page 29

Outro Exemplo Consulta


Exemplo de Consulta: Existe outro Pel?

By Mark Douglas Page 30

Outro Exemplo Consulta


Exemplo de Consulta: Existe outro Pel?

By Mark Douglas Page 31

Outro Exemplo - Consulta


E quanto a esta consulta?

Quantos filmes de comdia romntica foram dirigidos por uma pessoa que nasceu em uma cidade cuja a temperatura mdia 15 graus? Para responder voc precisa:
1. Encontrar sites contendo fatos (declaraes) sobre filmes (gnero e diretor), locais de nascimento de artistas/diretores famosos, mdia de temperatura de cidades ao redor do mundo, etc. - O resultado so vrias listas de milhares de fatos. 2. Integrar todos os dados, juntar os fatos oriundos dos vrios sites.

possvel que voc leve dias para responder uma simples consulta!!!

By Mark Douglas Page 32

O que ns queremos?

Usar os dados na Web da mesma forma que usamos os documentos


- Identificar os dados globalmente;
- Poder interligar os dados (independentemente de sua apresentao); - Usar os dados da forma que quisermos (apresentar, integrar, minerar, etc.); - As mquinas (agentes de software) serem capazes no apenas de exibir a informao, mas tambm entenderem o seu significado, podendo tomar decises inteligentes para ns. - P. ex: Responder a consulta anterior, ou ao menos filtrar a consulta.

By Mark Douglas Page 33

Web de Dados

Queremos estender a Web de Documentos para a Web de Dados


- Permitir que as aplicaes explorem os dados diretamente
- Um super banco de dados globalizado que no pra de crescer (network effect)

By Mark Douglas Page 34

Web de Dados

Mas isto no o que sites de Mashup j vm fazendo?

By Mark Douglas Page 35

Exemplo de Mashup

By Mark Douglas Page 36

Web de Dados & Mashup

De certa forma sim, e Mashups so uma prova do poder que uma Web de Dados pode ter. Entretanto, site de Mashups precisam realizar vrias tarefas ad-hoc:
- Vrias fontes de dados expem seus dados via web services; - Cada uma com uma API diferente, uma lgica diferente, uma estrutura diferente; - Estes sites so obrigados a reinventar a roda vrias vezes, pois no h uma forma PADRO para publicao de dados.

By Mark Douglas Page 37

Web de Dados

Ns queremos estender a Web atual para uma Web de Dados PADRO.

Similar ao que ocorre na Web de Documentos, na Web de Dados:


- Pessoas criam diferentes dados; - Elas do um endereo global nico para cada dado (URI) e tornam estes dados acessveis para outros na Web, usando uma linguagem estruturada padro; - Outros descobrem estes dados e se ligam com estes dados (network effect) - Quantos mais links para os dados, mais importantes se tornam estes dados - Alguns dados se tornam importantes e outros dados passam a depender deles, mesmo que o autor dos dados originais no espere por isso.

By Mark Douglas Page 38

Web de Dados
Mais a Web de Dados um pouco mais complicada?

Na Web de Documentos existe a figura humana envolvida


- Um hiperlink tem um contexto que a pessoa utiliza para classificar e interpretar o significado das informaes.

By Mark Douglas Page 39

Web de Dados
Por exemplo, o link no campo orientador no meu currculo Lattes:

By Mark Douglas Page 40

Web de Dados
... que leva para esta pgina:

By Mark Douglas Page 41

Web de Dados

Um humano compreende que esta a pgina do currculo Lattes do meu orientador. O ser humano sabe o significado
- Compreende que o link representa a associao orientado por entre um aluno e seu orientador.

Para Web de Dados algo extra nos links entre os dados se faz necessrio
- As mquinas no so capazes de compreender o relacionamento que um link representa.

By Mark Douglas Page 42

Web de Dados

Para interligar dados, no basta identificar os dados com URI

necessrio acrescentar um label (tipo) ao link que deixe explcito o significado (semntica) do link entre dois dados
- Link tipado, mais conhecido como: termo ou propriedade ou predicado.

Por exemplo:
- Link orientado por que interliga mark que um aluno a schwabe que um professor. - Esta a classificao (tipificao) do link e de ambos dados origem e destino. - Esta informao tem que ser inteligvel por mquina (estruturada e explcita).

By Mark Douglas Page 43

Web de Dados
Unindo as ideias:

Usar URI para publicar dados


- Dado pode ser qualquer coisa do mundo real, concreta ou abstrata: pessoa, evento, empresa, lei, filme, musica, ideologia, paradigma, etc.
- Por exemplo, uma URI para minha pessoa poderia ser: - http://www.iff.edu.br/professor/markdouglasjacyntho - Qualquer coisa identificada por uma URI chamada de Recurso.

Estabelecer link entre os recursos Classificar (tipificar) os recursos e os links para adicionar significado extra inteligvel por mquina Utilizar padres para fazer tudo isso.

By Mark Douglas Page 44

Web de Dados
Exemplo Dereferenciando a URI http://www.iff.edu.br/professor/markdouglasjacyntho

By Mark Douglas Page 45

Topologia da Web de Dados


Linked Open Data Cloud (Nuvem LOD) Princpos Linked Data (by Tim Berners-Lee): 1. 2. 3. 4. Use URIs para nomear coisas; Use HTTP URIs, para que se possa procurar (look up) por este nomes; Faa todas as URIs dereferenciveis, usando os padres (RDF, SPARQL); Inclua links para outras URIs, para que se possa descobrir (navegar para) mais coisas.

By Mark Douglas Page 46

Topologia da Web de Dados


Linked Open Data Cloud (Nuvem LOD)

By Mark Douglas Page 47

A Web de Dados (Resumindo)

Objetivo: Fornecer dados para serem processados por mquinas


Semntica explcita interpretada por mquinas.

Objetos primrios: coisas. Dados estruturados (RDF). Computadores no apenas exibem os dados, mas compreendem a sua semntica. Cada coisa possui um identificador global nico (URI) Esta a definio de Recurso na Web de dados Links tipados (relacionamentos) entre coisas (recursos)
Propriedade (tambm uma URI) de um vocabulrio (ontologia)

By Mark Douglas Page 48

Web Semntica
Ento o que Web Semntica? um conjunto de tecnologias e padres que permitem a criao da Web de Dados. O objetivo inicial de Web Semntica era adicionar (embutir) declaraes extras (metadados estruturados) nas pginas Web para que as mquinas pudessem usar esta informao extra para entenderem o significado do que est contido na pgina
- Descrever pginas Web ainda um dos objetivos da Web Semntica - Mas percebeu-se que poderamos ir alm e criar uma NOVA Web independente das pginas web tradicionais - Web de Dados estruturados interligados, descrevendo quaisquer coisas do mundo, de tal forma que a mquina pudesse navegar por estes dados e compreend-los. - Seria para a mquina o anlogo do que a Web de Documentos para humanos.

By Mark Douglas Page 49

Exemplo Agente de Integrao de Dados

Objetivo:
- Dado um recurso (pode ser uma pessoa, uma ideia, um evento, um produto, enfim), gostaramos de saber tudo que foi dito sobre este recurso na web.

Passos:
1.Coletar o mximo de informao sobre este recurso 2.Integrar a informao coletada 3.Executar consultas (SPARQL) sobre a informao integrada.

By Mark Douglas Page 50

Exemplo Agente de Integrao de Dados

Assuma que j foi desenvolvido o agente que sabe navegar pela web de dados e coletar a informao sobre um recurso Ponto de partida: Fornecer alguma informao de entrada ao agente, a partir da qual ele comece a navegar pelos dados.
- Por exemplo a URL de uma home page: http://www.liyangyu.com

O agente faz download da pgina e tenta coletar informao sobre recursos presentes nesta pgina
- Se for uma pgina HTML convencional, no funcionar - O agente s pode identificar elementos HTML (<p>, <br> <href>, <table>, <li>) que no fornecem nenhuma informao sobre os recursos apresentados na pgina. - Assuma que a pgina contenha declaraes (statements) extras que podem ser coletadas pelo agente.

By Mark Douglas Page 51

Exemplo Agente de Integrao de Dados

Todas as declaraes seguem a mesma estrutura padro, e cada uma representa uma tripla (recurso, propriedade, valor)
- Ou se preferir: (sujeito, predicado, objeto)

Algumas declaraes (triplas) coletados pelo agente:

- ns0 representa uma namespace: tudo prefixado por ns0 foi coletado da mesma fonte de dados (ou se preferir, do mesmo web site).

By Mark Douglas Page 52

Exemplo Agente de Integrao de Dados


As declaraes (triplas) coletadas pelo agente correspondem ao seguinte grafo RDF:

By Mark Douglas Page 53

Exemplo Agente de Integrao de Dados

Digamos que o prximo site que o nosso agente visite seja www.amazon.com
- Assuma que o site amazon.com tambm fornea um conjunto de declaraes

Declaraes coletadas pelo agente no site amazon.com

- ns1 representa o namespace do site amazon.com

By Mark Douglas Page 54

Exemplo Agente de Integrao de Dados


As declaraes coletadas do site amazon.com correspondem ao seguinte grafo RDF:

By Mark Douglas Page 55

Exemplo Agente de Integrao de Dados

sameAs

O agente detecta o mesmo ISBN nos dois grafos e infere a seguinte declarao:

Unio de dois grafos oriundos de servidores web distintos.


- Este o processo de integrao.

By Mark Douglas Page 56

Exemplo Agente de Integrao de Dados

Digamos que o prximo site que o nosso agente visite seja www.linkedin.com
- Assuma que o site linkedin.com tambm fornea um conjunto de declaraes

Declaraes coletadas pelo agente no site linkedin.com

- ns2 representa o namespace do site linkedin.com

By Mark Douglas Page 57

Exemplo Agente de Integrao de Dados


As declaraes coletadas no site linkein.com correspondem ao seguinte grafo RDF:

By Mark Douglas Page 58

Exemplo Agente de Integrao de Dados

sameAs

O agente detecta o mesmo e-mail nos dois grafos e infere a seguinte declarao:

Unio de dois grafos oriundos de web site distintos.


- Este o processo de integrao.

By Mark Douglas Page 59

Exemplo Agente de Integrao de Dados

sameAs

sameAs

By Mark Douglas Page 60

Exemplo Agente de Integrao de Dados

Graas a integrao dos trs grafos, o agente agora pode responder questes (consultas SPARQL) como:
- Qual a home page do trabalho de Laoyu? - Quanto custa o livro de Laoyu? - Qual a cidade que Liyang Yu vive?

Por exemplo, para responder a primeira questo, o agente tem que navegar pelos seguintes RDF links entre os trs grafos:

By Mark Douglas Page 61

Exemplo Agente de Integrao de Dados

Mas como o agente compreende as declaraes (triplas RDF)?

Como o agente consegue raciocinar e inferir novas declaraes?


- Por exemplo: Se a propriedade e-mail do recurso A tem o mesmo valor da propriedade e-mail do recurso B, ento A e B so mesmo recurso.

onde entram em cena os vocabulrios (ontologias), regras (axiomas)


- As declaraes so instncias de um modelo (ontologia), onde tipos, propriedades e regras sobre o conhecimento de um certo domnio esto descritas. - Com base nas ontologias, que explicam as declaraes, que o agente compreende as declaraes e infere novas declaraes. - Tanto as ontologias quanto suas instncias (declaraes) so publicadas e descritas usando a mesma linguagem estruturada: Resource Description Framework (RDF)

By Mark Douglas Page 62

Requisitos e Padres da Web Semntica


Mapeamento dos requisitos no padres definidos pelo W3C

By Mark Douglas Page 63

Exemplo de Aplicaes
Linked Data Browsers http://linksailor.com

By Mark Douglas Page 64

Exemplo de Aplicaes
Linked Data Search Engines

By Mark Douglas Page 65

Exemplo de Aplicaes
Integrao de Dados Governamentais de vrios fontes de dados

US Global Foerign Aid Mashup


- Integra dados histricos de 19462009 de trs agencias do governo do EUA:
- United States Agency for International Development (USAID); - Department of Agriculture; - Department of State.

- Combina com dados de pases oriundos de:


- Artigos do New York Times; - CIA World Factbook

By Mark Douglas Page 66

Exemplo de Aplicaes
Dispositivos Mveis

DBPedia Mobile

- Com base na posio do GPS, exibe um mapa contendo informaes, extradas do Dbpedia, sobre localizaes prximas.
- O usurio pode navegar por RDF links.

- O usurio pode publicar dados sobre sua localizao, contribuindo para a Web de Dados.

By Mark Douglas Page 67

Exemplo de Aplicaes
BBC Artists - HTML URI: http://www.bbc.co.uk/music/artists/4d5447d7-c61c-4120-ba1b-d7f471d385b9#artist

By Mark Douglas Page 68

Exemplo de Aplicaes
BBC Artists Metadados RDF URI: http://www.bbc.co.uk/music/artists/4d5447d7-c61c-4120-ba1b-d7f471d385b9#artist

By Mark Douglas Page 69

Exemplo de Aplicaes
Revyu.com - HTML URI: http://revyu.com/things/broken-flowers-film-movie-bill-murray-jim-jarmusch-sharon

By Mark Douglas Page 70

Exemplo de Aplicaes
Revyu.com - HTML URI: http://revyu.com/things/broken-flowers-film-movie-bill-murray-jim-jarmusch-sharon

Vocabulrios (ontologias)

By Mark Douglas Page 71

Obrigado!

Perguntas ???

By Mark Douglas Page 72

Você também pode gostar