COLETA DE CORPUS

NA WEB
CURSO BÁSICO
José Antonio V. S. de M. Oliveira
Aula 2 – Maio/2010
Recapitulando
 Codificação de caracteres
 Tabelas mais usadas em PT-BR
 ASCII, ISO-8859-1 e UTF-8
 Cada sistema usa uma terminação de
linha diferente.
 Unix e MacOS X– LF [10]
 Windows – CR + LF [13 10]
 Mac (até versão 9) – CR [13]
 Usar a codificação e/ou a quebra de linha
erradas resulta em erros na contagem
de palavras ou de linhas e a análise do
corpus fica prejudicada.



Recapitulando
 Elementos de páginas da Web
Toda página está codificada através de tags
 <tag atributo1=“dados” atributo2=“dados”>
 CONTEÚDO
 </tag>
 Estrutura da Página:
 Versão do HTML
 Head
 Body
 Geralmente, o que procuramos está dentro
do body da página. Podemos ignorar o
head.
HTML Escape Codes
 Acentos e outros caracteres especiais
 As versões iniciais do HTML só permitiam
que o código tivesse caracteres da
tabela ASCII (Até 127).
 Para fazer acentos ou outros caracteres
especiais, usava-se os “Escape
Characters”, que consistem numa
representação dos caracteres entre um
& e um “;”, por exemplo:
á => &aacute;
 ç => &ccedil;
 HTML Escape Codes
 “As estações de trem de Magalhães Bastos e da Vila Militar, no
ramal Santa Cruz, vão ficar de cara nova. A Secretaria
Estadual de Transportes publica, nos próximos dias, edital
de licitação para as obras de ampliação e modernização de
duas das oito estações que serão reformadas até as
Olimpíadas de 2016.”


 <em>&ldquo;As esta&ccedil;&otilde;es de trem de

Magalh&atilde;es Bastos e da Vila Militar, no ramal Santa
Cruz, v&atilde;o ficar de cara nova. A <strong>Secretaria
Estadual de Transportes</strong> publica, nos
pr&oacute;ximos dias, edital de licita&ccedil;&atilde;o para
as obras de amplia&ccedil;&atilde;o e
moderniza&ccedil;&atilde;o de duas das oito
esta&ccedil;&otilde;es que ser&atilde;o reformadas
at&eacute; as Olimp&iacute;adas de 2016.&rdquo;</em>

HTML Escape Codes
 Duas maneiras: &escapecode; ou &#code;
 &euro; &Otilde; &amp; &ecirc; (“€”, “Õ”, “&”,
“ê”)
 &#8364; &#213; &#38; &#234; (“€”, “Õ”,
“&”, “ê”)


 Lista completa:
 http://www.escapecodes.info/


 Ainda existem muitas páginas que usam os

escape codes para acentuar as letras e
usar caracteres especiais.
Feeds RSS e Atom
 Para acompanhar vários periódicos on-line
sem ter que visitar todos os sites é preciso
centralizar as notícias (ou pelo menos as
chamadas) em um único lugar.


 Para isso criou-se o conceito de Feed RSS, ou

seja, um endereço que é “alimentado”
constantemente com as matérias mais
recentes.
Feeds RSS e Atom
 Os feeds são arquivos XML
 Assim como no HTML, no XML os dados são envolvidos
por
TAGs.
 Feeds RSS e Atom
 O que vem num feed?
 Lista de itens (notícias, artigos etc.)
 <item>
 <title>Invasão do Planeta Terra</title>
 <link>
 http://news.noticias.com.br/2010/05/09/invasao.htm
 </link>
 <description>
 O planeta Terra foi atacado por uma frotade naves
provenientes do outro lado da galáxia. Por sorte,
 graças a um erro de cálculo de escala, toda armada
 foi comida por um poodle.
 </description>
 </item>
 Feeds RSS e Atom
Exemplo de leitor de Feed : Google Reader
 Feeds RSS e Atom
 Existem inúmeras ferramentas para acompanhar
Feeds
 O Google Reader
 Outlook
 Firefox
 Netvibes
 Além de notícias, os feeds podem ser usados para
qualquer coisa que possua atualizações:
 Versões de programas
 Músicas
 Blogs
 Aulas
 Feeds também podem ser direcionados para
adicionar conteúdo a programas.
Feeds RSS e Atom
 Dois formatos são usados atualmente:
 RSS
 RSS 1.0 (RDF Site Summary)
 RSS 2.0 (Really Simple Syndication)
 Atom(uma tentativa de unir RSS 1.0 e
RSS 2.0)
 Apesar de parecidos, os formatos
possuem aspectos particulares.
 Ambos são fáceis de processar
 Feeds Completos e Incompletos
Feeds Incompletos
 Geralmente, jornais não fornecem o texto
completo das notícias no seu RSS.
Feeds Incompletos
 Os feeds incompletos sempre indicam um
link para que o usuário clique e visite o
texto completo da matéria no site do
periódico.
 Eles acabam servindo para indicar
matérias novas e para que o leitor
(humano) possa decidir se vai ler ou
não a matéria completa.
 Para se obter o texto completo
precisaremos seguir o link, abrir a
página do periódico e interpretar o
HTML da página.
 Feeds Completos
 O sonho de consumo de todo “caçador de
corpus”.
Feeds Completos
 Um feed completo contém todo o texto
do artigo no próprio RSS
 Pode conter o texto em HTML ou em
“plain text” (texto puro).
 Raramente se encontra em publicações
que não sejam gratuitas (blogs
particulares, foruns etc.)