PROCESSAMENTO DE LINGUAGEM NATURAL

Prof. Dr. Carlos Alberto de Oliveira

SUMRIO
1. 2. 3. 4. 5. 6. 7.

CONSIDERAES INICIAIS O QUE LINGUAGEM NATURAL A VISO QUE TEMOS DA LNGUA IMPLICAES ESCOLHAS DE PROCESSAMENTO OPERACIONALIZAO EM LNGUA ESCRITA COMENTRIOS E APLICAES BIBLIOGRAFIA

FIM

OPERACIONALIZAO DE INTERFACES

A Gramtica Gerativo-transformacional Outras Gramticas (dentre muitas)

Gramtica Formal Gramtica de Estados Finitos Gramtica de Clusulas Definidas Gramtica Probabilstica Gramtica Lexicalizada

A Gramtica Gerativotransformacional

NOAM CHOMSKY
FRASES NUCLEARES

Componente Sinttico

FRASES COMPLEXAS

Componente Fonolgico

A Gramtica Gerativotransformacional
Dois componentes sintticos:
o sintagmtico o transformacional

O componente sintagmtico:
regras de reescrita regras de subcategorizao o lxico

O componente transformacional

Gramtica de estados finitos

incio ART ADJ SUBST ADJ SUBST fim ADJ VBO

Gramtica de Clusulas Definidas

A frase me comi a fruta est correta sintaticamente. Mas, ... Assim, subcategorizam-se as possibilidades: SN1 = { eu } SNo = {me, mim, ...} Ou seja, em lugar de introduzir novas regras, aumentam-se as existentes, subcategorizando-as.

Gramtica de Clusulas Definidas

sentenca(S0,S) :sintagma_nominal(S0,S1), sintagma_verbal(S1,S). sintagma_nominal (S0,S) :- determinante(S0,S1), nome(S1,S). sintagma_verbal (S0,S) :verbo(S0,S1), sintagma_nominal(S1,S). determinante([o|S],S). nome([msico|S],S). nome([violino|S],S). verbo([toca|S],S).

Gramtica de Clusulas Definidas

sentenca --> sintagma_nominal(Numero, pessoa), sintagma_verbal(Numero). sintagma_nominal(Numero, Tipo) --> determinante(Numero), nome(Numero, Tipo). sintagma_verbal(Numero) --> verbo(Numero), sintagma_nominal(Numero, coisa). determinante(singular) --> [o]. determinante(plural) --> [os]. nome(singular, pessoa) --> [msico]. nome(plural, pessoa) --> [msicos]. nome(singular, coisa) --> [violino]. verbo(singular) --> [toca]. verbo(plural) --> [tocam].

Gramtica Probabilstica Livre de Contexto

SN SV [1,00] Pron [0,10] / Nome [0,10] / Subst [0,20] / Art Subst [0,50] / SN SPrep [0,10] SV Verbo [0,60] / SV SN [0,20] / SV SPrep [0,20] SPrep Prep SN [1,00] S SN

Subst gato [0,10] / arroz [0,15] Verbo v [0,15] / come [0,25] Art Prep Pron o [0,05] / uma [0,10] por [0,30] / em [0,03] ...

Gramtica Probabilstica Livre de Contexto

S SN Art
0,05 0,50 1,00

SV

0,60

Subst
0,15

Verbo
0,10

o gato come A probabilidade da rvore como um todo 1,0 x 0,5 x 0,05 x 0,15 x 0,6 x 0,1 = 0,000225 PROBLEMA: comer uma banana e comer uma bandana, depende apenas de banana ou bandana j que no existe relacionamento entre comer e seu objeto. Uma GPLC lexicalizada poderia resolver tal questo!

Gramtica Livre de Contexto Lexicalizada

GLCL uma 5-tupla (, NT, I, A, S) que gera rvores (e no cadeias)

um conjunto de smbolos terminais um conjunto de smbolos noterminais I e A so conjuntos de rvores rotuladas por smbolos terminais e no-terminais S um smbolo inicial no-terminal
NT

Gramtica Livre de Contexto Lexicalizada

Em cada rvore inicial de I: os ns interiores so rotulados por smbolos noterminais os smbolos no terminais na fronteira so marcados por substituio (conveno: ) Em cada rvore auxiliar de A: os ns interiores so rotulados por smbolos noterminais todos menos um dos smbolos no-terminais na fronteira so marcados por substituio o no-terminal remanescente na fronteira da rvore chamado de base (conveno: *)

Gramtica Livre de Contexto Lexicalizada

SN Det Nome leso S SNo Verbo dizer SV SN1 Adj maior Nome Nome*

Gramtica Livre de Contexto Lexicalizada A

A substituio

A A w1 A w2

A w4 w3

w1

w2

w4

A*

w3

adjuno recursiva esquerda

Gramtica Livre de Contexto Lexicalizada

SN Det

SV SN Det Nome Mod SAdj Intens Adj

regular

Nome Verbo

Detbase

Detbase

tbia

tem

um

contorno

totalmente

COMENTRIOS E APLICAES
Modelar o USURIO como parte essencial do Sistema (no apenas como parte integrante ou acessria)

colher o saber/conhecimento lingstico do mesmo (manualmente ou automatizadamente) lembrar sempre que ele (o usurio) que vai, um trusmo, usar o sistema lembrar de uma das leis de Murphy (extendida):
faa um sistema que s um idiota no saberia utilizar que vai aparecer um idiota que derrubar o seu sistema

COMENTRIOS E APLICAES
Lembrar, pelo exposto na tela anterior, que a linguagem sempre ser determinada pelo domnio

por exemplo: o Lxico de um domnio mdico ser sempre especfico a Gramtica (regras de reescrita) tambm

COMENTRIOS E APLICAES
Optar, conforme aplicao, por:

Lexema

Lexias mudana, mudaremos, mudem, mudam, ... pedras, pedrada, pedregulho, pedreira, ...

tratar o Lxico (economia de memria; gasto em tempo computacional) ou incluir todas as lexias possveis de ocorrerem (gasto de memria; economia em tempo computacional)

mudar

pedra

COMENTRIOS E APLICAES
Interface

Dialgica Em Linguagem NaturAL para sistemas especialistas IDEAL Linguagem de transformaes Interface para o INSIRIUS Ferramenta de auxlio elaborao de currculos educacionais

COMENTRIOS E APLICAES
Alguma

sugesto de pesquisa:
por induo (por exemplo, para
de textos enviados por

gramtica

avaliar autoria internet)

linguagem

isto seja de extrema importncia (ex.: robs marcianos)

alto nvel para situaes em que

BIBLIOGRAFIA
RUSSELL,

NORVIG, Peter. Inteligncia Artificial. Rio de Janeiro: Elsevier, 2004 Cynthyan R. S. C. de. Tcnicas Tese de Doutorada. ITA,

Stuart;

BARBOSA,

de parsing contexto Portuguesa.

2004

para gramtica livre de lexicalizada da Lngua

ESCOLHAS
gerao fala escrita interpretao fala interfaces (um estilo de interao) fala escrita . escrita
E sobre isto que falaremos HOJE!!

O QUE LINGUAGEM NATURAL

MODALIDADE ORAL sons (fonemas) fluxo contnuo fala, audio inflexo, entonao
sintagmas fragmentados

MODALIDADE ESCRITA letras (grafemas) unidades discretas digitao, viso pontuao

sintagmas completos

....

....

O QUE LINGUAGEM NATURAL

NVEIS DE ANLISE MORFOLGICO SINTTICO SEMNTICO PRAGMTICO
AQUI RESIDE A PRIMEIRA ESCOLHA!!!

palavras (lxico) gramticas (regras) significado significao regras de uso em condies reais(componente extralingstico)

O QUE LINGUAGEM NATURAL

A REPRESENTAO DO CONHECIMENTO Casos Agentes Dependncia Conceitual Redes Semnticas Frames Lgica Regras Gramaticais ....

A VISO QUE TEMOS DA LNGUA E SUAS IMPLICAES

VISO ANALOGISTA Regras Gramaticais so precisas Conhecimento (logo, pode ser sistematizado) Racionalista Mentalista Naturalista Chomsky AQUI RESIDE A SEGUNDA ESCOLHA!!! VISO ANOMALISTA Uso em condies reais so imprecisas Saber (logo, s pode ser aprendido) Subjetiva Realista Convencionalista Piaget, Vygotsky e, de certo modo, a IA

OUTRAS DENOMINAES

OUTRAS DENOMINAES

ESTUDIOSOS

ESTUDIOSOS

A VISO QUE TEMOS DA LNGUA E SUAS IMPLICAES

UM CONJUNTO DE PALAVRAS OU UM CONJUNTO DE FRASES LOGO, UM PRODUTO, UM SISTEMA, UMA ESTRUTURA IMPLICA o uso de Lgica Clssica e de Gramticas Formais LOGO, UM PROCESSO E VRIOS SISTEMAS IMPLICA o uso de Lgicas modais, paraconsistentes, e Teorias Textual e do Discurso UM TEXTO

considerar que um considerar que o significado se existe um emissor (que estabelece NO ATO da interao codifica) e um receptor AQUI RESIDE (que decodifica) A TERCEIRA ESCOLHA!!!

REGRAS DE REESCRITA S SN SV SN Art Subst SV Verbo SN FRASES POSSVEIS 0 homem chama o transeunte. A aluna come a ma. (*) O transeunte come a perna. O cachorro morde a perna. (*) O cachorro chama a ma. (*) A perna come a ma. (*) A ma chama a perna.

LXICO (subcategorizao) subst1 subst = homem, aluna, transeunte subst2 subst = cachorro subst3 subst = perna subst4 subst = ma verbo1 verbo = comer, chamar verbo2 verbo = morder

A GRAMTICA FORMAL DE CHOMSKY

REPRESENTA O ARBREA

O HOMEM RECEBEU UMA FOTO DE FRANCA

O HOMEM RECEBEU UMA FOTO

O HOMEM RECEBEU UMA FOTO

DE FRANCA

 Estrutura

Profunda (cognio; pensamento) o que se quer dizer aplicao de regras aplicao de transformaes

Estrutura de Superfcie (realizao da fala)

As transformaes
De EP

substituio

Carlos

almoar

ES

ele o professor

almoou almoou

de permuta, de adio e de supresso

EP

ES

gato comer rato (def + gato) (pass + comer) (indef + rato) o gato comeu um rato (possvel ES) um rato comeu o gato um rato (foi comido) o gato um rato foi comido pelo gato (possvel ES) um rato foi comido pelo gato Um rato foi comido

LINGUAGEM linguagem formal definida como um conjunto Uma (possivelmente infinito) de cadeias. Normalmente, trata-se a linguagem natural (LN) com fosse formal (embora no haja uma correspondncia perfeita entre ambas). GRAMTICA um conjunto finito de regras que especificam uma linguagem. O lingista um cientista que busca definir uma LN como ela (com gramticas descritivas). O gramtico busca prescrever a LN como ela deve ser (gramtica normativa ou prescritiva). DISCURSO / TEXTO (lngua em condies reais de uso) Deixis (ex.: uma mensagem numa garrafa na praia)

Encontre-me aqui hoje com um sapato bem grande.

Referncia

Joo falou com Jos.

(Joo e Jos referem-se a pessoas).

Eles disseram isto: no podemos mais compactuar com a ignorncia. (Eles referencia Joo e Jos, anaforicamente)

(isto referencia no podemos mais compactuar com a ignorncia, cataforicamente)

 ... a linguagem passa a ser encarada como forma de ao, ao sobre o mundo, dotada de intencionalidade, veiculadora de ideologia, caracterizando-se, portanto, pela argumentatividade.
Koch, I. G. V. Argumentao e linguagem. So Paulo: Cortez, 1984

RELEVANDO QUE ISTO APENAS UMA BRINCADEIRA, ATENTEM PARA A DIFERENA (SEMPRE EM AMARELO) ENTRE A PALAVRA FALADA E A PALAVRA ESCRITA. Sapassado, taveu no cuzinha tomano uma pincumel e cuzinhano um quidicarne cumastomate pra faz uma macarronada cum galinhassada. Quasca dissusto quandovi um bari vindidenduforno. Parecia tidiguerra! A receita mandop midipipoca denda galinha prass. O forno isquent, o mistor e o fiof da galinhispludiu. Nossinhora! Fiquei branco quineim lidileite. Foi um treim doidimais, s! Quasca dendapia. Fiquei sem sab doncovim, oncot, poncov. Grazadeus ningum simachuc!

FRAGMENTO DE DICIONRIO DE UM DOMNIO MDICO dic_n(ewing, sing,masc) dic_n(osteopenia, sing,fem) dic_n(osteopenias, plu,fem) dic_n(metfise, sing,fem) dic_n(paciente, sing,masc) dic_adj(localizada, sing, fem) dic_adj(localizado, sing, masc) dic_adj(significativa, sing. fem) dic_adj(significativo, sing, masc) dic_ncom(partes moles,plu,fem) dic_ncom(reao periosteais, plu,fem)

Domnio: Radiografia da tbia

Cenrio R1.1 Qual a incidncia? Quais as principais estruturas anatmicas que foram vistas? Compromete espao reticular? Descreva a integridade. Cenrio R1.2 Descreva a chapa. Qual o tipo de fratura?

 Banco

de gramemas (dicionrios fechados) Banco de regras gramaticais (blocos mnimos hoje gramtica lexicalizada) Representaes de conhecimento (vrias) Operacionalizao via blackboard (hoje, agentes) Aquisio de conhecimento

>> Exibir o quadrado -- Em quais das aes abaixo se enquadra EXIBIR? 1 - mostrar 2 - criar 3 alterar >> 1 -- Qual quadrado? 1- (10,45) 2 (20, 27)

>> Mudar o quadrado em 10,45 -- Mudar em 1 cor 2 posio 3 tamanho? >> posio -- Qual posio? >> Mudar o lugar do quadrado de 10,45 para 19,20 >> Rotacionar o crculo