Aula Linguistica Computacional (FLL5133) Prof. Dr. Marcelo Ferreira, Marcos Lopes.

FLL5133
Linguística Computacional
Marcelo Ferreira
Marcos Lopes
Departamento de Linguística
Universidade de São Paulo
Primeiro semestre de 2024
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
Ferreira e Lopes Linguística Computacional 14/03/2024 1/1
▶ Área dedicada ao desenvolvimento e implementação de algoritmos e

programas de computador para o desempenho de tarefas relacionadas
à produção e compreensão de linguagem natural.
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
▶ Área dedicada ao desenvolvimento e implementação de algoritmos e

programas de computador para o desempenho de tarefas relacionadas
à produção e compreensão de linguagem natural.
▶ É uma área interdisciplinar que utiliza ferramentas da Linguística, da
Ciência da Computação, da Matemática e da Estatística, dentre
outros campos do conhecimento.
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
Algoritmos
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
Algoritmos
▶ Um algoritmo é um procedimento para a resolução de um problema.

Mais concretamente, trata-se de intruções explícitas (sem
ambiguidade ou vagueza), apresentadas passo a passo, sobre como
mapear/transformar dados de entrada (input) em dados de saída
(output).
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
Algoritmos: Um Exemplo
▶ Formular um algoritmo que receba um número natural positivo n

como input e retorne o fatorial de n (n!) como output.
▶ Lembrando que:
n! = n × (n − 1) × (n − 2) × . . . × 1
4! = 4 × 3 × 2 × . . . × 1 = 24
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
Algoritmo N → N!
1 Ler N (Input)
2 Atribuir Resultado = N, Contador = N-1
3 Repetir 4 e 5 enquanto Contador > 0:
4 Resultado = Resultado × Contador
5 Contador = Contador-1
6 Exibir Resultado (Output)
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
Algoritmo N → N!
INPUT
4
RESULTADO=4
CONTADOR=3
Repetir enquanto
CONTADOR>0
RESULTADO=4x3 RESULTADO=4x3x2 RESULTADO=4x3x2x1

CONTADOR=2 CONTADOR=1 CONTADOR=0
OUTPUT
24
. . . . . . . . . . . . . . .

. . . . .
. . . . . . . . . . . . . . . . . . . .
Algoritmos e PLN
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
Algoritmos e PLN
▶ A princípio, qualquer tipo de dado pode servir de input para um

algoritmo. Podem ser números, imagens, palavras , . . .
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
Algoritmos e PLN

▶ Para nós, serão particularmente importantes dados na forma de
unidades linguísticas: letras, palavras, sentenças, textos, . . .
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
Algoritmos e PLN

▶ Exemplos:
▶ transcrever foneticamente uma palavra.
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
Algoritmos e PLN

▶ Exemplos:
▶ Analisar sintaticamente uma sentença.
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
Algoritmos e PLN

▶ Exemplos:
▶ Analisar sintaticamente uma sentença.
▶ Classificar uma mensagem de e-mail como sendo SPAM ou não SPAM.
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
Programas
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
Programas
▶ Corresponde à implementação de um algoritmo em uma linguagem de

programação específica.
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
Programas

▶ Linguagem de Programação: linguagem artificial com léxico, sintaxe e
semântica próprios.
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
Programas

▶ Linguagem de Programação: linguagem artificial com léxico, sintaxe e
semântica próprios.
▶ Exemplos de linguagens: Python, Perl, Java, . . .
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
Programas: Um Exemplo em Python
1 N = int(input("Digite N "))
2 resultado = N
3 contador = N-1
4 while contador > 0:
5 resultado = resultado*contador
6 contador = contador-1
7 print(resultado)
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
Um alerta!
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
Ferreira e Lopes Linguística Computacional 14/03/2024 10 / 1
Um alerta!
▶ Computadores não são falantes nativos de português ou qualquer

língua natural, nem linguagens de programação trazem embutida toda
a metalinguagem dos manuais de linguística!
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
Um alerta!

▶ Consequência: quase nada pode ser pressuposto! O que são palavras?
O que são sentenças?
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
Um alerta!

▶ Uma instrução como “para cada sentença s, conte o número de
palavras de s” só fará sentido se o programa tiver acesso a um critério
para identificar palavras/sentenças!
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
Um alerta!

▶ Uma instrução como “para cada sentença s, conte o número de
palavras de s” só fará sentido se o programa tiver acesso a um critério
para identificar palavras/sentenças!
▶ Há, inclusive, diversos algoritmos dedicados exclusivamente à
segmentação/tokenização automática de textos em sentenças e
palavras, tornando possível a execução de tarefas simples como a
exemplificada acima.
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
Outro alerta!
▶ Fenômenos linguísticos como homonímia, polissemia, sinonímia,

paráfrase, pronominalização, metáfora, expressões idiomáticas
. . . tornam a relação forma-conteúdo não trivial nas línguas naturais.
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
Outro alerta!

▶ Mesmo a interpretação de textos simples (para nós) pressupõe uma
série de habilidades que precisam ser aprendidas(?!) pelo computador:
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
Outro alerta!

▶ Maria comprou uma manga muito cara na feira, mas ela estava azeda.
▶ Esses fatores se acumulam rapidamente em textos mais longos e
complexos e não tratá-los com cuidado pode simplesmente arruinar
tarefas como a tradução automática ou a interação linguística
homem-máquina, antigos objetos de desejo na área da Inteligência
Artifical.
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
Outro alerta!

▶ Maria comprou uma manga muito cara na feira, mas ela estava azeda.
▶ Esses fatores se acumulam rapidamente em textos mais longos e
complexos e não tratá-los com cuidado pode simplesmente arruinar
tarefas como a tradução automática ou a interação linguística
homem-máquina, antigos objetos de desejo na área da Inteligência
Artifical.
▶ Complexo? Bastante. Muitos avanços recentes, mas ainda muito a se
fazer. Uma janela de oportunidades para o linguista computacional!
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
Relevância da Linguística Computacional
Desenvolvimento de produtos (software) que desempenhem tarefas

linguísticas com aplicações úteis em diversas atividades acadêmicas,
profissionais, comerciais e industriais.
Exemplos:
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .

Exemplos:
▶ correção ortográfica e gramatical em editores de texto
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .

Exemplos:
▶ classificação textual (detecção de spam, atribuição de autoria, etc.)
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .

Exemplos:
▶ tradução automática de documentos
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .

Exemplos:
▶ sumarização e extração de informação de textos
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .

Exemplos:
▶ buscas mais refinadas na web
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .

Exemplos:
▶ conversões de fala para texto e de texto para fala
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .

Exemplos:
▶ conversões de fala para texto e de texto para fala
▶ geração de textos a partir de prompts: chatbots, ...
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
Este curso
Uma introdução básica, quase sem pré-requisitos, à linguística
computacional
▶ revisão dos aspectos básicos da linguagem de programação Python
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
Este curso
computacional

▶ variáveis, tipos de objetos, fluxo de execução, funções
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
Este curso
computacional

▶ pré-processamento textual
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
Este curso
computacional

▶ tokenização, normalização, lematização, etc.
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
Este curso
computacional

▶ vetorização
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
Este curso
computacional

▶ vetorização
▶ Aprendizado de máquina
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
Este curso
computacional

▶ vetorização
▶ aprendizado supervisionado (classificação)
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
Este curso
computacional

▶ vetorização
▶ aprendizado não-supervisionado (clusterização)
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
Este curso
computacional

▶ vetorização
▶ aprendizado profundo (redes neurais)
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
Este curso
computacional

▶ vetorização
▶ Modelos de linguagem
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
Este curso
computacional

▶ vetorização
▶ Modelos de linguagem
▶ previsão de palavras, geração textual
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
Material didático
▶ Livros, artigos, documentações, páginas da internet:

▶ Indicaremos as leituras ao longo do curso
▶ Slides das aulas:

▶ Serão disponibilizados no e-disciplinas da USP
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
Avaliação
▶ Cinco listas de exercícios

▶ Um trabalho final
▶ Presença em sala de aula
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
Google Colab(oratory)
▶ Ambiente que permite escrever e executar programas em Python no

navegador gratuitamente e sem nenhuma configuração necessária
▶ Você só precisa fazer login com uma conta do Google
▶ https://colab.research.google.com/
▶ Toda a parte prática do curso será feita no Colab.
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
Google Colab(oratory)
▶ Ambiente que permite escrever e executar programas em Python no

navegador gratuitamente e sem nenhuma configuração necessária
▶ Você só precisa fazer login com uma conta do Google
▶ https://colab.research.google.com/
▶ Toda a parte prática do curso será feita no Colab.
▶ Mas você pode instalar o Python no seu computador e trabalhar
offline, se quiser.
▶ instruções em https://www.python.org/
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .

Aula Linguistica Computacional (FLL5133) Prof. Dr. Marcelo Ferreira, Marcos Lopes.

Enviado por

Dados do documento

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Aula Linguistica Computacional (FLL5133) Prof. Dr. Marcelo Ferreira, Marcos Lopes.

Enviado por

Direitos autorais:

Formatos disponíveis

FLL5133

Primeiro semestre de 2024

▶ Área dedicada ao desenvolvimento e implementação de algoritmos e

▶ Área dedicada ao desenvolvimento e implementação de algoritmos e

▶ Um algoritmo é um procedimento para a resolução de um problema.

▶ Formular um algoritmo que receba um número natural positivo n

RESULTADO=4x3 RESULTADO=4x3x2 RESULTADO=4x3x2x1

▶ A princípio, qualquer tipo de dado pode servir de input para um

▶ A princípio, qualquer tipo de dado pode servir de input para um

▶ A princípio, qualquer tipo de dado pode servir de input para um

▶ A princípio, qualquer tipo de dado pode servir de input para um

▶ A princípio, qualquer tipo de dado pode servir de input para um

▶ Corresponde à implementação de um algoritmo em uma linguagem de

▶ Corresponde à implementação de um algoritmo em uma linguagem de

▶ Corresponde à implementação de um algoritmo em uma linguagem de

▶ Computadores não são falantes nativos de português ou qualquer

▶ Computadores não são falantes nativos de português ou qualquer

▶ Computadores não são falantes nativos de português ou qualquer

▶ Computadores não são falantes nativos de português ou qualquer

▶ Fenômenos linguísticos como homonímia, polissemia, sinonímia,

▶ Fenômenos linguísticos como homonímia, polissemia, sinonímia,

▶ Fenômenos linguísticos como homonímia, polissemia, sinonímia,

▶ Fenômenos linguísticos como homonímia, polissemia, sinonímia,

Desenvolvimento de produtos (software) que desempenhem tarefas

Desenvolvimento de produtos (software) que desempenhem tarefas

Desenvolvimento de produtos (software) que desempenhem tarefas

Desenvolvimento de produtos (software) que desempenhem tarefas

Desenvolvimento de produtos (software) que desempenhem tarefas

Desenvolvimento de produtos (software) que desempenhem tarefas

Desenvolvimento de produtos (software) que desempenhem tarefas

Desenvolvimento de produtos (software) que desempenhem tarefas

▶ revisão dos aspectos básicos da linguagem de programação Python

▶ revisão dos aspectos básicos da linguagem de programação Python

▶ revisão dos aspectos básicos da linguagem de programação Python

▶ revisão dos aspectos básicos da linguagem de programação Python

▶ revisão dos aspectos básicos da linguagem de programação Python

▶ revisão dos aspectos básicos da linguagem de programação Python

▶ revisão dos aspectos básicos da linguagem de programação Python

▶ revisão dos aspectos básicos da linguagem de programação Python

▶ revisão dos aspectos básicos da linguagem de programação Python

▶ revisão dos aspectos básicos da linguagem de programação Python

▶ revisão dos aspectos básicos da linguagem de programação Python

▶ Livros, artigos, documentações, páginas da internet:

▶ Slides das aulas:

▶ Cinco listas de exercícios

▶ Ambiente que permite escrever e executar programas em Python no

▶ Ambiente que permite escrever e executar programas em Python no

Você também pode gostar