Everand Logo

Welcome to Everand!

  • Discover millions of ebooks, audiobooks, and so much more with a free trial

    Only $11.99/month after trial. Cancel anytime.

    Processamento de linguagem natural com Python: 1
    Processamento de linguagem natural com Python: 1
    Processamento de linguagem natural com Python: 1
    Ebook138 pages1 hour

    Processamento de linguagem natural com Python: 1

    By Ajit Singh

    ()

    Read preview

    About this ebook

    Simplesmente em profundidade

    Este livro tem como objetivo apresentar as técnicas fundamentais de processamento de linguagem natural, desenvolver uma compreensão dos limites dessas técnicas e dos problemas de pesquisa atuais e avaliar algumas aplicações atuais e potenciais. ● 1. Introdução. Breve história da pesquisa em PNL, aplicações atuais, arquitetura de sistema de PNL genérica, abordagens baseadas em conhecimento versus abordagens probabilísticas. ● 2. Técnicas de estado finito. Na morfologia seccional e derivacional, autômatos de estados finitos em PNL, transdutores de estados finitos. ● 3. Predição e marcação de parte do discurso. Corpora, DIY Corpus, Corpus Analysis, N-gramas simples, previsão de palavras, marcação estocástica e avaliação do desempenho do sistema. ● 4. Análise e geração. Gramática gerativa, gramáticas livres de contexto, análise e geração com gramáticas livres de contexto, pesos e probabilidades. Gramática baseada em restrições, unificação, semântica composicional simples. Relações semânticas. ● 5. PNL com Python

    LanguagePortuguês
    PublisherBadPress
    Release dateJun 23, 2021
    ISBN9781667404660
    Processamento de linguagem natural com Python: 1
    Author

    Ajit Singh

    Ajit Singh is equally interested in fiction and non-fiction and has written many books in English, Hindi, and Urdu. He has performed in Haryana, published his prose and verse in India and Pakistan, and participated in an international online poetry symposium organized by Bazm-e-Urdu, Qatar.He lives in a village, teaches science, and comes from a farming family. His father served as a major in the Parachute Regiment of the Indian Army.Ajit plays cricket, football, volleyball, basketball, badminton, and chess. He loves harmonium and flute, sings folk songs, and also enjoys gardening in his spare time. His nickname is "Badal," which means "cloud" in English.

    Read more from Ajit Singh

    Related to Processamento de linguagem natural com Python

    Titles in the series (70)

    View More
    View More

    Related ebooks

    Intelligence (AI) & Semantics For You

    View More
    View More

    Related podcast episodes

    Related articles

    • Article

      Uma Nova Era

      Jul 8, 2021

      Uma Nova Era
      12 min read

    • Article

      NFTs

      Oct 20, 2021

      NFTs
      2 min read

    • Article

      Por Dentro Do Windows 11

      Aug 20, 2021

      O QUE ESTÁ EM EVIDÊNCIA NO MUNDO DA TECNOLOGIA O Windows, sistema operacional mais usado no mundo, chegou recentemente à versão 11. Com a nova edição, a Microsoft, desenvolvedora da plataforma, almeja alcançar mais usuários e elevar a experiência par

      5 min read

    • Article

      O Mapa Estratégico Das Milhas

      Jun 1, 2022

      O Mapa Estratégico Das Milhas
      3 min read

    Related categories

    Reviews for Processamento de linguagem natural com Python

    0 ratings

    0 ratings0 reviews

    What did you think?

    Tap to rate

    Review must be at least 10 words

      Book preview

      Processamento de linguagem natural com Python - Ajit Singh

      Índice

      Conteúdo= Página 5

      Prefácio= Página 6

      Objetivos= Página 6

      Características principais= Página 6

      Capítulo 1: Introdução à PNL= Página 7

      Texto tokenizado e correspondência de padrões= Página 7

      Alguma terminologia linguística= Página 8

      Por que o processamento da linguagem é difícil?= Página 9

      Alguns aplicativos de PNL= Página 10

      Partes do discurso= Página 11

      Recuperação de informação, extração de informação e resposta a perguntas= Página 13

      Maquina de tradução= Página 14

      Interfaces de linguagem natural e sistemas de diálogo= Página 14

      Um pouco mais de história= Página 15

      Fases da PNL= Página 16

      Processamento Morfológico= Página 16

      Análise de sintaxe= Página 16

      Análise Semântica= Página 16

      Análise Pragmática= Página 16

      Arquitetura de aplicativo NLP deep genérico= Página 17

      Interface de linguagem natural para uma base de conhecimento= Página 18

      Comentários gerais= Página 18

      Capítulo 2: Morfologia e técnicas de estados finitos= Página 20

      Análise Morfológica= Página 20

      Tipos de Morfemas= Página 20

      Caules= Página 20

      Ordem das palavras= Página 21

      Na morfologia seccional vs. Derivacional= Página 21

      Regras de ortografia= Página 22

      Aplicações de processamento morfológico= Página 22

      Requisitos lexicais para processamento morfológico= Página 23

      Autômatos de estados finitos para reconhecimento= Página 24

      Transdutores de estado finito= Página 25

      Alguns outros usos das técnicas de estado finito em PNL= Página 26

      Gramáticas parciais para reconhecimento de entidades nomeadas= Página 26

      Capítulo 3: Predição e marcação de parte da fala

      PNL – Recursos linguísticos – Corpus= Página 27

      Tipos de corpus= Página 28

      Lexicografia= Página 29

      Gramática e sintaxe= Página 30

      Treinamento e avaliação= Página 30

      Algumas análises básicas de corpus= Página 31

      DIY Corpus: alguns exemplos trabalhados= Página 31

      Distribuições de freqüência= Página 32

      Calculando a frequência da tag= Página 32

      Concordância e colocações= Página 33

      WordNet= Página 33

      Expressões regulares= Página 33

      Propriedades de expressões regulares= Página 33

      Predição= Página 36

      Bigramas= Página 36

      Marcação gramatical= Página 38

      Etiquetagem POS estocástica= Página 39

      Avaliação de etiquetagem de POS= Página 44

      Tagging POS com base em regras= Página 45

      Propriedades da marcação de PDV baseada em regras= Página 46

      Marcação estocástica de PDV= Página 46

      Probabilidades de sequência de tag= Página 46

      Capítulo 4: Análise e geração

      Gramática gerativa= Página 47

      Gramáticas livres de contexto= Página 47

      Um CFG simples para um fragmento de inglês= Página 48

      Analisar árvores= Página 49

      Usando uma gramática como gerador aleatório= Página 49

      Análise de gráfico= Página 49

      Um analisador de gráfico passivo ascendente= Página 51

      Embalagem= Página 52

      Análise de gráfico ativo= Página 55

      Ordenando o espaço de busca= Página 56

      Por que não podemos usar FSAs para modelar a sintaxe das linguagens naturais?= Página= 57

      Sintaxe e semântica= Página 58

      Semântica e Pragmática= Página 59

      Especificando gramáticas para linguagens naturais= Página 60

      Gramáticas de caso= Página 61

      Gramáticas Semânticas= Página 61

      Gramáticas de cláusulas definitivas (DCGs)= Página 62

      Gramáticas lexicais funcionais (LFGs)= Página 63

      Redes de transição aumentada (ATNs)= Página 64

      Semântico= Página 64

      Formas de Representação Semântica= Página 64

      Construindo Representações Semânticas= Página 66

      Capítulo 5: PNL com Python

      Pré-requisitos= Página 67

      Primeiros passos com NLTK= Página 67

      Instalando NLTK= Página 67

      Baixando dados do NLTK= Página 67

      Outros Pacotes Necessários= Página 68

      Tokenização= Página 68

      Pacote WordPunctTokenizer= Página 69

      Stemming= Página 69

      Lemmatização= Página 69

      Pacote WordNetLemmatizer= Página 70

      Contando tags de PDV – Chunking= Página 70

      Executando o Script de PNL= Página 70

      Conteúdo

      Este livro tem como objetivo apresentar as técnicas fundamentais de processamento de linguagem natural, desenvolver uma compreensão dos limites dessas técnicas e dos problemas de pesquisa atuais e avaliar algumas aplicações atuais e potenciais.

      1. Introdução. Breve história da pesquisa em PNL, aplicações atuais, arquitetura de sistema de PNL genérica, abordagens baseadas em conhecimento versus abordagens probabilísticas.

      2. Técnicas de estado finito. Na morfologia seccional e derivacional, autômatos de estados finitos em PNL, transdutores de estados finitos.

      3. Predição e marcação de parte do discurso. Corpora, DIY Corpus, Corpus Analysis, N-gramas simples, previsão de palavras, marcação estocástica e avaliação do desempenho do sistema.

      4. Análise e geração. Gramática gerativa, gramáticas livres de contexto, análise sintática e geração com gramáticas livres de contexto, pesos e probabilidades. Gramática baseada em restrições, unificação, semântica composicional simples. Relações semânticas.

      5. PNL com Python

      Copyright © Ajit Singh 2019

      Todos os direitos reservados. Nenhuma parte deste trabalho pode ser reproduzida de qualquer forma, ou por qualquer meio, sem a permissão por escrito do editor. Eu faço todos os esforços para respeitar os direitos autorais.

      Prefácio

      PNL é um campo amplo e multidisciplinar, portanto, este livro pode fornecer apenas uma introdução muito geral. O primeiro capítulo foi elaborado para dar uma visão geral das principais subáreas e uma ideia muito breve das principais aplicações e das metodologias que foram empregadas. A história da PNL é brevemente discutida como uma forma de colocar isso em perspectiva. Os próximos três capítulos descrevem algumas das principais subáreas com mais detalhes. A organização é baseada no aumento da profundidade de processamento, começando com técnicas relativamente orientadas para a superfície e progredindo para considerar o significado das frases e o significado dos enunciados no contexto. Cada capítulo considerará a subárea como um todo e, em seguida, descreverá um ou mais algoritmos de amostra que tratam de problemas específicos. Os algoritmos foram escolhidos porque são relativamente simples de descrever e porque ilustram uma técnica específica que se mostrou útil, mas a ideia é exemplificar uma abordagem, não fornecer um levantamento detalhado (o que seria impossível na época acessível). No entanto, outras abordagens às vezes serão discutidas brevemente. O capítulo final reúne o material anterior para descrever o estado da arte em aplicativos de amostra.

      Objetivos

      O objetivo do meu livro para os alunos é:

      Ser capaz de descrever a arquitetura e o design básico de um shell de sistema PNL genérico.

      Ser capaz de discutir o desempenho atual e futuro provável de vários aplicativos de PNL, como tradução automática e resposta por e-mail.

      Ser capaz de descrever resumidamente uma técnica fundamental para processar a linguagem para várias subtarefas, como análise morfológica, análise sintática, desambiguação do sentido da palavra, etc.

      Compreender como essas técnicas se baseiam e se relacionam com outras áreas da ciência da computação (teórica), como a teoria da linguagem formal, semântica formal das linguagens de programação ou prova de teoremas.

      Características principais

      Discussão dos principais problemas envolvidos no processamento da linguagem por meio de exemplos retirados de aplicações de PNL com distinções metodológicas e coloca as aplicações e metodologia em algum contexto histórico.

      Discussão da morfologia, concentrando-se principalmente na morfologia inglesa. O conceito de léxico em um sistema de PNL é discutido com relação ao processamento morfológico. As regras de ortografia são introduzidas e o uso de transdutores de estado finito para implementar as regras de ortografia é explicado.

      Apresenta algumas técnicas estatísticas simples e ilustra seu uso em PNL para predição de palavras e categorias de classes gramaticais. Ele começa com uma discussão sobre corpora e, em seguida, apresenta a previsão de palavras. A previsão de palavras pode ser vista como uma forma de modelar (grosseiramente) algumas informações sintáticas (ou seja, a ordem das palavras).

      PNL com Python.

      DIY Corpus.

      Capítulo 1: Introdução à PNL

      As pessoas se comunicam de muitas maneiras diferentes: falando e ouvindo, fazendo gestos, usando sinais manuais especializados (como ao dirigir ou direcionar o tráfego), usando linguagem de sinais para surdos ou por meio de várias formas de texto.

      Por texto, queremos dizer palavras que são escritas ou impressas em uma superfície plana (papel, cartão, placas de rua e assim por diante) ou exibidas em uma tela ou dispositivo eletrônico

      Enjoying the preview?
      Page 1 of 1