Escolar Documentos
Profissional Documentos
Cultura Documentos
1. Introdução
Os dados são o combustível dos aplicativos para aprendizado de máquina e, portanto, têm
crescido em importância gradualmente. Existem vários dados não rotulados e indefinidos
gerados em muitos ambientes, mas não há opção além de rótulos para usar esses dados no
aprendizado de máquina supervisionado. Isso normalmente requer um procedimento de
marcação manual que geralmente é trivial e também pode incluir um especialista de campo, por
exemplo, na classificação de patentes ou documentos médicos. Além disso, leva tempo e
aumenta rapidamente os custos financeiros, tornando esta solução rapidamente inviável. E se
houver um profissional disponível, devido à escala dos novos conjuntos de dados, é sempre
impraticável marcar qualquer data. Em particular, isso facilita a área de processamento de
linguagem natural (PNL), que pode exigir um enorme conjunto de dados, bem como uma grande
quantidade de texto em cada registro. A Aprendizagem Ativa (AL) visa reduzir o volume de
dados anotados pelo especialista humano. É um ciclo contínuo iterativo de um aluno ativo e de
um oráculo que é o anotador humano. Ao contrário da aprendizagem passiva, em que os dados
são simplesmente fornecidos ao algoritmo, o aluno ativo determina que os itens serão rotulados
a seguir.
● Etapa 1 : o oráculo envia uma solicitação de instâncias não rotuladas para o aluno ativo
( consulta )
● Etapa 2 : o aluno ativo seleciona e passa a instância não rotulada ao oráculo (com base
na estratégia de consulta selecionada).
● Etapa 3 : O oráculo rotula essas instâncias e retorna ao aluno ativo ( atualização ).
Esta operação será repetida e interrompida se o critério de parada acontecer. Por exemplo, se o
número de loops atinge um máximo ou a precisão da classificação tem uma alteração mínima.
Como a caixa do Active Learner na Figura 1 ilustra as partes principais do Active Learner, que
são o modelo, a estratégia de consulta e o critério de parada (opcional). A parte principal do
Active Learner é a estratégia de consulta, que é baseada na incerteza.
1. Aleatória
2. Baseado em dados
3. Baseado em modelo
4. Baseado em previsão
Na primeira etapa, a principal diferença está na categorização das técnicas de consulta por meio
do acesso a diversos tipos de informações. Fazemos subclasses coerentes do segundo ao
penúltimo, com o último nível mostrando exemplos para as duas categorias. Por causa da
proliferação das estratégias de consulta atuais e por causa das estratégias de consulta da PNL,
essa categorização não é abrangente.
1. Estratégias: as estratégias dependem da incerteza dos dados. Ele pode usar as informações
de entrada sobre:
Baseado em modelo: a categoria de estratégia baseada em modelo não tem apenas os dados,
mas também o modelo. Esses métodos analisam instâncias dependentes das métricas do
modelo. Por exemplo, uma estimativa de confiança será uma indicação de quão precisas as
taxas do modelo são para o modelo para descrever a instância especificada. Este também pode
ser um número antecipado, por exemplo, no caso da gravidade do gradiente.
Embora as projeções ainda possam ser feitas a partir do modelo, colocamos uma restrição
sobre a métrica objetiva ser uma quantidade (medida ou esperada) do modelo, sem a última
previsão. A instabilidade baseada em modelo é aqui uma subclasse fascinante que usa a
incerteza dos pesos do modelo. Esse tipo de incerteza também é conhecido como incerteza de
evidência insuficiente.
Para esta parte, será discutido que as redes neurais em aplicativos de Aprendizado Ativo não
são mais comuns e por quê. Este será focado em técnicas de PNL.
O aprendizado ativo clássico para classificação de texto era fortemente focado na incerteza de
previsão e agrupamento. Modelos populares continham Support Vector Machines (SVMs), Naive
Bayes, regressão logística e redes neurais. No entanto, Olsson cobriu um grande aprendizado
ativo baseado em conjuntos para PNL em detalhes, de acordo com pesquisas recentes,
nenhuma pesquisa anterior cobriu o aprendizado ativo clássico para classificação de texto. Em
relação à classificação de texto atual de Aprendizado Ativo baseado em NN, os modelos
aplicáveis são principalmente arquiteturas profundas baseadas em CNN e LSTM.
A Tabela 1 mostra os novos estudos de Aprendizado Ativo para classificação de texto, todos um
tanto recentes do que as pesquisas Settles e Olsson. Esta tabela é fornecida para aprender
sobre os modelos de classificação recentemente escolhidos e as classes de técnicas de
consulta.
Tabela 1: Classificação de textos de trabalhos recentes sobre Aprendizagem Ativa.
Modelos na Tabela 1:
4 Os resultados da pesquisa
Aprender a aprender: existem muitas estratégias de consulta, que foram classificadas de forma
não exaustiva. Isso levanta a questão de selecionar a melhor estratégia. Diversas variáveis,
como dados, modelo ou tarefa, dependendo da escolha correta e que variam entre os vários
processos durante o processo de Aprendizagem Ativa. Isso significa que aprender a aprender
(ou meta-aprender) se tornou popular e pode ser usado para aprender a melhor opção ou
também para aprender estratégias de consulta em geral.
5. Conclusões
Neste estudo, foram discutidos a classificação do texto com (D) Aprendizagem Ativa baseada
em NN e os fatores que dificultam sua adoção. Ao se concentrar em informações de entrada
baseadas em dados, modelos e previsões, uma taxonomia foi construída para distinguir
estratégias de consulta. Para a classificação do texto, examinamos as técnicas de
questionamento usadas no aprendizado ativo e as categorizamos nas classes de taxonomia
relacionadas. A interseção de Aprendizagem Ativa, classificação de texto e DNNs foi
apresentada. Além disso, a aprendizagem ativa baseada em (D) NN foi analisada, e os
problemas existentes e o estado da arte foram identificados e apontados. Além disso, inovações
recentes relacionadas em PNL foram apresentadas e comparadas ao Aprendizado Ativo e
demonstraram deficiências e restrições em seu uso. Um dos principais resultados é que as
estratégias de consulta baseadas em incerteza continuam sendo a classe mais usada, a menos
que o estudo seja limitado apenas a NNs. As representações baseadas em modelos de
linguagem fornecem representações mais abrangentes de um contexto específico enquanto
gerencia palavras fora do vocabulário. Além disso, descobrimos que o aprendizado de
transferência avançado reduz em algum grau o desafio dos pequenos dados, mas não o leva.
As DNNs mais significativas explicaram resultados promissores com seu sucesso em várias
tarefas e as adoções iniciais no Active Learning. Para a Aprendizagem Ativa, seria bastante
desejável obter esses benefícios. Portanto, é vital promover a adoção de DNNs no Aprendizado
Ativo, particularmente porque os incrementos de produção planejados podem ser usados para
melhorar as classificações usando a mesma quantidade de dados ou para melhorar a eficiência
do processo de rotulagem por redução de dados e, portanto, tentativas de rotulá-los. Com base
nesses resultados, as direções de pesquisa foram definidas para trabalhos futuros para
impulsionar os avanços do Active Learning com base em (D) NN. Conforme discutido, pode-se
sugerir que a técnica de aprender a aprender ou meta-aprendizagem tornou-se mais
desenvolvida e comum e será usada para aprender com melhor desempenho.
6 Referência:
C. Schröder e A. Niekler, "A Survey of Active Learning for Text Classification using Deep Neural
Networks," arXiv.org , agosto 17, 2020. [Online]. Acessível:https://arxiv.org/abs/2008.07267
(Acesso: 05 de outubro de 2020).