Painel Analítico de Métricas

da Curadoria de Chatbots -
PGFN
ChatBot Analytics – Solução Integrada de Curadoria

Versão: V1.0.10 - Data: 16/10/20

Roteiro
• DATAPREV – Quem somos;
• Linha de Tempo do Desenvolvimento Software;
• ChatBot Analytics – PGFN;
• Tecnologias Aplicadas;
• Arquitetura da Solução;
• Painel – Guia – Sem Curadoria
• Painel – Guia – Com Curadoria
• Painel – Guia – Relatório de Eventos.
Dataprev
Quem somos
https://www.youtube.com/watch?v=SXIwk6mJBaE
Painel ChatBot Analytics da PGFN
“Chatbot Analytics” é o processo de analisar o histórico de conversas do bot
para obter insights sobre seu desempenho e sobre a satisfação de seus
usuários.

As análises realizadas no histórico de conversas do bot são desenvolvidas para

gerar métricas. Lembrando que, por definição, métrica é uma medida
quantitativa utilizada para acompanhar e atribuir um estado a um processo de
negócio específico.

É muito importante definir métricas para um bot, pois, muito de seu

desempenho é avaliado com base nelas. As métricas são dinâmicas e devem
ser redefinidas periodicamente, ou de acordo com a estratégia do negócio. Por
exemplo, um conjunto de métricas propostas para acompanhar o lançamento
do bot provavelmente será diferente daquele necessário para avaliar a
aceitação de um novo serviço oferecido pelo bot.
Tecnologias Aplicadas

*.TXT
*.CSV

SGBD (FIA)
Arquitetura da Solução

Fase 1 Script01.qvw – Barramento Espelho

*.csv
Regras *.qvd
Tabela
Validação
Agrup *.xls

DataSet
Script02.qvw – Barramento DW
*.qvd
*.qvd *.qvd

Script03.qvw - Barramento Paine

l
*.qvd
*.qvd *.qvw
 Painel PGFN Guia 01

Versão: v1.0.10
Painel PGFN Guia 01 - Indicadores

Indicadores de desempenho do Painel

Filtros: Negócio: Total de indicadores

* Quantidade de sessões de
Ano Evento Usuários
Mês Evento Eventos por usuários * Quantidade de Eventos por
Dia Evento Sessões de usuários Usuários
Intenções * Quantidade de Intenções
Enunciados Respostas * Quantidade de Exemplos
Histórias * Quantidade de Enunciados de
FallBacks Respostas
Quantidade de Histórias
Quantidade de FallBacks
Painel PGFN Guia 01 - Sem curadoria

Gráficos 01 – Intenções mais Solicitadas por Usuários de Sessão

Usuários de Sessão (ChatRoom)

• No ChatRoom da PGFN os usuários de sessão são criados
dinamicamente e através desse gráfico é possível identificar quais são
intenções que são mais acessadas por usuários.
Painel PGFN Guia 01 – Sem curadoria

Gráficos 02 | 03 – Intenções mais Solicitadas e Menos Solicitadas

Intenções mais Solicitadas (10) | Intenções menos Solicitadas (10)

• Estes gráficos exibem as 10 intenções mais solicitadas e menos
solicitadas sem nenhum processo de curadoria, é importante para
determinar se estão sendo usadas ou não pela aplicação.
Painel PGFN Guia 02 – Com curadoria

Gráficos 04 | 05 – Médias de NLU por Intenções 10 Maiores e Menores

Médias de NLU por Intenções 10 Maiores e 10 Menores Filtros:

• Estes gráficos exibem as 10 intenções com a média de NLU mais Ano Cadastro
alto e mais baixo para tratamento, precisamos observar o número Mês Cadastro
Dia Cadastro
menor de NLU por intenção, pois dependendo da situação devem
ser treinadas até alcançar o nível de acurácia maior.
Painel PGFN Guia 02 – Com curadoria

Gráficos 06 | 07 – Intenções mais Solicitadas e Menos Solicitadas

Intenções mais Solicitadas (10) | Intenções menos Solicitadas (10)

• Estes gráficos exibem as 10 intenções mais solicitadas e Filtros:
menos solicitadas sem nenhum processo de curadoria, é
Ano Evento
importante para determinar se estão sendo usadas ou não Mês Evento
pela aplicação. Dentro da Curadoria do ChatBot. Dia Evento
Painel PGFN Guia 03 – Relatórios de Eventos

Gráfico 08 – Exemplos de Frases x Percentual de Confiança NLU

Exemplos de Frases com os seus respectivos percentuais de NLU

• Este gráfico representa as frases mais solicitadas durante o período de
curadoria com percentuais de NLU por nome do Interlocutor.
Painel PGFN Demonstração

Demonstração ao vivo agora