Machine Translated by Google

Relevância da resposta (2 rótulos)

Diretriz Versão 1.0, 29/11/2021

HitApp
Atualizações das diretrizes:

• 1.0 – Lançamento inicial das Diretrizes

Descrição da tarefa

Quando uma pessoa usa um mecanismo de pesquisa como o Bing, ela digita um texto na barra de pesquisa para
tentar atingir qualquer que seja seu objetivo – chamamos essa entrada do usuário de Consulta. O mecanismo
de pesquisa retornará informações ao usuário na forma de uma página de resultados de pesquisa. Pegamos
o texto de um dos sites nos resultados da pesquisa e o apresentamos como uma resposta curta ao usuário
para tentar responder à sua consulta. Neste HitApp você receberá uma consulta e uma resposta do usuário.

Sua tarefa será identificar a intenção da consulta do usuário (o que ele está tentando fazer) observando os
resultados da pesquisa e determinar se a resposta fornecida é relevante para o que o usuário está
tentando fazer.

Observação: para visualizar os resultados da pesquisa, verifique se você está usando o navegador Chrome e instale o plugin W5P

Layout do HitApp

1.) Consulta do usuário – Uma coleção de texto que um usuário digitou

2.) Resposta – Uma pequena coleção de texto extraído de um site que está tentando abordar
a intenção da consulta do usuário
3.) Guia da página de origem – Guia que exibirá o site de onde a resposta foi retirada
Machine Translated by Google
4.) Guia Resultados da Pesquisa – Guia que exibirá os Resultados da Pesquisa do Bing
5.) Área de Julgamento – Área onde você selecionará seu Julgamento assim que terminar de trabalhar no
Acerto

Instruções

Processo de tarefa

1.) Identifique e compreenda a consulta do usuário:

• Use os resultados de pesquisa do Bing encontrados nas guias do HitApp para determinar prováveis
intenções da consulta do usuário
• Se você não tiver conhecimento suficiente sobre a consulta para fazer um julgamento, use o
Resultados da pesquisa para entender o contexto e a intenção da consulta e usar seu bom senso para
julgar
2.) Verificação de idioma
• Verifique se a consulta e a resposta estão no mesmo idioma
• Garantir que as consultas e respostas estejam no idioma do mercado ou em inglês
3.) Faça e envie um julgamento
• Depois de compreender a(s) provável(s) intenção(s) da consulta, determine se a resposta é
relevante para o mesmo tópico da consulta
• Certifique-se de que a resposta seja relevante para as intenções de consulta encontradas na Pesquisa
Resultados e que não contém apenas palavras-chave semelhantes que fazem parecer que se trata do
mesmo assunto
• Determine se o escopo da resposta é semelhante ao escopo da consulta
(determinar se a resposta é mais “ampla” ou “restrita” em seu tópico do que o
consulta

• Enviar um julgamento
Avaliações
o Bom

o A resposta aborda a intenção mais provável da consulta do usuário

o O escopo da resposta não é muito amplo ou restrito em comparação com a consulta (exemplo)
o A resposta ainda é relevante para a consulta do usuário, mas o escopo é moderadamente
amplo ou restrito em comparação com a consulta do usuário (exemplo)
o O usuário está procurando por várias coisas, mas só recebe informações sobre uma. o A resposta
aborda uma intenção extremamente provável de “senso comum” que não está em
os resultados da pesquisa

o Ruim

o A resposta é irrelevante para a consulta do usuário (exemplo)

o A resposta é extremamente ampla ou restrita em comparação com a consulta ao ponto
onde não é mais relevante
o A resposta ou página de origem contém conteúdo prejudicial ou prejudicial ao usuário
o A localização do usuário torna a resposta não relevante para a consulta
o Em idioma errado
Machine Translated by Google
o *Nota*: Consultas em inglês com respostas em inglês devem sempre ser preenchidas e
Considerado normal, não marque essas consultas como “Em idioma errado”
o A Consulta e/ou Resposta estão em um idioma diferente do idioma de mercado ou
Inglês
o A consulta e a resposta estão em idiomas diferentes (exemplo)

Considerações adicionais

Cuidado com respostas que contêm palavras-chave que não são realmente relevantes para a consulta

Palavras-chave podem ser uma ótima maneira de identificar rapidamente se uma resposta é relevante, porém é importante
confirmar se a passagem fornecida é de fato relevante para a consulta. Em algumas situações, uma resposta conterá
palavras-chave, mas não será realmente relevante para a consulta do usuário.

Aqui está um exemplo de situação em que uma resposta à primeira vista parece relevante para a consulta do usuário. O
principal objetivo da consulta do usuário é descobrir quantos controladores um Playstation 4 vem com quando
comprado. A resposta contém muitas palavras-chave encontradas na consulta, como “ps4” e “controladores”, porém a
resposta não é realmente relevante para a consulta do usuário. Neste caso, a Resposta menciona a quantidade máxima de
controladores que um PS4 pode usar. Isso resultaria em uma classificação final de Ruim , pois a resposta não é relevante
para a consulta do usuário sobre quantos vêm com uma compra. É necessário sempre garantir que a Resposta seja
realmente relevante para a Consulta, independente das Palavras-chave. Palavras-chave no texto, título ou URL da
resposta não tornam uma resposta automaticamente relevante.

Resposta do HitApp

Aqui está um exemplo de situação em que uma resposta à primeira vista parece relevante para a consulta do usuário. No
entanto, podemos ver que o URL e a página de origem mostram que a resposta fornece ao usuário informações sobre uma
torneira banhada a níquel - não uma torneira de latão. Isso resultaria em uma classificação final de Ruim , pois a resposta não
é relevante para a consulta do usuário. É necessário sempre verificar a página de origem para garantir que a resposta é
relevante.
Machine Translated by Google

Resposta do HitApp Página de origem

Listas/ etapas incompletas podem ser relevantes

Uma lista incompleta de itens, etapas, etc. ainda pode ser relevante se a lista completa na página de origem for relevante. Por

exemplo, o guia passo a passo na resposta abaixo não mostra todas as etapas, porém a lista completa está na página de origem.

A classificação final para este hit seria Boa.

Resposta do HitApp Página de origem

Escopo da consulta vs. resposta que afeta a classificação final

Os usuários geralmente esperam obter respostas de escopo semelhante à intenção de sua consulta. Indivíduos que digitam uma

consulta ampla (“Raças de cães”, “Empresas”, “Doenças”) não ficariam satisfeitos com respostas excessivamente específicas a

essas perguntas. Por outro lado, os usuários que digitam consultas restritas não encontrariam respostas excessivamente amplas

como relevantes.

Em casos extremos, uma diferença no âmbito pode ser tão grande que não seria considerada relevante para a consulta do utilizador.

Abaixo está um exemplo de uma diferença de escopo tão grande que a classificação final seria Ruim. Neste Hit, a consulta do usuário

é “Estilos de Arte” – uma consulta bastante ampla.

Machine Translated by Google

o Uma boa resposta teria sido uma lista/descrições de alto nível de diferentes tipos de arte. o Uma boa resposta também pode
se concentrar em um único tipo de arte de alto nível (impressionismo,
cubismo, arte moderna, etc.). Embora este seja um escopo um pouco mais restrito, ainda se trata de um tópico principal
amplo e ainda seria visto como relevante.
o Esta resposta ruim tem escopo extremamente restrito em comparação com a consulta, pois é uma resposta muito
estilo específico de arte, como o exemplo acima.

Exemplos
Resposta final de “Bom”

Consulta/resposta HitApp Página de origem

Neste Hit, o objetivo da consulta do Usuário é obter informações sobre como se tornar barbeiro sem frequentar a escola. Ao

verificar a página de origem, podemos determinar se a página ainda carrega e o conteúdo da resposta está no mesmo tópico sobre o

qual a consulta está perguntando. Como a Resposta é relevante e tem o mesmo escopo da Consulta, a avaliação final seria

“Boa”.
Machine Translated by Google
Resposta final de “justo” devido à incompatibilidade de escopo

Consulta/resposta HitApp Página de origem

Neste Hit, a intenção do usuário é encontrar lugares no videogame “Grand Theft Auto: 5”. A resposta fornece especificamente lojas de

bebidas no jogo, que são de escopo bastante restrito em comparação com a consulta. A resposta seria muito mais relevante para o

usuário se incluísse locais diferentes além do escopo restrito de apenas lojas de bebidas no jogo. Devido ao escopo restrito da

resposta em comparação com o escopo amplo da Consulta do Usuário, a classificação final seria “Regular”.

Resposta final de “ruim” devido à resposta não ser relevante

Consulta/resposta HitApp Página de resultados de pesquisa

Neste hit, o usuário provavelmente está procurando informações relacionadas ao programa Movie Maker 10. Descobrimos isso

verificando a página Resultados da pesquisa para determinar a intenção mais provável da consulta. A resposta não fornece nenhuma

informação relevante ao Movie Maker 10 – em vez disso

Machine Translated by Google
menciona outros tipos de alternativas gratuitas ao Movie Maker 10. Como isso não seria relevante para a
consulta do usuário, a avaliação final seria “Ruim”.

Resposta final de “Em idioma errado” devido à consulta e resposta estarem em idiomas diferentes

Consulta/resposta HitApp

Neste Hit, a Consulta está em Inglês e a Resposta está em Francês. Como a Consulta e a Resposta não
estão no mesmo idioma, a classificação final seria “No idioma errado”