Guia para Teste MOS (Média de Nota de Opinião)

Projects

Exported on  06/13/2018

 Projects  –  Guia para Teste MOS (Média de Nota de Opinião)

1 Table of Contents

1 Table of Contents................................................................................................. 2

2 Visão Geral............................................................................................................ 4

3 Avaliação (Média de Nota de Opinião)................................................................ 5

4 Método de Avaliação............................................................................................ 6

5 Trabalhando no Ampersand ............................................................................... 7

5.1 Painel e Botões........................................................................................................................... 8
5.2 Setas de navegação ................................................................................................................... 8
5.3 "Progress" [Progresso] .............................................................................................................. 8
5.4 Timer (contagem regressiva)..................................................................................................... 8
5.5 Botão "Abandon" [Abandonar] ................................................................................................. 8
5.6 Interrupção ou Desconexão ...................................................................................................... 9

6 Perguntas Frequentes........................................................................................ 10
6.1 Por que o pagamento aparece como 0 cents/utterance [centavos/elocução]? .................. 10
6.2 Por que não consigo clicar o botão Save [Salvar]? ................................................................ 10
6.3 Terminei meu trabalho, mas por que não posso clicar no botão Submit [Submeter]?....... 10
6.4  Por que o áudio não está tocando? ....................................................................................... 10
6.5 Não consigo encontrar o botão “Save” [Salvar] na minha página. ...................................... 10
6.6 Eu recebo uma mensagem de erro depois que eu clico em Submit [Submeter] o lote....... 10
6.7 Completei o trabalho. Quando serei contatado para pagamento? ...................................... 11
6.8 Completei o trabalho. Como verifico a situação da minha submissão?............................... 11
6.9 Completei meu trabalho, mas por que será que aparece como “pending” [pendente]?.... 11
6.10 Eu preciso registrar minhas horas no sistema Timesheet no Appen Global?....................... 11
6.11 Quais são as formas de pagamento neste projeto?............................................................... 11
6.12 Terminei meu lote. Posso pegar outro?.................................................................................. 11
6.13 Eu preciso estar online para completar esta tarefa? ............................................................. 12

Table of Contents  –  2

 Projects  –  Guia para Teste MOS (Média de Nota de Opinião)

6.14 Estou trabalhando em outros projetos da Appen. Posso trabalhar neste aqui também ao
mesmo tempo? ........................................................................................................................ 12

Table of Contents  –  3

 Projects  –  Guia para Teste MOS (Média de Nota de Opinião)

2 Visão Geral
Este projeto envolve a avaliação de vozes sintéticas (ex.: vozes geradas por computador).
A avaliação fornecida por você será usada para a pesquisa na produção de fala sintética que soe natural. Sistema
texto-voz (TTS) ou fala sintética se refere a dispositivos, tais como telefones celulares, que podem responder
perguntas quando lhes são dirigidos a fala.
Neste projeto, você irá ouvir vozes em português do Brasil geradas por 16 diferentes vozes e irá avaliar o quanto
você gosta do som dessa voz.

Visão Geral  –  4

 Projects  –  Guia para Teste MOS (Média de Nota de Opinião)

3 Avaliação (Média de Nota de Opinião)

Neste trabalho,
• Você irá analisar 16 vozes diferentes que irão ler 12 sentenças diferentes.
• Cada arquivo de áudio será falado em português do Brasil.
• O trabalho consistirá de um único lote.
• O lote deverá levar cerca de 1 hora para ser completado. 

Obs.
O tempo limite para completar e submeter o trabalho é de 72 horas (3 dias) mas é altamente
recomendável que você o realize em uma única sessão de 1 hora.

Ouça atentamente cada arquivo de áudio completamente, e responda com base na seguinte afirmação:
Eu gosto da forma como esta voz soa ao ler este texto
• Selecione um marcador de 1–7 (1 = Discordo plenamente – 7 = Concordo plenamente).
• Ampersand não deixará que você salve a elocução até que tenha selecionado um marcador.
• Avalie cada voz independentemente. Por exemplo, se você pensar ‘7=Concordo plenamente’
para duas vozes diferentes, você pode dar a ambas uma nota 7.
• Após selecionar um marcador e clicar no botão Save [Salvar] (ou pressionar a tecla 'enter' ou de
'retorno'), isto irá salvar sua avaliação e o levará para a próxima elocução.
• Repita os passos anteriores para cada elocução.
• Quando o lote inteiro estiver completo, clique no botão Submit [Submeter].
• Você precisará terminar todas as elocuções em todas as páginas do lote antes que possa
submeter as elocuções para ser considerado para pagamento.

Avaliação (Média de Nota de Opinião)  –  5

 Projects  –  Guia para Teste MOS (Média de Nota de Opinião)

4 Método de Avaliação
Para ajudá-lo a determinar como avaliar as vozes, você pode considerar estas questões:
• É provável que uma pessoa normalmente diga essa sentença dessa maneira?
• O locutor fala claramente? A fala é inteligível?
• O locutor fala num ritmo/andamento natural? A entonação está correta?
Isto foi pensado mais como um guia e não como convenções rígidas. Não perca muito tempo analisando sua
avaliação inicial.
Note que a pontuação que você fornecer deve refletir sua opinião em quanto você gosta do som da voz. Você não
deve julgar a gramática ou o conteúdo da sentença, somente como a voz soa.

Escala Descrição Fatores

7 Concordo Naturalidade: Pronúncia e entonação são tão naturais quanto possíveis e

plenamente adequadas para uso em português do Brasil.
 
Ritmo da Sentença: A sentença em geral é harmoniosa. Não há pausas súbitas
ou mudança de entonação súbita e antinatural.

Inteligibilidade: As sentenças são claras e podem ser compreendidas na

primeira tentativa. Todas as palavras podem ser claramente entendidas.

6 Concordo

5 Concordo
um pouco

4 Não
concordo
nem
discordo

3 Discordo um
pouco

2 Discordo

1 Discordo Naturalidade: Pronúncia e entonação sem dúvida não são naturais e são
plenamente inadequadas para uso em português do Brasil.

Ritmo da Sentença: A sentença em geral não é harmoniosa. Muitas vezes há

pausas súbitas e/ou mudança de entonação súbita e antinatural.
Inteligibilidade: As sentenças não são claras e não podem ser compreendidas
na primeira tentativa. As palavras não podem ser claramente entendidas.

Método de Avaliação  –  6

 Projects  –  Guia para Teste MOS (Média de Nota de Opinião)

5 Trabalhando no Ampersand
1.  Vá para Appen Global (https://gnx.appen.com/) de preferência, usando o mais recente navegador Firefox
(outros navegadores também podem ser compatíveis). Insira seu endereço de e-mail e senha.

Se você nunca logou no Appen Global antes, primeiramente entre em Appen Online (https://
appenonline.appen.com.au), insira seu endereço de e-mail e clique 'forgot password' [esqueci a senha] –
você receberá um e-mail de inscrição e poderá acessar e criar uma senha para o Appen Global (https://
gnx.appen.com/).

2.   Uma vez logado, você verá uma tela assim:

Nessa tela, clique em "Work Page" [Trabalhar Página] para ir para a página de trabalho.
Então, em "Available Work" [Trabalho Disponível], você verá as tarefas que lhe foram alocadas. Clique em "Get
Batch" [Pegar Lote] para acessar a tarefa. Note que a imagem abaixo é somente um exemplo.

3.  Você receberá seu trabalho em um lote. Este consistirá de 192 páginas. Uma única página será exibida a cada
momento.
• A elocução em cada página do lote deve ser avaliada antes de prosseguir. Você pode se mover
para frente e para trás entre as páginas do lote usando as setas.
• Você precisará terminar todas as elocuções em todas as páginas do lote antes que possa
submeter as elocuções para ser considerado para pagamento.

Trabalhando no Ampersand  –  7

 Projects  –  Guia para Teste MOS (Média de Nota de Opinião)

5.1 Painel e Botões

5.2 Setas de navegação

• Você pode navegar para frente e para trás através das páginas utilizando as setas no canto
esquerdo inferior da tela.

5.3 "Progress" [Progresso]

• Clicando no botão " Progress" [Progresso] você verá o lote inteiro e quais elocuções foram ou
não foram salvas.
• No momento não é possível navegar pelas páginas utilizando esta janela pop-up. Por enquanto
isto deve ser usado somente para verificar o seu progresso.

5.4 Timer (contagem regressiva)

• Timer indica quanto tempo resta antes que seu lote expire.

5.5 Botão "Abandon" [Abandonar]

• Por favor NÃO clique no botão "Abandon" [Abandonar]. Clicando neste botão todo o seu
progresso até esse momento será apagado.
• Se você clicá-lo acidentalmente, por favor retome as etapas 1-2-3 acima (vide ‘Trabalhando no
Ampersand’) novamente, complete o lote e submeta-o.
• Obs.: Você NÃO precisa nos informar caso tenha tido esse pequeno ¨acidente¨. Isto também não
afetará seu status, pagamento, etc. no projeto.

Trabalhando no Ampersand  –  8

 Projects  –  Guia para Teste MOS (Média de Nota de Opinião)

5.6 Interrupção ou Desconexão

• Se você for desconectado ou acidentalmente fechar a página, você pode voltar a fazer login e
continuar o trabalho.
• Seu progresso será automaticamente registrado, então quando você reabrir seu lote, você será
levado à primeira página não salva.
• Apesar de ser possível utilizar este recurso para fazer uma pausa durante o trabalho, nós
recomendamos muitíssimo que você complete o seu lote em uma sessão.

Atenção
Uma vez que comece a trabalhar o lote, é importante que você complete o lote inteiro dentro de 72 horas 
(3 dias), caso contrário seu trabalho irá expirar e qualquer trabalho feito nesse lote será apagado.
Entre em contato diretamente com o seu supervisor se você não puder trabalhar neste cronograma ou
caso necessite de uma prorrogação do tempo de expiração.

Trabalhando no Ampersand  –  9

 Projects  –  Guia para Teste MOS (Média de Nota de Opinião)

6 Perguntas Frequentes

6.1 Por que o pagamento aparece como 0 cents/utterance

[centavos/elocução]?
Ignore isto pois você será pago com uma quantia determinada e fixa após a conclusão bem-sucedida da tarefa,
seguida de verificações de qualidade.

6.2 Por que não consigo clicar o botão Save [Salvar]?

Primeiro, você precisa selecionar um marcador antes que possa clicar no botão Save [Salvar].

6.3 Terminei meu trabalho, mas por que não posso clicar no botão
Submit [Submeter]?
Isto ocorre quando você não salvou cada elocução apropriadamente. Há duas maneiras de identificar elocuções
que não foram salvas devidamente:
1)    Clique no botão "Show completion" [Mostrar conclusão]. Isto exibirá uma grade de caixas. Caixas verdes
indicam elocuções que foram salvas com sucesso. Caixas vermelhas indicam elocuções que não foram salvas com
sucesso. Caixas brancas indicam elocuções que não foram salvas. Clique nas caixas vermelhas ou brancas, avalie o
áudio e clique em Save [Salvar].
2)    Desconecte-se (faça log out) do Ampersand, então volte a fazer login. Quando clicar no botão “Get
batch” [Pegar lote], isto irá levá-lo automaticamente para as elocuções que você não salvou com sucesso.

6.4  Por que o áudio não está tocando?

Certifique-se de que não há outros programas de áudio abertos no plano de fundo (tais como YouTube, ou iTunes).
Às vezes, o áudio pode não tocar quando o servidor estiver fora de serviço. Neste caso, desconecte-se (faça log out)
e tente fazer login após 20 minutos. Se o problema persistir, por favor entre em contato com o seu supervisor.

6.5 Não consigo encontrar o botão “Save” [Salvar] na minha

página.
No momento, o Appen Global não é completamente compatível com telefones celulares, então este projeto deve
ser completado num computador ou notebook.

6.6 Eu recebo uma mensagem de erro depois que eu clico em

Submit [Submeter] o lote.
Após submeter o lote, é normal receber uma mensagem de erro que diz: “An unexpected error occurred” [Um erro
inesperado ocorreu], ou “User has done work on this task before” [Usuário fez trabalho nesta tarefa antes]. Por
favor ignore este erro.

Perguntas Frequentes  –  10

 Projects  –  Guia para Teste MOS (Média de Nota de Opinião)

6.7 Completei o trabalho. Quando serei contatado para

pagamento?
Pagamentos são gerados para este projeto a cada quinzena, então se você completou o projeto, você deverá
receber um e-mail dentro de 2 semanas. Se você não receber um e-mail dentro de 2 semanas, por favor entre em
contato com o seu supervisor.

6.8 Completei o trabalho. Como verifico a situação da minha

submissão?
No momento, não é possível verificar a situação. Por favor aguarde pacientemente por um e-mail de confirmação
do seu supervisor.

6.9 Completei meu trabalho, mas por que será que aparece como
“pending” [pendente]?
Isto é normal. A quantidade de segmentos que você completou não será mostrada até que o pagamento seja
aprovado, então você pode ignorar isto.

6.10 Eu preciso registrar minhas horas no sistema Timesheet no

Appen Global?
Não. Este projeto não é pago por hora, mas sim com uma quantia fixa que será enviada na sua conta de
pagamento. Por favor não use o Timesheet neste projeto.

6.11 Quais são as formas de pagamento neste projeto?

 Nós somente podemos gerir pagamentos através de PayPal ou Skrill neste projeto. Se você não possui nenhuma
dessas contas, o PayPal é o mais rápido de criar e registrar, e seu uso é gratuito.

6.12 Terminei meu lote. Posso pegar outro?

Este projeto é somente uma tarefa com um único lote e não será possível trabalhar em mais lotes. Mesmo que o
Sistema lhe ofereça opções para pegar um novo lote, você somente irá receber mensagens de erro.
Por exemplo, após completar seu lote, haverá uma caixa dizendo ¨Do you want to get another batch?¨ [Você
deseja pegar outro lote?]. Você deve desmarcar esta caixa. Se você for convidado a pegar um novo lote, você deve
clicar “No” [Não] ou “Cancel” [Cancelar].
Caso você tente pegar mais lotes, você receberá mensagens de erro tais como: “Sorry, this user has done work on
this sub task before” [Desculpe, este usuário já realizou trabalho nesta subtarefa antes]. Este erro é normal e deve
ser ignorado.

Perguntas Frequentes  –  11

 Projects  –  Guia para Teste MOS (Média de Nota de Opinião)

6.13 Eu preciso estar online para completar esta tarefa?

Seu lote deve ser completado online. Trabalho offline não será possível neste projeto.

6.14 Estou trabalhando em outros projetos da Appen. Posso

trabalhar neste aqui também ao mesmo tempo?
Você pode trabalhar neste projeto enquanto trabalha em outros projetos da Appen, contanto que isto não tenha
impacto no seu trabalho nos outros projetos.

Perguntas Frequentes  –  12