PERGUNTAS

PARA AJUDAR
COMPRADORES
DE AMOSTRA
ON-LINE
PERFIL DA EMPRESA

1- Que experiência sua empresa tem no fornecimento de amostras on-line para a pesquisa de
mercado?

Resposta: Esta resposta pode ajudá-lo a formar uma opinião sobre a experiência relevante do fornecedor de
amostras. Há quanto tempo o fornecedor de amostras está prestando este serviço? Ele tem, por exemplo,
experiência em pesquisa de mercado, marketing direto ou áreas mais tecnológicas? Ele proporciona
amostras somente para a pesquisa por parte de terceiros, ou também faz trabalhos por conta própria usando
seus painéis?

A Livra tem oferecido serviços de pesquisa de mercado on-line desde 2001. Neste período temos acumulado
una experiência única e sólidos conhecimentos sobre condução de estudos de pesquisa de mercado on-line
nos países que cobrimos. Embora a América Latina, habitualmente, seja vista como una região homogênea,
cada país tem seus hábitos, cultura, linguagem ou dialetos diferentes. Nós asseguramos que todos estes
aspectos sejam levados em conta nos projetos.

Dado que originalmente a empresa foi fundada como uma empresa de internet, temos desenvolvido
capacidade em software e desenvolvimento web, que nos dão as ferramentas para chegar, com estratégias
únicas, aos problemas que possam aparecer na pesquisa de mercado. Toda a nossa tecnologia foi
desenvolvida internamente, incluindo nosso site, painel e aplicativos para a administração de projetos.

Durante esses anos temos realizado milhares de projetos junto com os líderes da indústria de painel on-line,
o que nos tem permitido delinear nossos processos e práticas seguindo seu exemplo. Nós nos aderimos aos
mesmos princípios de pesquisa on-line e às diretrizes sobre administração de painel, e apesar de que
existem algumas diferenças nas metodologias regionais, as regras e políticas de privacidade variam para
refletir melhor a necessidade nos respectivos países.

Graças a que temos painéis próprios em mais de 35 países, na América Latina e mais de 800.000
entrevistadores ativos, podemos realizar a maioria dos projetos sem grandes dificuldades.

Respostas sobre o Painel da Livra

28 perguntas da ESOMAR para ajudar compradores de amostras on-line 2
FONTES DA AMOSTRA E RECRUTAMENTO

2- Por favor, descreva e explique o tipo ou tipos de fontes de amostras on-line, das quais conseguem
entrevistados. Trata-se de bases de dados, gestão ativa de painéis, listas de marketing direto, redes
sociais ou intercepção web (‘web intercept’ ou ‘river sampling’)?

Resposta: A descrição dos tipos de fontes que um fornecedor utiliza para oferecer uma
amostra on-line dará informação sobre a qualidade da amostra.

Nossos painéis não são simplesmente listas ou base de dados de indivíduos, mas painéis de pesquisa
administrados ativamente:
 Indivíduos que aceitaram voluntariamente participar nas pesquisas de mercado, em nosso site
www.livra.com1 e em uma vasta rede de sites de sócios confiáveis.
 Criado e manipulado para uso e acesso a longo prazo,

 Perfilado extensivamente para chegar eficientemente aos entrevistadores participantes.

Nossa experiência nos demonstrou que a fonte da amostra tem um papel vital na habilidade da empresa em
tomar decisões de negócio acertadas baseadas nos fatos. Os painéis on-line da Livra são atualizados
constantemente, usando uma variedade de fontes e métodos. Acreditamos firmemente que a qualidade da
informação começa com o recrutamento. A grande maioria dos nossos entrevistadores nos chega através de
vários fornecedores on-line. Nós nos asseguramos de que todos nossos sócios de recrutamento tenham
obtido seus usuários legalmente e não através do uso de spam. Isso é muito importante, já que as políticas
antispam na América Latina são raramente cumpridas. Baseados em nossos consideráveis anos de
experiência, sabemos que o recrutamento multifonte é a melhor opção para manter uma base
representativa de usuários. Nós somente usamos fontes de recrutamento de qualidade para atrair gente que
quer responder a pesquisas.

Estrategicamente, enfocamos em desenvolver processos que refletem as práticas mais modernas que
podem ser encontradas nas redes sociais. Também usamos listas de e-mail (somente autorizadas e de alta
qualidade), banners, sites web e anúncios de texto, redes sociais e marketing de motor de busca. Quando
avaliamos a prioridade das fontes, o processo de recrutamento leva em consideração o seguinte:
 Parâmetros de Painel: Por exemplo, taxas de resposta, índice de abandono, qualidade da informação
e queda demo.
 Representatividade censitária: Embora seja considerada em nossas estratégias de recrutamento,
apontamos a recrutar uma seleção de entrevistadores que cumpram com os requisitos de negócio (Incluindo
amostras representativas do censo para grupos usados com frequência, como, por exemplo: Mulheres de 18
a 49 anos).

 Alvos de alta demanda: Por exemplo, gente com certas enfermidades ou de certas profissões.
O painel é monitorado ativamente e controlado por nossas equipes de controle de painel e engajamento de
diversas formas:
 Todo entrevistador da Livra passou, previamente, pelo nosso processo de registro que inclui duplo
opt-in, captcha e RelevantId.

1
Note-se que Livra.com é uma rede social de opiniões, onde as pessoas podem mostrar ao mundo as coisas que amam, perguntar o
que querem em minipesquisas que elas mesmas geram, conectar-se com gente que compartilha seus interesses e também completar
pesquisas on-line. Isto nos diferencia de outras empresas de painel on-line, já que Livra.com provê um constante fluxo de novos
entrevistadores,

Respostas sobre o Painel da Livra

28 perguntas da ESOMAR para ajudar compradores de amostras on-line 3
 Todos os nossos membros do painel pertencem a uma mesma base de dados assegurando que as
amostras, controle de procedimentos e melhorias da base sejam realizadas em um único ambiente.
 As pesquisas internas são enviadas regularmente para assegurar a atividade e integridade da
informação dos membros do painel.
 Os membros do painel podem iniciar sessão em qualquer momento e atualizar seus dados ou se
descadastrarem do painel.
 Estamos em contato constante com nossos membros; regularmente os incentivamos a atualizar seus
dados no site web.
 Limpamos, constantemente, o painel de entrevistadores inativos ou membros com e-mails inválidos.
 Uma equipe dedicada ao serviço de atendimento ao cliente responde às dúvidas dos entrevistadores
em seu idioma durante a duração do projeto.

As Fontes de Web-intercept podem ser usadas para requisitos específicos e objetivos necessários, usando
uma mistura de fontes confiáveis; a quantidade de tal fonte de tráfego a ser usada em um projeto pode
estar limitada a uma porcentagem específica e mantida através do tempo.

3- Se for fornecida mais de uma amostra de uma fonte, como são combinadas as diferentes fontes
para assegurar a validade? Como isso pode ser argumentado através do tempo para gerar
confiança? Como lidam com a possibilidade de duplicação de entrevistadores através das diferentes
fontes?

Resposta: A variação de dados provenientes de diferentes fontes tem sido bem documentada. A
superposição entre diferentes fornecedores de painel pode ser significativa em alguns casos, razão pela qual
a duplicação permite remover essa fonte de erro e frustração para os participantes.

Quando for necessário, a Livra utilizará múltiplas fontes de amostra para respaldar a necessidade do cliente.
Controlamos internamente a distribuição para cada fonte de amostra com cotas fixadas para garantir
resultados consistentes, mantendo a mesma distribuição através do tempo.

Todas as fontes de amostra são controladas por um sistema de impressões digitais (digital fingerprinting)
para evitar duplicação de participantes entrando por diferentes fontes na mesma pesquisa, por onda ou
inclusive aplicado a ondas futuras, se o estudo o exigir. Do mesmo modo, também controlamos a localização
da IP (Geo-IP) para termos certeza que os participantes estejam realmente localizados no país requerido.

4- As fontes de amostra que usam somente são utilizadas para Pesquisa de Mercado? Caso contrário,
para que outros propósitos são usadas?

Resposta: O uso de participantes que foram contatados para diferentes propósitos originalmente (como por
exemplo, marketing direto) poderia causar efeitos não desejados na pesquisa.

Os entrevistadores somente são contatados com o propósito de pesquisa de mercado.

Respostas sobre o Painel da Livra

28 perguntas da ESOMAR para ajudar compradores de amostras on-line 4
 5- Através de que fontes chegam a grupos que podem ser dificilmente alcançáveis na internet?

Resposta: Assegurar a inclusão de grupos difíceis de alcançar pela internet (como grupos étnicos
minoritários, gente jovem, gente da terceira idade, etc.) incrementará a cobertura da população e melhorará
a qualidade da amostra fornecida.

Conduzimos constantemente recrutamento focalizado no público que nos interessa através de:
 Metodologias de “recursos amplos” (Por exemplo, campanhas de e-mail, redes de filiados, anúncios
em banner, anúncios de texto, motor de busca, registro, off-line a on-line, sites web especializados,
recrutamento focalizado, campanhas dirigidas a certos perfis).
 Incentivos personalizados e materiais para recrutar perfis especiais, tais como mães de bebês, grupo
de idade de 55+, etc.
 Além disso, estamos continuamente testando novas fontes e métodos de recrutamento (sites web
especializados, redes sociais, etc.)
Todo o tráfego de nossos sócios de recrutamento passa pelo nosso sistema de segurança e processo de
registro antes de se tornar entrevistador e completar pesquisas.

6- Se para um projeto em particular necessitam suplementar sua base de dados com amostra de
outros fornecedores, como selecionam esses fornecedores? É parte de sua política notificar os
clientes, antecipadamente, quando usam um fornecedor externo?

Resposta: Muitos fornecedores trabalham com fornecedores externos. Isto significa que a qualidade da
amostra também depende da qualidade dos fornecedores de amostra que o comprador não selecionou. A
transparência é essencial nesta situação. A superposição entre diferentes fornecedores de painel pode ser
significativa em alguns casos, por isso a duplicação permite remover esta fonte de erro, e frustração para os
participantes. Os fornecedores que seguem processos estândares, como as normas ISO, estão obrigados a
dar esta informação.

A Livra mantém seu próprio painel. Dada à natureza dinâmica do negócio de pesquisa de mercado on-line,
em algumas situações devemos confiar em fornecedores de amostra externos para completar os estudos de
pesquisa de mercado do cliente. Temos um processo de exame rigoroso, através do qual identificamos
empresas que aderem a processos de qualidade e administração de amostras similares aos nossos.
As empresas selecionadas como nossos sócios preferidos, aderem a lineamentos estritos em cada projeto
encarregado. E também, temos um programa de Satisfação/Qualidade de Fornecedores, através do qual
medimos o desempenho dos mesmos mediante índices qualitativos e quantitativos, os quais são conferidos
mensalmente pela diretoria.

Respostas sobre o Painel da Livra

28 perguntas da ESOMAR para ajudar compradores de amostras on-line 5
RECRUTAMENTO DE PAINEL

7- Que passos seguem para conseguir uma amostra representativa da população geral?

Resposta: Os processos de amostragem usados (por exemplo, como são selecionados ou designados os
indivíduos das diferentes fontes de amostra) são o principal fator no fornecimento de amostra. Uma
estratégia sistemática baseada em regras básicas de pesquisa de mercado incrementará a qualidade da
amostra.

A amostragem começa desenvolvendo segmentos tal como são pedidos pelo cliente para um país dado. Para
alguns perfis da população, tais como proprietários de telefone celular, donos de animais de estimação, etc.,
temos a capacidade de gerar cotas representativas baseadas em uma subamostra do painel, e depois
usamos essas cotas para obter una amostra balanceada da população em foco.

A amostragem é realizada mediante uma aplicação criada internamente chamada Madmax, a qual permite
construir amostragens complexas baseadas no alvo e nos filtros requeridos. O programa seleciona potenciais
entrevistados que se balanceiam de acordo ao perfil necessário (por exemplo, selecionado para ser
representante da população geral, população on-line ou outros perfis requeridos).

O programa usa um algoritmo para fazer uma seleção interativa que balanceia uma variável ao mesmo
tempo em ordem de prioridade, tal como detalhamos abaixo:
1. O primeiro passo é extrair todos os entrevistadores ativos e disponíveis que cumprem com o critério
do filtro (demográfico, geográfico, etc.)
2. O grupo de amostragem é sorteado aleatoriamente.
3. O algoritmo examina após a primeira (principal) variável e seleciona o número de entrevistadores
que cumprem cada objetivo. (Às vezes, pode ser que não haja suficiente amostra para preencher todas as
células e, dado que algumas variáveis são mais importantes que outras, pode ser que as variáveis de menor
prioridade não estejam exatamente balanceadas).
4. Finalmente, a amostra será distribuída e balanceada entre mais de uma célula de modo que
diferentes pesquisas estarão em campo em grupos ou células balanceados de igual forma.
Os entrevistadores podem ser eliminados de pesquisas da mesma categoria por certa quantidade de tempo
(7 dias, um ano ou inclusive mais) baseados nas exigências do cliente. A Livra também impõe sua própria
regra para assegurar que não haja um uso excessivo dos entrevistadores, seguindo os lineamentos da
ESOMAR, dado que não recebem mais de 3 convites para pesquisas na mesma semana.

A amostra pode ser enviada em remessas usando qualquer critério requerido pelo cliente. Isto é controlado
mediante uma aplicação usada no controle de envios. A ferramenta permite fazer envios massivos de mail
em um tempo/dia determinado e em remessas.

Também podemos controlar a quantidade de completas para cada célula específica configurando as cotas
finais desejadas para cada critério (exemplo, sexo, idade). Uma vez que o objetivo da cota foi atingido, a
pesquisa será fechada para participantes desse perfil.

Respostas sobre o Painel da Livra

28 perguntas da ESOMAR para ajudar compradores de amostras on-line 6
 8- Usam um roteadorr de pesquisas?

Resposta: Um roteador é um programa que localiza os participantes que querem responder a uma pesquisa
em uma que serão capazes de qualificar. Os participantes serão dirigidos ao roteador por diferentes razões,
alguns chegarão depois de ser desqualificados para uma pesquisa, para a qual tinham sido convidados, e
outros, como resultado de um convite geral do roteador mesmo. Não existe um consenso sobre o possível
efeito que pode ter ou como o uso de um roteador pode afetar a resposta que as pessoas dão às perguntas
da pesquisa.

Sim, quando estivermos em campo, escolheremos usar nossa própria plataforma de roteador chamada
Cyclone para conectar estudos com o espectro completo de fontes de tráfego: nosso próprio painel, sites de
redes sociais, painéis sócios, comunidades on-line, redes de filiados, e mais. O roteador e a redistribuição
oferecem múltiplos benefícios durante o processo da pesquisa – no controle do campo, engajamento de
entrevistadores e exatidão dos resultados da pesquisa. Os dois benefícios principais são maior qualidade e
capacidade do painel:

 Maior qualidade (entrevistados e informação).

 Maior satisfação dos entrevistados: Os entrevistados têm maiores possibilidades de encontrar uma
pesquisa para completar quando querem fazê-lo.
 Maior qualidade da informação: Atingida através de cotas mais rigorosas e regras globais
eliminatórias. O uso de cotas entrecruzadas/internas oferece maior exatidão, o que permite uma melhor
combinação de perfis e diminui a necessidade de ponderação da informação. As regras de eliminação são
aplicadas em todo o sistema, permitindo eliminações em quaisquer das fontes de tráfego.
 Maior capacidade do painel
o Maior capacidade: ao estender o alcance da amostra, permite maior acesso à população em foco.
o Maior facilidade para completar cotas: O uso mais eficiente da amostra melhora o fluxo da amostra
e ajuda a fechar cotas mais facilmente.
9- Se usam um roteador, por favor descrevam o processo de atribuição no roteador. Como decidem
que pesquisas podem ser consideradas para cada entrevistado? Com que sistema de prioridades os
entrevistadores são designados?

Resposta: Podem ser gerados vieses a partir da priorização na escolha das pesquisas que vai responder um
determinado entrevistado e o método de atribuição a ser utilizado.

O mesmo viés na seleção que existe em painéis e outros métodos (correio, telefone, etc.), também existe em
um roteador e está relacionado com o nível de prioridade no roteador. Enquanto que é sabido que haverá
um viés na seleção com outras metodologias - devido a motivos de custo/logística -, poderia não ser medido
e controlado de forma ótima. Com roteadores, no entanto, o desvio é mais visível e graças à automatização,
o controle é mais viável.

Uma estratégia chave para controlar o viés é minimizar a prioridade no roteador (um determinado nível de
prioridade é necessário), e ter uma quantidade adequada de estudos e de diversos temas em todo
momento. Isto assegurará que qualquer potencial viés se dissemine entre todos os estudos e tenha um
impacto mínimo em cada um deles.

Os entrevistados são designados para as pesquisas na Livra usando um enfoque aleatório ou um híbrido
(uma combinação de enfoque aleatório e de prioridade). Em um enfoque aleatório, os estudos são
selecionados inteiramente por acaso, baseado em um nível específico de prioridade. Em um enfoque

Respostas sobre o Painel da Livra

28 perguntas da ESOMAR para ajudar compradores de amostras on-line 7
híbrido, uma proporção da seleção é aleatória e uma proporção é baseada em prioridade. Mesmo que a
Livra procure minimizar o uso de atribuição de prioridade sempre que for possível, certa prioridade é,
usualmente, necessária para um controle efetivo das pesquisas. Para muitos estudos da Livra é usado o
enfoque híbrido.

10- Se usam um roteador: que medidas tomam para se proteger de, ou mitigar, qualquer desvio que
possa aparecer usando o roteador? Como medem e informam os desvios?

Resposta: Se uma pessoa A é designada para uma pesquisa X baseando-se em certa característica, essa
pessoa, provavelmente, não vai poder participar na pesquisa Y. A amostra para a pesquisa Y está
potencialmente enviesada pela ausência de gente como a pessoa A.

O roteador é um sistema complexo, cujo controle rigoroso e apropriado é uma parte importante para
manter a integridade e qualidade do sistema e cada estudo individual dentro do sistema. Isso, também,
contribui para a qualidade dos resultados.

O fundamental para manter a qualidade no entorno do roteador é estabelecer e seguir as melhores práticas
no funcionamento do mesmo – regras sobre como manipular, monitorar e controlar o roteador. A Livra
obedece aos princípios de alta qualidade estabelecidos através de anos de experiência e pesquisas, por
exemplo:

 A designação aleatória e prioritária é determinada pelo sistema, de acordo com as características do

projeto e os tempos do mesmo.
 Os entrevistados têm a opção de sair do processo de filtro sem penalidade.
 Uma grande quantidade e diversidade de estudos é mantida no roteador.
 Uma quantidade limitada de perguntas personalizadas é permitida no filtro.

 O tráfego de fornecedores é monitorado diariamente para assegurar a consistência.

Ver Pergunta 11 para conhecer outra estratégia que utiliza a Livra para controlar e mitigar qualquer
potencial viés. Tal como foi mencionado, a diversidade e quantidade de estudos no roteador é importante
para reduzir qualquer viés que possa aparecer no roteador.

11- Se usam um roteador: quem da empresa configura os parâmetros do roteador? É uma equipe
dedicada a isso ou cada Project manager individual?

Resposta: É possível que seja necessário replicar esse projeto no futuro com a maior quantidade possível de
parâmetros similares aos configurados por primeira vez. Que tão fácil ou difícil será isto?

A manipulação adequada do roteador é fundamental. A Livra implementou as melhores práticas operativas

para monitorar e controlar o ambiente do roteador.

Na Livra, cada Project Manager configura os parâmetros de seu próprio projeto, mas também há uma equipe
que está inteiramente dedicada ao manuseio do roteador para controlar o ambiente global, incluindo o
algoritmo de aleatoriedade/priorização para o roteador principal e os mini roteadores, a sequência de
prioridade dos estudos (de acordo à necessidade), avaliar se um estudo é incluído no roteador ou não, e
todas as práticas e processos relacionados ao manuseio do roteador (incluindo processos de qualidade).

Respostas sobre o Painel da Livra

28 perguntas da ESOMAR para ajudar compradores de amostras on-line 8
Esta equipe tem a autoridade final sobre todas as decisões do roteador; um Project manager de um projeto
individual deve acatar essas decisões. Isso é feito para proteger estudos individuais no roteador e assegurar
a solidez global do mesmo. A equipe está composta de especialistas em amostras e metodologia de
amostragem.

12- Que informação de perfilamento é realizada com os entrevistados? Como é feito? Como difere isto
entre diferentes fontes de amostra? Como é mantido atualizado? Caso não seja realizado um
processo de perfilamento, como dirigem os projetos de baixa incidência?

Resposta: A utilidade da informação pré-identificada dependerá da pergunta precisa que foi usada e
também da data em que foi feita a pergunta. Caso seja usado um perfilamento em tempo real, que controle
vocês têm de que realmente seja formulada essa pergunta?

Como mínimo, os painéis on-line da Livra têm informação dos seguintes elementos:
 Sexo
 Ano de nascimento
 Estado/Região
 E-mail

Informação adicional dos entrevistadores (por exemplo, ocupação, tamanho da moradia, nível de educação,
nível de emprego, setor de atividade, ingresso anual da moradia, uso de internet, idade e sexo de outros
membros da moradia, animais de estimação, bebidas, finanças, equipamentos eletrônicos, veículos) é
coletada depois do questionário de recrutamento em uma série de questionários curtos de perfilamento e
na página do perfil do entrevistador. Pode haver informação extra, disponível dependendo do país em
questão. Além da informação dos questionários de recrutamento e perfilamento, coletamos uma variada
amostra de informação sobre diferentes temas através de pesquisas “screener”. Os entrevistadores ativos
também são incentivados a atualizar sua informação de contato no nosso site de Serviços para Membros do
Painel. Esta informação pode ser usada para o de perfilamento de amostra se for pedido.

Em alguns projetos podemos trabalhar com um questionário de perfilamento para encontrar perfis
complicados e fazer um melhor uso da amostra disponível, embora haja restrições na quantidade de
perguntas que podem ser feitas nesses questionários.

13- Por favor, descrevam o processo que usam para convidar para participar de pesquisas. Qual é a
proposta que recebem as pessoas para formar parte de pesquisas individuais? Que informação
sobre o projeto é dada nesse processo? Além dos convites diretos para pesquisas específicas (ou
para um roteador), a que outros meios, para convidar a responder pesquisas, estão expostos os
participantes? Deveriam notar que nem todos os convites para participar vêm em forma de e-mails.

Resposta: O tipo de proposta (e recompensa associada) poderia influenciar o tipo de gente que aceda a
participar em um projeto específico, o qual pode afetar a qualidade da amostra. O nível de detalhe dado
sobre o projeto pode também influenciar as respostas.

Toda a coleta de informação (pesquisas incluídas) é conduzida via sites web. Através do processo de
amostragem, os entrevistadores são pré-selecionados para responder a uma determinada pesquisa; as
pesquisas não são “de acesso aberto” (por exemplo, os entrevistados não se auto-selecionam), os

Respostas sobre o Painel da Livra

28 perguntas da ESOMAR para ajudar compradores de amostras on-line 9
entrevistados não conhecem o conteúdo da pesquisa. Os entrevistadores recebem um convite por correio
eletrônico que contém a seguinte informação :

 Informação da pesquisa (data de finalização, número da pesquisa, duração da pesquisa, número de

pontos de incentivo).

 Uma URL única que dá acesso ao questionário.

 Um endereço da Livra.
 Correio eletrônico de suporte ao usuário.
 Enlace à política de privacidade.

 Informação para sair da pesquisa. Os entrevistados são automaticamente encaminhados a perguntas

de relevância de acordo às suas respostas. A pesquisa é controlada de forma a que todos os entrevistados
respondam às seções do questionário que são relevantes para eles. A pesquisa é controlada para coletar a
resposta a cada pergunta por passo; em consequência, à diferença de outras metodologias
autoadministradas, a metodologia on-line garante que não haja respostas em branco no conjunto de
respostas. Os entrevistados terão a opção de “Não sabe” quando for necessário ao longo do questionário
para assegurar que não estamos “forçando” uma resposta.

14- Por favor, descrevam os incentivos que são oferecidos aos entrevistados para participar nas
pesquisas. Como variam de acordo à fonte da amostra, duração da pesquisa, características do
pesquisado?

Resposta: O prêmio ou sistema de incentivos possivelmente terá um impacto nas razões pelas quais as
pessoas participam em um projeto específico e esses efeitos causam vieses na amostra.

Todos os entrevistadores recebem incentivos apropriados para participarem em nossas pesquisas. Os

incentivos variam dependendo do país, duração do questionário e complexidade. A Livra usa um sistema de
pontos para incentivar os usuários, junto com sorteios mensais. O sistema de pontos é considerado uma das
melhores práticas na pesquisa de mercado, já que é visto como um sistema neutro que não enviesa a
participação de um grupo específico de pessoas. Frequentemente fortalecemos a política de incentivos
acrescentando sorteios de prêmios ou outros incentivos.

Os pontos de incentivos são atribuídos dependendo da duração do questionário. Os entrevistadores que

não são qualificados para uma pesquisa (por exemplo, são filtrados depois do screener-set de perguntas
filtro) recebem uma pequena quantidade de pontos premiando seu desejo de participar. Os pontos
acumulados podem ser trocados em um site web dedicado aos entrevistadores por uma série de prêmios.

Além dos prêmios por participarem em pesquisas, os entrevistadores também se beneficiam com:
 Atribuição em tempo real dos pontos por responderem pesquisas (depois que um entrevistador
completa uma pesquisa, os pontos atribuídos podem ser vistos imediatamente no histórico de pontos)

 Newsletters mensais contendo artígos sobre diferentes assuntos, resultados de pesquisas, notícias
do painel, ganhadores dos sorteios, conselhos para entrevistadores, perguntas frequentes.

 Um site personalizado que permite aos entrevistadores conferir em tempo real seu histórico de
pontos, explorar e trocar prêmios, responder às pesquisas que têm disponíveis, atualizar sua informação de
contato, conhecer mais sobre o painel, e ler nossas newsletters.

Respostas sobre o Painel da Livra

28 perguntas da ESOMAR para ajudar compradores de amostras on-line 10
 Acesso a suporte via correio eletrônico.
 Confidencialidade.

 A presença em redes sociais via Facebook, Twitter ou a nossa própria rede social, permite que
nossos entrevistadores interajam entre eles e conosco. Nós nos comunicamos pelo menos duas vezes por
semana com nossos seguidores através de atualizações de estados, artígos, pesquisas rápidas, concursos e
mais.

 Programa de fidelidade: Os entrevistadores são premiados com pontos extras cada vez que
completam uma determinada quantidade de pesquisas. A contabilização de pesquisas é realizada uma vez
por mês e são atribuídos diferentes pontos de acordo à quantidade de pesquisas completadas – mais pontos
por um número maior de pesquisas completadas.

 Sorteios mensais de prêmios: Os entrevistadores ganharão uma chance no sorteio desse mês
quando eles decidirem trocar seus pontos por uma chance no sorteio.

Também utilizamos vários fornecedores de amostra sócios e os incentivos variam entre eles. Usamos
prêmios em dinheiro, presentes, pontos, sorteios e, em alguns casos, não usamos nenhum incentivo. Cada
fornecedor varia em como incrementar suas ofertas baseando-se na duração e complexidade da pesquisa.
Usando tantos incentivos diferentes, minimizamos a possibilidade de vieses devido ao incentivo ou de criar
um comportamento desonesto.

15- Que informação sobre um projeto necessitam para dar uma estimativa adequada de viabilidade
usando seus próprios recursos?

Resposta: O “tamanho” de cada painel ou fonte de amostra pode ser que não seja um indicador adequado
para avaliar se seu projeto pode ser completado ou que se consiga em uma faixa de tempo desejada.

Oferecemos estimativas de viabilidade para um estudo de cliente baseado na seguinte informação:

 Definição global da amostra: que perfil se busca para o estudo.
 Demográficos: variáveis específicas e cotas que devem ser atingidas.
 Qualquer outro critério de qualificação, e se:
o Temos nosso painel pré-identificado por esses fatores;
o Necessitamos fazer um pré-screener antes de lançar; ou
o Podemos qualificar os participantes que ingressam na pesquisa mesma.
 Nível de incidência (usualmente se pode estimar pelo perfil da amostra, caso o cliente não tenha
uma pesquisa prévia).

 Número de casos requeridos.

 Sobre-amostras requeridas e definição dos grupos caso sejam assim.

 Duração estimada da pesquisa.

 Estímulos especiais envolvidos (por exemplo, arquivos de imagens, áudios, vídeos).
 Módulos especiais para programar.

Respostas sobre o Painel da Livra

28 perguntas da ESOMAR para ajudar compradores de amostras on-line 11
 Tempo de campo (uma semana é o estândar).

Esses dados nos dirão se podemos completar o estudo em tempo e forma usando nossos próprios recursos
de amostra ou se precisaremos contratar amostra externa. Se houver algum inconveniente de viabilidade,
sempre trabalhamos com o cliente para decidir o melhor curso de ação (por exemplo, reduzir o número de
pesquisas completadas, aumentar tempo de campo, relaxar os filtros de qualificação, ou acrescentar uma
base externa).

16- Medem a satisfação dos participantes? Essa informação está disponível para os clientes?

Resposta A satisfação dos participantes será um possível indicador da predisposição para responder futuras
pesquisas. As reacões dos entrevistados obtidas através de comentários dados por eles mesmos, ou de uma
análise dos pontos de interrupção, podem ser valiosas para ajudar a entender os resultados da pesquisa.

A Livra tem múltiplos enfoques para avaliar a satisfação dos entrevistados. A Pesquisa Anual de Satisfação é
uma pesquisa estândar que mede a satisfação de nossos entrevistadores com relação às atividades da
filiação (site web de entrevistadores, newsletter, convite para pesquisas, prêmios, etc.). Esta avaliação é feita
em base anual e as pontuações são constantemente acompanhadas e traduzidas em ações e melhorias no
controle do painel. Estes resultados se focalizam mais na experiência de ser um entrevistador, e não são
relevantes para os clientes.

Também nos comunicamos com nossos entrevistadores através do blog, Facebook, Twitter e suporte por e-
mail, e resolvemos rapidamente os inconvenientes que possam aparecer.

17- Que informação fornecem de modo informativo ao seu cliente quando o projeto termina?

Resposta: Deve-se esperar um relatório completo do fornecedor de amostra, incluindo o total de amostra
bruta, data de início, índice de participação, taxa de abandono, texto de contato/convite, uma descrição do
processo de campo, etc. Os fornecedores de amostra deveriam fazer uma lista dos relatórios estândares e
métricas que têm à disposição.

A Livra fornece um relatório completo de campo que inclui:

 Data de lançamento do estudo.

 Data de finalização do estudo.

 Quantidade da amostra enviada.

 Incidência.
 Informação da duração média do questionário.

 Outros relatórios que são necessários.

Respostas sobre o Painel da Livra

28 perguntas da ESOMAR para ajudar compradores de amostras on-line 12
QUALIDADE DA INFORMAÇÃO E VALIDAÇÃO

18- Quem é o responsável dos controles de qualidade da informação? Se são vocês, vocês têm
procedimentos para reduzir ou eliminar comportamentos indesejáveis no processo de resposta, tais
como (a) resposta aleatóriasr (b) respostas ilógicas ou inconsistentes (c) sobre utilização da opção
de não resposta (por exemplo, “Não sabe, não responde”) ou (d) speeding (completar pesquisas
muito rápido)? Por favor, descrevam estes procedimentos.

Resposta: O uso de tais procedimentos aumentará a confiabilidade e validade da informação da pesquisa.

Construímos nosso próprio painel e ferramentas informáticas para administrar o painel, o qual nos permite
ter um controle rigoroso sobre todas as fases de um projeto. Com esta ferramenta podemos identificar
entrevistadores que estão tendo um comportamento fraudulento. O propósito é identificar comportamento
pouco comprometido entre os participantes de uma pesquisa. A qualidade da informação coletada é
assegurada mediante medidas, tais como detecção de duplicados e validação geo-IP usando RelevantID®,
assim como também detecção de speeders e straightlining.

 RELEVANTID® impede que participantes duplicados entrem em pesquisas ativas, baseadas em um

critério de impressão digital on-line. O módulo é aplicado em todas as pesquisas dirigidas pela Livra,
incluindo aqueles estudos, nos quais é usado painel junto com fontes externas na mesma pesquisa.
 RELEVANTID® também filtra participantes que entram em uma pesquisa de outro país.

 Anti-speeding: Remove os entrevistadores pouco comprometidos das pesquisas ativas.

o Os Speeders são identificados tanto pelo tempo que passaram no questionário, como
também pela quantidade de entradas fornecidas (cliques e pulsações no teclado).
o Este módulo está completamente automatizado e aplicado em tempo real.
 Anti-straightlining: Remove entrevistadores pouco comprometidos que selecionam a mesma opção
da escala para todos os itens de uma grade.
o Os participantes são marcados se cometem straightlining ao menos uma vez em uma grade e
completam a pesquisa substancialmente mais rápido que um entrevistado típico. Isto nos permite
distinguir um straightliner devido a que não se compromete com respostas bem pensadas e escolhe
sempre a mesma opção da grade.
o Este módulo também está completamente automatizado e aplicado em tempo real.

19- Com que frequência a mesma pessoa pode ser contatada para participar em uma pesquisa dentro
de um determinado período de tempo, seja que responda ao contato ou não? Como isso varia
dependendo da fonte que provém?

Resposta: O excesso de petições pode ter efeito sobre o compromisso do entrevistado, ou criar um viés na
autoseleção e na falta de resposta.

Uma vez que o entrevistador completa uma pesquisa, geralmente não recebe outro convite em, pelo menos,
2 dias, e recebe em média 8 convites por mês. Esse é o nosso período mínimo de exclusão; outros fatores
(por exemplo, pesquisas com o mesmo tema/ categoria, pesquisas da mesma metodologia tais como teste
de anúncios ou teste de produtos) possivelmente requeiram períodos de exclusão mais prolongados. No
entanto, se um entrevistador não responde a nenhum convite ou responde, mas não qualiifica, então ele

Respostas sobre o Painel da Livra

28 perguntas da ESOMAR para ajudar compradores de amostras on-line 13
ainda pode ser escolhido para receber futuros convites em qualquer momento. Também limitamos a
frequência de contato para controlar a frequência de resposta tal como requer a pesquisa específica que
está sendo realizada.

Os entrevistados podem ser convidados várias vezes se eles pertencerem a várias fontes, mas as nossas
ferramentas e regras de duplicação asseguram que não podem completar a mesma pesquisa mais de uma
vez.

20- Com que frequência a mesma pessoa pode ser contadada para participar de uma pesquisa em um
período de tempo específico? Como varia segundo as diferentes fontes? Como controlam isso nas
categorias e/ou períodos de tempo?

Resposta: A frequência da participação em pesquisas aumentará o risco de efeitos indesejáveis de

condicionamento ou outros potenciais vieses.

Permitimos que nossos entrevistadores tentem qualificar e responder a todas as pesquisas para as quais são
convidados – sempre que os estudos ainda estejam ativos em campo - porque sabemos por experiência que
o efeito acumulativo dos filtros de elegibilidade, restrição de cotas e abandono fazem com que seja pouco
provável que possam realmente completar muitas pesquisas em um período curto de tempo. No entanto,
permitir aos entrevistados “participar” respondendo a todos os convites para pesquisas que lhes foram
enviadas, os mantém incentivados e comprometidos.

21- Mantêm informação a nível individual tal como histórico de participação recente, data de entrada,
fonte, etc., de seus participantes de pesquisas? Podem fornecer aa seu cliente uma análise de tal
nível de informação?

Resposta: Este tipo de informação por participante que inclui, como é definido. o total da população e como
foi selecionada a amostra, aumentará as possibilidades para analisar a qualidade dos dados.

Sim, mantemos informação relacionada ao histórico de contato e participação. Mantemos bases de dados
que guardam todos os aspectos do histórico de pesquisas de um entrevistador e sua experiência no painel: a
data em que foi recrutado e permanência no painel, perfil demográfico completo, o histórico de convites e
respostas, e sua configuração técnica (Sistema operativo, navegador, Configuração Java e Flash, endereço IP,
etc.). Podemos entregar esta classe de informação, mas somente com solicitação expressa do cliente.

22- Têm um procedimento de confirmação de identidade dos participantes? Têm procedimentos para
detectar participantes fraudulentos? Por favor, descrevam como estes procedimentos são
implementados no processo de registro da amostra e/ou no ponto de acesso a uma pesquisa ou
roteador. Se oferecem amostra B2B, quais são os procedimentos, se é que existe algum?

Resposta: A confirmação de identidade pode aumentar a qualidade, reduzindo múltiplas entradas,

entrevistadores fraudulentos, etc.

A Livra cumpre com práticas de qualidade de primeira linha na indústria, as quais começam quando um
indivíduo se une ao painel e continuam com o controle do painel e resposta a pesquisas. Os componentes
deste programa são responsáveis pela proteçâo contra entrevistadores fraudulentos.

Os entrevistadores somente são adicionados ao painel se cumprirem com os seguintes controles de

qualidade:

Respostas sobre o Painel da Livra

28 perguntas da ESOMAR para ajudar compradores de amostras on-line 14
 Eliminação de duplicados entre o painel existente e campanhas de recrutamento simultâneas baseadas em
um critério de e-mail.

 Eliminação de duplicados com a lista negra da Livra (incluindo e-mails de clientes, concorrentes e
funcionários da Livra).
 Eliminação de duplicados usando o sistema de impressão digital RELEVANTID®

 Filtragem de pessoas que trabalham em publicidade ou pesquisa de mercado e menores de 14 anos.

 Filtragem de pessoas localizadas em um país diferente ao solicitado, usando geo IP.

 Confirmação de e-mail para assegurar que o endereço é verdadeiro e pertence à pessoa que completou o
questionário de recrutamento (processo de duplo opt-in).
 Validação de e-mail.

 Programa de segurança (CAPTCHA™) no registro para prevenir registros automáticos no painel.

 Filtragem de entrevistadores com o domínio de e-mail de fornecedores que oferecem “e-mails por 5
minutos” (sites web que geram endereços de e-mail que estão disponíveis somente por poucos minutos ou
somente por uma quantidade limitada de mensagens recebidas).
 Durante o processo de limpeza (prévio a incluir aos novos recrutados na base de dados), são feitas
validações e controles da informação de fundo com um aplicativo especializado que inclui:

 Nossos controles de qualidade ao nível da pesquisa são aplicados a todas as pesquisas da Livra. Antes que
um participante possa entrar em uma pesquisa, primeiro é escaneado usando RelevantID®, o qual assegura
que a mesma pessoa não pode entrar em uma pesquisa mais de uma vez. RelevantID também valida a
localização de possíveis entrevistados através de um controle de geo IP (Determinando localização física
baseados em endereços IP do computador). Os entrevistados que tenham uma localização que não coincida
com os requisitos da pesquisa também são filtrados.

Respostas sobre o Painel da Livra

28 perguntas da ESOMAR para ajudar compradores de amostras on-line 15
POLÍTICAS E CUMPRIMENTO

23- Por favor, descrevam os processos de “opt-in para pesquisa de mercado” para todas as fontes de
amostra on-line.

Resposta: O processo de opt-in indica a relação do entrevistado com o fornecedor da amostra. O mercado
geralmente faz uma diferença entre opt-in simples ou duplo. O duplo opt-in refere ao processo pelo qual é
realizada uma checagem para confirmar que a pessoa, ao unir-se ao painel ou base de dados, deseja ser
membro e entende o que se espera de ela (antes de participar em uma pesquisa real para um cliente pago).

A Livra usa um processo de “duplo opt-in” para todos os entrevistadores. Os indivíduos que desejam se unir
ao painel, primeiro completam a pesquisa on-line de recrutamento e aceitam os termos e condições para
serem membros. Informamos aos nossos entrevistadores que a Livra se compromete a manter toda a
informação pessoal dos entrevistadores de forma confidencial (seus hábitos, preferências, endereços
pessoais, etc.) e que esta informação será usada somente para pesquisa. Assim mesmo, exige-se que os
entrevistadores adiram a regras relacionadas com a confidencialidade das nossas pequisas. O acordo com
estes termos e condições fornece o primeiro “opt-in” para ser membro do painel.

Uma vez que o formulário de registro é enviado, os entrevistadores recebem um e-mail pedindo-lhes que
façam clique em um link para confirmar que querem participar como membro do painel. Isto constitui o
segundo “opt-in”.

Também temos uma validação de Facebook, caso o entrevistador conecte sua conta à Livra, já que o e-mail
e a informação de início de sessão já foram verificados por Facebook, pulamos este segundo passo.

Depois de completar o questionário de recrutamento, uma série de questionários de perfilamento curtos é

enviada aos entrevistadores para reunir informação adicional, como por exemplo: possessão de carros,
possessão de animais de estimação, uso de internet, eletrodomésticos, etc.

Finalmente, um comunicado de boas-vindas é enviado aos entrevistadores indicando que sua informação foi
recebida e que eles receberão sua primeira pesquisa em alguns dias. Informa-se aos entrevistadores o nome
de usuário e senha do site, e eles são convidados a completar seu perfil de entrevistador e outras pesquisas
de boas-vindas.

Asseguramos que seja simples para um entrevistador sair do site, ou descadrastar-se do painel em qualquer
momento. A informação de saída é dada no momento do recrutamento, no site web do painel e em cada e-
mail que o entrevistador recebe da Livra.

Em nosso roteador, os entrevistados fora do painel vêm através da Web intercept. Durante suas interações
em um jogo on-line, comunidade, ou rede social, é dada a opção de ganhar unidades extras da moeda
utilizada no entorno que estão participando (por exemplo, pontos, créditos) e um desses métodos é
responder a uma pesquisa. Dado que não é pedido que deem um endereço de e-mail ou que confirmem
antes de responder a uma pesquisa, consideramos esses participantes como simples opt-in.

Respostas sobre o Painel da Livra

28 perguntas da ESOMAR para ajudar compradores de amostras on-line 16
 24- Por favor, indiquem um link à sua política de privacidade. Como mostram sua política de
privacidade aos participantes?

Resposta: O fato de um fornecedor não cumprir com as leis de privacidade locais e internacionais pode
significar que um fornecedor está operando ilegalmente. Um exemplo de política de privacidade está dado
no Guia ESOMAR para pesquisa de mercado.

Os indivíduos podem ver nossa exaustiva Política de Privacidade no momento do registro no painel. Assim
mesmo, a introdução a nosso convite estândar para responder pesquisas inclui um enlace à política, e
lembra aos entrevistadores que mantemos toda a informação que fornecem sob estrita confidencialidade.

Nossa Política de Privacidade completa está disponível em http://www.livra.com/terms.

As práticas de coleta da identificação pessoal e do envio de convites de e-mail têm sido auditadas e
certificadas, segundo as leis pertinentes de privacidade e spam, por uma autoridade de primeiro nível:
Sender Score Certified.

O cumprimento com os estândares da ESOMAR e a Declaração de Proteção da Privacidade On-line das

Crianças (COPPA) estão garantidos porque não coletamos informação de crianças, e as pesquisas realizadas
aos filhos dos entrevistadores somente são feitas através de seus pais.

A Livra e alguns de seus integrantes também estão filiados a organizações profissionais de pesquisa de
mercado, tais como ESOMAR e SAIMO (Sociedad Argentina de Investigadores de Marketing y Opinión –
Sociedade Argentina de Pesquisadores de Marketing e Opinião).

25- Por favor, descrevam as medidas que tomam para assegurar a proteção da informação e a
segurança da informação.

Resposta: O fornecedor de amostra usualmente armazena informação sensível e confidencial nas bases de
dados de clientes e entrevistadores. Esta informação precisa ser protegida de forma apropriada e deve ter
uma cópia de segurança, assim como toda a informação fornecida pelo cliente. O fornecedor de amostra
deveria ser capaz de informar a última data, na qual sua segurança foi avaliada por um terceiro confiável.

A Livra aplica processos estritos de proteção da informação e segurança para proteger tanto a informação
dos clientes quanto a dos entrevistadores. Nossas medidas de segurança são encontradas em duas
categorias amplas: Segurança Física e Segurança Lógica. Estas práticas são aplicadas em todos os data
centers da Livra e nos fornecedores de servidores.

As medidas de Segurança Física incluem:

 Guardas de segurança de nossos fornecedores de servidores durante 24hs.
 Guardas Noturnas de nossos Data Centers; a vigilância pode ser até 24hs.
 Registro de entrada obrigatório para todos os membros.
 Permissão de acesso ao data center somente para pessoal autorizado. Todos os fornecedores
externos são escoltados quando visitam o edifício.
 Armadilha para homens em nosso fornecedor de servidores.
 As paredes do Data center se estendem até o teto.

Respostas sobre o Painel da Livra

28 perguntas da ESOMAR para ajudar compradores de amostras on-line 17
 Sistema de monitoramento de alarme.
 Circuito fechado de TV em nosso fornecedor de servidores.

 Sistema de extinção de incêndio.

 Declaração de cumprimento de Auditorias Estándar: SAS 70 Type II Certificação de nossos

fornecedores de servidores.

As medidas de Segurança Lógica incluem:

 Firewalls com DMZ.
 IDS Monitoreado.

 Processo de Manuseio de Câmbios.

 Segregação de funções.

 Controle de acesso (Pedido / Autorização / Verificação / Terminação).

 Auditoria de Contas programada.
 Política de senhas.
 Acesso restringido ao administrador de domínios – somente com identificação.

 Contas genéricas não permitidas – somente com identificação.

 Controle lógico: Todos os direitos aos diretórios são mantidos ao nivel do grupo para dar
confidencialidade de nossos numerosos clientes.
 Políticas e procedimentos Anti-Virus.
 Utilização de SSL é uma prática estândar para olhar sites web de pesquisas.
 Utilização de SSL é uma prática estândar para olhar Relatórios de Pesquisas Web.

 Programa de Conscientização sobre Segurança da Informação.

 Análises programadas regularmente para avaliar a vulnerabilidade das redes.

 Análises programadas regularmente para avaliar a vulnerabilidade das aplicações.

 Política de Servidores e PC hardening .

 Política de Retenção / Destruição de informação

 Política de Back-up (cópia de segurança).
 Plano de Recuperação de Desastres

Respostas sobre o Painel da Livra

28 perguntas da ESOMAR para ajudar compradores de amostras on-line 18
 26- Que práticas seguem para decidir se deve ser usada pesquisa on-line para apresentar informação
comercial de clientes ou materiais sensíveis aos entrevistados?

Resposta: Não há métodos infalíveis para proteger áudios, vídeos, imagens estáticas ou descrição de
conceitos em pesquisas on-line. Considerando o contexto atual das redes sociais, os clientes deveriam ser
conscientes que a combinação de soluções tecnológicas e acordos de confidencialidade dos entrevistados
são “valas” que mitigam, mas não garantem que o estímulo de um cliente não será compartilhado ou
descrito em uma rede social.

Basicamente esta é una decisão que cada cliente deve tomar. Quando você expõe produtos visuais,
descrições ou ideias novas para o mundo, para um grupo de pessoas para obter sua opinão, você encontra
necessariamente ante a pequena chance de que elas vão agir com essa informação de maneira
independiente, uma vez que a pesquisa acabe. Nesses casos, nós pedimos aos entrevistados que deem um
acordo formal a uma declaração de privacidade, e podemos implementar algumas restrições técnicas, tais
como desabilitar a opção de “Copiar” no entorno e a função “Salvar” do mouse em telas particularmente
sensíveis.

Se o material é particularmente sensível, provavelmente sugiramos usar uma metodologia de pesquisa

alternativa. O grau de risco é mais baixo em situações onde controlamos o ambiente, no qual o entrevistado
responde à pesquisa, tais como em sua casa, interceptados em uma loja, ou em um lugar central de testes
em uma instalação de pesquisa controlada. Mas, realmente, não há uma metodologia que garanta total
segurança dos estímulos, seja em um ambiente on-line e off-line, e por isso fazemos que os clientes sejam
conscientes que a exposição de informação patenteada aos entrevistados põe, de certo modo, essa
informação em domínio público.

27- Estão certificados com algum sistema de qualidade específico? Caso afirmativo, qual?

Resposta: Estar certificado pode requerer que o fornecedor realize atividades de uma forma pré-
determinada e documente processos que deveriam ser seguidos.

A Livra tem todos os processos relacionados aos processos de pesquisas e amostragens documentados. Estes
procedimentos são seguidos estritamente. Os funcionários recebem treinamento quando novos
procedimentos são desenvolvidos, ou quando os existentes são melhorados. A Livra está certificada em
conformidade com ISO 20252, a norma de Pesquisa de Mercado, desde 2013

28- Acompanham pesquisas on-line com crianças e jovens? Caso afirmativo, aderem à norma que
ESOMAR provê? Que outras normas, por exemplo COPPA nos Estados Unidos, obedecem?

Resposta: O código Internacional ICC/ESOMAR requer permissões especiais para entrevistar crianças. Isso
está descrito no Guia de Pautas de Pesquisa On-line da ESOMAR. Nos USA os entrenvistadores devem aderir
aos requerimentos da Declaração de Proteção da Privacidade On-line das Crianças (COPPA). Mais informação
sobre legislação, códigos e práticas pode ser encontrada na seção 6 do guia de pautas da ESOMAR.

O cumprimento com a Declaração de Proteção da Privacidade On-line das Crianças (COPPA) está garantido
porque não armazenamos informação de crianças e as pesquisas feitas a filhos de entrevistadores somente
são realizadas através de seus pais.

Respostas sobre o Painel da Livra

28 perguntas da ESOMAR para ajudar compradores de amostras on-line 19