O que definir antes de criar um questionário: 8 decisões

Antes de criar um questionário, você precisa tomar oito decisões, nesta ordem: o que precisa saber e o que vai entrar no relatório; se vai perguntar a todos ou a uma amostra; se as pessoas conseguem responder; como vai chegar até elas; o que elas ganham ao participar; a ordem das perguntas; a duração; e como vai testar o questionário. Cada decisão evita um erro comum, e a maioria desses erros não tem conserto depois que as respostas chegam. Este guia é para quem monta a própria pesquisa.

Principais pontos

  • Antes de escrever qualquer pergunta, anote a decisão que a pesquisa vai apoiar e a linha do relatório que cada pergunta vai alimentar.
  • O tamanho da amostra só indica a precisão de uma amostra aleatória; quem responde a um link aberto escolheu participar por conta própria.
  • Nenhum canal torna uma pesquisa anônima: diga quem vai ver as respostas individuais e que os resultados só são divulgados de forma agregada.
  • Comece com perguntas fáceis sobre o tema e deixe as perguntas demográficas para o final.
  • Faça um pré-teste com algumas pessoas parecidas com os seus respondentes e anote quanto tempo elas levaram.

1. Defina o que você precisa saber e o que vai relatar

Escreva uma frase que diga qual decisão a pesquisa vai apoiar e quem vai tomá-la. “Saber o que os funcionários acham” não é uma decisão; “decidir se a empresa muda o horário de expediente em janeiro” é.

Depois, liste as informações de que essa decisão precisa e, ao lado de cada uma, a frase ou a tabela que ela vai gerar no relatório: “x% dos funcionários preferem o novo horário”, “por departamento”. A pergunta que não alimenta nenhuma linha do relatório fica de fora desde já.

Decida também quais grupos você vai comparar: departamentos, lojas, faixas etárias. No Survey.com.br, a “Tabulação cruzada” só cruza perguntas de escolha (“Somente uma resposta”, “Respostas múltiplas”, “Lista suspensa” e as perguntas de imagem); por isso, pergunte a qual grupo a pessoa pertence com opções para marcar, não num campo de texto. Veja como planejar o relatório e o tipo de cada pergunta antes de escrevê-la.

2. Quem consultar: todos ou uma amostra

Defina o grupo que os resultados precisam descrever, quem entra e quem fica de fora, e então escolha:

A AAPOR, a associação americana de pesquisa de opinião pública, publica estas margens de erro, arredondadas aqui, para uma amostra aleatória de um grupo grande, com 95% de confiança e respostas divididas meio a meio:

Número de respostas Margem de erro, em pontos percentuais
100 cerca de ±10
400 cerca de ±5
1.000 cerca de ±3

Quando o grupo é muitas vezes maior que a amostra, como a população de um país ou de uma cidade, o tamanho do grupo pouco muda esses números; para reduzir a margem à metade, você precisa de cerca de quatro vezes mais respondentes. Mais respostas, porém, não reduzem o viés: veja o que mais respostas corrigem e o que não corrigem.

A maioria das pesquisas por link é um terceiro caso: quem responde a um link publicado num site ou numa rede social escolheu participar por conta própria. Nenhuma margem de erro se aplica, e as respostas sozinhas não mostram o quanto se afastam da realidade. Já uma pesquisa representativa dos engenheiros eletricistas do país exige uma lista de todos eles para sortear; sem essa lista, diga no relatório a quem você chegou.

Igualar algumas proporções às da população, como a de mulheres, não resolve: o Statistics Canada, o órgão oficial de estatística do Canadá, alerta que isso pode esconder o viés de seleção. As proporções conhecidas servem para conferir depois: compare quem respondeu com quem faz parte do grupo. Veja também como encontrar os respondentes certos.

3. Verifique se as pessoas conseguem e querem responder

Elas conseguem responder? Pergunte a quem tem a informação: funcionários questionados sobre as cláusulas do contrato com um fornecedor só podem chutar. O Statistics Canada acrescenta que as primeiras perguntas devem deixar o respondente seguro de que consegue responder às demais.

E vão responder com sinceridade? Um tema sensível, como salário, saúde ou a conduta de um gestor, não é motivo para desistir da pesquisa: sem um entrevistador, as pessoas dão menos respostas escolhidas só para causar boa impressão, e uma redação cuidadosa e uma frase clara sobre quem vê as respostas fazem o resto. Só quando o grupo é tão pequeno que uma resposta apontaria para uma pessoa vale usar outro canal em vez da pesquisa.

4. Como alcançar as pessoas e o que cada canal revela

Use uma lista quando tiver uma e acrescente canais abertos só para quem ela não alcança: é o canal que decide quem responde. No Survey.com.br, os canais ficam na aba “Distribuir” do questionário:

Nenhum canal torna as respostas anônimas. Um link geral não leva o nome de ninguém, mas um grupo pequeno, um comentário escrito, um campo de contato ou uma combinação de respostas (departamento e faixa etária, por exemplo) pode apontar para uma pessoa, e o Survey.com.br guarda com cada resposta o tempo que a pessoa levou, o aparelho, o navegador, o país (quando é possível identificá-lo) e o site de onde ela veio. Por isso, não prometa anonimato. Diga aos respondentes quem vai ver as respostas individuais e que os resultados só são divulgados de forma agregada, para grupos de pelo menos 10 pessoas. O Survey.com.br não impõe esse mínimo: confira a contagem de cada grupo antes de mostrar um recorte.

5. Diga aos participantes o que ganham ao responder

Diga numa frase concreta, no convite e na introdução, o que as respostas vão decidir: “se a empresa muda o horário de expediente em janeiro”, e não “melhorar nossos serviços”. Explique para que servem as respostas, nunca qual resposta você espera.

Numa revisão Cochrane de ensaios (Edwards e colegas, 2023), dinheiro e pequenos brindes aumentaram o número de respostas a questionários online, embora os resultados tenham variado muito. Só que mais respostas não são, necessariamente, respostas mais representativas. Se oferecer um incentivo, diga o que é, quem recebe e quando; sorteios podem ter regras próprias, então confira as que valem para o seu caso. O Survey.com.br não envia nenhuma mensagem ao respondente quando ele termina e não faz sorteios: é você quem entrega o incentivo. Peça o e-mail numa pergunta opcional na última página, para que a pessoa possa responder sem pedir o incentivo, e avise que o endereço fica guardado junto com as respostas e só serve para a entrega. Veja também mais formas de fazer os convidados responderem.

6. A ordem das perguntas

Comece com perguntas simples sobre o tema da pesquisa, que o respondente ache fáceis e interessantes; vá do geral para o específico; e deixe as perguntas demográficas (idade, gênero, cidade onde mora) para o final, a não ser que uma delas decida quem continua, como faz uma pergunta de filtro. O Pew Research Center e o Statistics Canada dão o mesmo conselho.

O motivo: uma pergunta anterior dá contexto às seguintes e pode mudar as respostas delas. Por isso, a pergunta que você vai repetir em outras rodadas fica sempre no mesmo lugar.

Abra o questionário com uma introdução curta na primeira tela, dizendo quem está perguntando, para que servem as respostas, quanto tempo leva e quem vai ver as respostas, e termine com um agradecimento. Para o texto, veja o que dizer na introdução do questionário.

7. Questionário curto, tempo medido no pré-teste

Corte o que não alimenta nenhuma linha do relatório: nos ensaios com questionários online da revisão Cochrane, os mais curtos receberam mais respostas, embora os resultados tenham variado muito.

Um questionário longo pesa de dois jeitos: quanto maior o tempo anunciado, menos gente começa e termina, e as respostas do fim ficam mais rápidas, mais curtas e mais parecidas entre si (Galesic e Bosnjak, 2009). As perguntas abertas são as que mais pesam. Em mais de 40 pesquisas do American Trends Panel, o painel online probabilístico do Pew Research Center, de setembro de 2018 a julho de 2021, cerca de 18% dos respondentes, em média, deixaram em branco uma pergunta aberta, contra 1% a 2% nas perguntas fechadas.

Nenhuma regra confiável diz quantas perguntas cabem num minuto. Meça o tempo no pré-teste, informe esse tempo no convite e na introdução e, se ele parecer longo, encurte o questionário, não o tempo anunciado.

8. Faça um pré-teste com poucas pessoas antes de enviar

Antes do envio, peça a algumas pessoas parecidas com os seus respondentes que preencham o questionário: clientes, numa pesquisa com clientes, e não só colegas, que acham os erros de digitação, mas não o que um cliente entende errado. Esse pré-teste com poucas pessoas, que confere se as perguntas estão claras e quanto tempo levam, é uma etapa padrão da elaboração de questionários para a AAPOR, o Pew Research Center e o Statistics Canada.

Observe onde as pessoas hesitam, o que acham confuso ou constrangedor, que pergunta as faz parar para pensar, se sabem o que se espera delas e se a opinião delas cabe em alguma das respostas oferecidas.

No Survey.com.br, a “Visão prévia” mostra o questionário como o respondente vai vê-lo, mas não aceita respostas. Para medir o tempo, coloque o questionário no status “Ativo”, envie o link a quem vai testar e veja o “Tempo de resposta” de cada teste em “Respostas individuais”. Depois, abra os resultados e tente escrever as frases do relatório que você planejou: uma frase que não dá para escrever indica uma pergunta a mudar. Antes do envio de verdade, exclua as respostas de teste em “Respostas individuais”, porque, enquanto não forem excluídas, elas contam junto com as reais, inclusive para o limite de respostas do questionário. A exclusão é definitiva. Teste também no celular: veja o que faz um questionário funcionar no celular.

Conclusão

Preparar um questionário exige oito decisões, do plano do relatório ao pré-teste. As duas que mais custam quando ficam de fora são justamente essas: o plano do relatório dá um propósito a cada pergunta, e o pré-teste mostra o que você não enxerga no próprio rascunho. Seja qual for o canal, não prometa anonimato: diga quem vai ver as respostas.

Para não começar do zero, veja os modelos de pesquisa por tema e adapte as perguntas à sua lista de decisões.

Modelos de pesquisa e exemplos prontos por tema

Escolha a área da sua pesquisa, abra um modelo e adapte as perguntas à lista de decisões que você escreveu.

Ver os modelos

Leia também