Como elaborar um questionário para análise de dados

Para saber como elaborar um questionário para análise de dados, comece pelo fim: decida que número cada pergunta precisa gerar antes de escrevê-la. O tipo da pergunta define o gráfico que você pode montar e o número que vai apresentar. Com uma resposta por pessoa, você obtém partes de um todo que somam 100%. Com várias respostas por pessoa, obtém percentuais de respondentes cuja soma passa de 100%. Uma escala de avaliação mostra como as respostas se distribuem ao longo de uma escala ordenada. Uma pergunta aberta gera texto, que precisa ser codificado antes de ser contado. Este guia é para quem monta questionários numa ferramenta online. Ele liga cada tipo de pergunta ao seu gráfico e ao seu número principal, mostra os erros que estragam cada um e explica o que a tela de resultados vai mostrar.

Principais pontos

• Uma resposta por pessoa gera percentuais que somam 100%. Use barras, ou pizza só com até cinco fatias e uma claramente maior.
• Numa pergunta do tipo “marque todas que se aplicam”, apresente cada opção como percentual de respondentes, mesmo que as barras somem mais de 100%. Nesse tipo, a coluna de % da ferramenta é calculada sobre o total de caixas marcadas, não sobre o número de pessoas.
• Uma pergunta de avaliação isolada não é uma escala Likert. Use de 5 a 7 pontos, uma palavra em cada ponto e um ponto neutro nas escalas bipolares, e apresente a distribuição completa.
• Respostas abertas podem ser contadas depois de codificadas por tema, mas isso toma tempo.

Comece pelo número que você vai apresentar

Antes de escrever uma pergunta, escreva a frase que ela vai gerar no relatório (“X% dos clientes…”, “os três motivos mais citados são…”), o gráfico de que ela precisa e os grupos que você vai comparar. Se não conseguir escrever essa frase, a pergunta não é necessária ou ainda não está clara. Se o objetivo do questionário inteiro ainda estiver vago, veja primeiro o que definir antes de criar o questionário.

Por exemplo, para saber se os clientes preferem receber em casa ou retirar na loja, a frase principal poderia ser “58% preferem retirar na loja” (todos os números dos exemplos são fictícios). Isso pede uma pergunta de resposta única com duas opções, mais “Tanto faz”, apresentada num gráfico de barras.

Depois, liste os grupos que você vai comparar, como clientes novos e antigos, e estime quantas respostas cada um vai ter. Um percentual calculado sobre poucas dezenas de respostas muda vários pontos percentuais a cada respondente a mais: com 30 respostas, cada pessoa vale cerca de 3 pontos. A ferramenta também não testa se a diferença entre dois grupos é real. Coloque a base (n, o número de pessoas que responderam) embaixo de cada gráfico.

Tipo de pergunta, gráfico e número principal: o mapa

Procure na primeira coluna o número que você quer e leia a linha inteira. Os tipos de perguntas aparecem com o nome que o editor de questionários usa.

Os resultados ficam em cinco abas: “Resumo”, “Análise”, “Tabulação cruzada”, “Respostas individuais” e “Gerenciar filtros”. Na aba “Análise”, cada pergunta de escolha ganha uma tabela com contagem e percentual e um gráfico de barras com as contagens, que a opção “Alterar o tipo de gráfico” transforma em pizza. O que a tela não calcula sai de uma exportação: as duas abas, “Análise” e “Respostas individuais”, têm um botão para exportar (o arquivo do Excel de “Respostas individuais” chega por e-mail).

Uma resposta por pessoa: percentuais que somam 100%

Quando cada pessoa dá uma única resposta, os percentuais somam 100% de quem respondeu. Duas regras para as opções e uma para o gráfico mantêm esses percentuais honestos. Se você ainda está escolhendo entre pergunta fechada e aberta, veja quando usar perguntas objetivas ou discursivas.

Opções sem sobreposição e sem lacunas

Cada respondente precisa encontrar exatamente uma opção que sirva para ele. Uma lista de estado civil com “casado”, “solteiro” e “divorciado” deixa de fora quem é viúvo ou mora junto com alguém: use as categorias do IBGE e ative “Mostrar a opção Outros” para oferecer a resposta “Outros (especifique)”.

Faixas de idade de 20 a 30 e de 30 a 40 colocam quem tem 30 anos em duas faixas, e sem uma faixa “menos de 20” os mais jovens ficam sem opção. Escreva menos de 20, 20 a 29, 30 a 39 e assim por diante. Mantenha as faixas do meio com a mesma largura e reaproveite as faixas etárias do IBGE ou da sua última pesquisa, para poder comparar; uma faixa aberta no começo ou no fim, como “65 anos ou mais”, é normal. Dividir os meses em três períodos, de janeiro a fevereiro, de março a junho e de agosto a novembro, cria períodos desiguais e deixa julho e dezembro de fora; use quatro períodos de três meses, seis de dois ou três de quatro. Para redigir a lista em si, veja como criar perguntas de múltipla escolha.

Gráfico de pizza ou de barras

O gráfico de pizza só funciona com até cinco partes e uma claramente maior, desenhado sem 3D, com o percentual em cada fatia e a maior primeiro. Nos outros casos, use barras, como recomenda o guia Data visualisation: charts (2022) do Analysis Function, a rede de análise de dados do governo britânico. Ordene as barras por tamanho, a não ser que as categorias tenham uma ordem natural, como faixas de idade e meses: nesse caso, mantenha essa ordem.

Depois, informe a base. A linha “Total” embaixo de cada tabela da aba “Análise” é o número de pessoas que escolheram alguma opção, incluindo as “Outras respostas”. Compare esse número com o total de respostas da aba “Resumo” e informe os dois, como em “58% dos 212 que responderam”. Não existe barra para quem pulou a pergunta; se precisar dela, monte-a a partir da exportação.

Várias respostas por pessoa: percentual de respondentes

Quando a pessoa pode marcar várias opções, apresente cada uma como percentual das pessoas que responderam à pergunta, com as barras ordenadas por tamanho. A soma pode passar de 100%, e não há nada de errado nisso.

O formato da pergunta também mexe nos números. Num experimento do Pew Research Center com 4.581 adultos americanos (dados coletados em 2018 e publicados em 2019), perguntar sim ou não para cada item deu números mais altos que a lista “marque todas que se aplicam” em todos os doze itens, 8 pontos percentuais a mais em média, e a ordem dos itens por tamanho ficou quase igual. O Pew passou a usar o formato sim ou não, que faz a pessoa considerar cada item. O Pew considera os números mais altos mais próximos da realidade, mas essa avaliação supõe que as pessoas tendem a deixar de marcar o que se aplica a elas, e não a marcar o que não se aplica; por isso, diga no relatório qual formato você usou. Se o nível importa, pergunte sim ou não para cada item; se só a ordem importa, a lista basta. Repare também no que cada caixa marcada conta: “Em quais meses você visitou a nossa loja?” conta pessoas por mês, não visitas.

A coluna de % da ferramenta não é o percentual de respondentes. Nas perguntas “Respostas múltiplas” e de imagem “Selecione vários”, ela mostra a participação de cada opção no total de caixas marcadas, “Outras respostas” incluídas, e por isso soma 100%. Suponha que 100 pessoas respondam e marquem 150 caixas no total, 62 delas em “E-mail”: a tela mostra o e-mail com cerca de 41%, mas 62% dos respondentes usam e-mail. Divida a contagem de cada opção pelo número de pessoas que responderam à pergunta, que você obtém na exportação de “Respostas individuais”.

Duas configurações mudam a própria pergunta. Exigir que a pessoa marque pelo menos duas caixas a obriga a marcar opções que não escolheria. O “Número máximo de caixas a serem selecionadas” (“escolha até três”) transforma “quais se aplicam” em “quais importam mais”, ou seja, numa pergunta de prioridade. Use-as só quando essa for a pergunta que você quer fazer.

Escalas de avaliação e escala Likert: qual escala dá o resultado de que você precisa

Uma escala Likert é um conjunto de afirmações respondidas na mesma escala de concordância e combinadas numa pontuação única; uma pergunta isolada do tipo “dê uma nota de 1 a 5” é uma pergunta de avaliação, apresentada pela distribuição das respostas. O elemento “Escala Likert” da ferramenta é uma avaliação desse segundo tipo: uma única escala de 2 a 10 pontos, com palavras só nas duas pontas, que mostra a contagem e o percentual de cada ponto.

Escala de um lado ou de dois

Uma escala bipolar, de dois lados (de “muito insatisfeito” a “muito satisfeito”), precisa de um ponto neutro e do mesmo número de pontos de cada lado. Uma escala unipolar, de um lado só (de “nada importante” a “extremamente importante”), não tem meio e costuma funcionar bem com cinco pontos.

Quantos pontos

De 5 a 7 pontos é a escolha segura. Na revisão de Krosnick e Presser (2010), a confiabilidade aumenta quando a escala passa de 2 para 5 pontos, os ganhos acima de 7 são mínimos e fica mais difícil pôr uma palavra em cada ponto depois de 7; as escalas de 3 pontos são as que se saem pior. Ainda assim, as evidências não apontam todas na mesma direção: Maitland (Survey Practice, 2009) relata um estudo grande em que escalas curtas se saíram bem e também um argumento a favor de escalas de até 11 pontos com rótulo só nas pontas. Por isso, uma escala de 0 a 10 é defensável quando você precisa dela, por exemplo para comparar com uma série histórica.

Um rótulo em cada ponto

Uma palavra em cada ponto deixa as respostas mais confiáveis, e essas palavras devem dividir a escala em passos mais ou menos iguais. O elemento “Escala Likert” só rotula as pontas; para rotular todos os pontos, use “Somente uma resposta” com uma opção por ponto ou “Uma resposta por linha” com uma coluna rotulada para cada ponto.

O ponto neutro

Na escala bipolar, mantenha o ponto neutro. Krosnick e Presser relatam evidências (O’Muircheartaigh, Krosnick e Helic, 1999) de que o ponto do meio melhora a confiabilidade e a validade, e de que quem está de fato no meio, sem ele, escolhe um ponto vizinho ao acaso; quanto ao receio de que ele atraia respostas preguiçosas, as evidências se dividem. Só tire o ponto neutro quando a pergunta for uma decisão que precisa cair de um dos lados, e diga isso no relatório.

Frases de concordo e discordo

Afirmações com “concordo” e “discordo” levam as pessoas a concordar seja qual for o conteúdo, o chamado viés de aquiescência. Uma pergunta direta com respostas rotuladas (“Qual é o seu nível de satisfação com a entrega?”) ou a escolha entre duas afirmações opostas reduz essa tendência a concordar.

Como apresentar uma avaliação

Mostre a distribuição completa em colunas, na ordem da escala e não em pizza, com uma frase principal como “71% estão satisfeitos ou muito satisfeitos”. Juntar pontos joga informação fora: num estudo citado por Krosnick e Presser, a confiabilidade era de 0,83 numa avaliação de 6 pontos e caía para 0,71 quando as respostas eram reagrupadas em duas categorias. Guarde a tabela completa e ponha a distribuição ao lado de qualquer média. “Classificação por estrelas” e “Deslizador” mostram só a média de cada item, sem a distribuição na tela; a distribuição sai da exportação.

Como transformar respostas abertas em números

Respostas abertas viram números pela codificação: leia parte das respostas, escreva uma lista curta de temas, atribua cada resposta a um ou mais temas e conte. Quando duas pessoas codificam as mesmas respostas e comparam o resultado, a contagem fica mais confiável. A frase principal passa a ser algo como “28% citam o preço”, num gráfico de barras com os temas.

Codificar toma tempo, e as pessoas pulam as perguntas abertas com muito mais frequência. No American Trends Panel, o painel online do Pew Research Center, as perguntas abertas aplicadas de 2018 a 2021 ficaram em branco para cerca de 18% dos respondentes em média (de 3% a pouco mais de 50%, conforme a pergunta), contra 1% a 2% nas perguntas fechadas. Use poucas perguntas abertas e guarde-as para os motivos nas palavras do próprio respondente. Num pré-teste, uma pergunta aberta também ajuda a descobrir as opções de uma pergunta fechada. Para comparar os dois formatos, veja os prós e contras das perguntas abertas.

A aba “Análise” lista as respostas abertas uma a uma, com a data, sem agrupar nem contar nada. Exporte-as pela aba “Respostas individuais” e codifique-as numa planilha.

Respostas obrigatórias e “não sei”: proteja a base

Torne uma pergunta obrigatória só quando todos os respondentes puderem de fato respondê-la, como uma pergunta de triagem que a lógica de ramificação usa para levar a pessoa direto às páginas que se aplicam a ela. Fora isso, a resposta forçada vira um chute, e a AAPOR, associação americana de pesquisa de opinião pública, alerta, nas suas boas práticas, que exigir respostas aumenta o risco de a pessoa abandonar o questionário no meio.

• A pergunta pode não se aplicar a todos (você usou o serviço?): inclua “Não se aplica” ou “Não tenho certeza”.
• Avaliação de opinião ou de satisfação: não inclua um ponto “Sem opinião”. Krosnick e Presser relatam que as pessoas o escolhem mesmo quando têm opinião, e a qualidade dos dados cai. Deixe a avaliação opcional.
• Pergunta sensível: deixe a pessoa pular a pergunta ou escolher “Prefiro não responder”.

Informe quantas pessoas responderam a cada pergunta: respostas que faltam podem distorcer o resultado, como explica o guia sobre o viés de não resposta. A “Resposta necessária” é definida pergunta por pergunta e vem desligada; uma pergunta obrigatória que a lógica esconde não bloqueia o envio do questionário.

Teste a análise antes de enviar o questionário

Responda ao rascunho você mesmo, com respostas extremas, e peça a alguns colegas que respondam também. Depois abra a tela de resultados e escreva as frases do relatório com o que você vê: é o jeito mais barato de aprender análise de pesquisa na prática. Se não conseguir escrever alguma frase, mude a pergunta agora. O Statistics Canada, o instituto de estatística do Canadá, observa que um pré-teste com pouquíssimas pessoas já encontra a maior parte dos problemas de redação e de sequência. Antes de lançar, exclua as respostas de teste na aba “Respostas individuais” (a exclusão é definitiva). Veja também como testar o questionário antes de enviar e as regras para formular cada pergunta.

A ordem das perguntas

Uma pergunta feita antes pode mudar as respostas a uma pergunta seguinte. Por isso, vá do geral para o específico e mantenha no mesmo lugar, em todas as rodadas, qualquer pergunta que você acompanha ao longo do tempo. Comece com perguntas fáceis sobre o tema e deixe as perguntas de perfil (idade, região, renda) para o fim, a não ser que uma delas defina quem continua respondendo.

Conclusão

Um questionário pensado para a análise começa pelo relatório: escreva primeiro a frase e o gráfico de cada pergunta e só depois escolha o tipo que os produz. Não misture os quatro tipos de resultado (partes de um todo, percentuais de respondentes, uma distribuição, temas codificados) e, antes de lançar, confira se a tela de resultados permite escrever cada frase. Anote o que vai precisar sair da exportação, como o percentual de respondentes em “Respostas múltiplas” ou a distribuição por trás da média do “Deslizador”.

Para praticar, abra o modelo de pesquisa de avaliação de produto ou serviço, que traz perguntas de múltipla escolha, uma matriz e uma pergunta aberta. Escreva uma frase de relatório para cada pergunta e corrija, antes de enviar, a que não conseguir gerar o seu número.

Leia também

• Questionário para dispositivos móveis: o que os estudos mostram
• Como encontrar respondentes para uma pesquisa
• Erro amostral e viés: a diferença e como corrigir cada um