Viés de não resposta é a distorção que aparece quando as pessoas que deixam de responder a uma pesquisa são diferentes das que respondem justamente naquilo que a pesquisa mede. Ter poucas respostas, por si só, não causa esse viés. Quando pouca gente responde, o risco aumenta, mas isso não prova que os resultados estão errados; e quando muita gente responde, o viés não fica descartado. Este guia é para quem aplica pesquisas a uma lista de funcionários, clientes, associados ou alunos e precisa decidir quanto valem os resultados. Você vai ver por que as pessoas não respondem, cinco verificações para fazer com a sua lista e os seus resultados e o que fazer antes, durante e depois da pesquisa.
Principais pontos
- O viés de não resposta vem das diferenças entre quem responde e quem não responde, não do número pequeno de respostas.
- Pouca participação é um sinal de alerta, não uma prova. Mais respostas das mesmas pessoas dispostas a responder estreitam a margem de erro, mas o viés continua lá.
- Dá para verificar: compare quem respondeu com quem foi convidado, compare as respostas que chegaram cedo com as que chegaram tarde e pergunte a alguns não respondentes.
- Para reduzir o viés, faça uma pesquisa curta e relevante, mande lembrete só para quem ainda não respondeu e informe quantos responderam, deixando claros os limites desse número.
O que é viés de não resposta
Viés de não resposta é um erro sistemático que surge quando quem não responde difere de quem responde naquilo que a pesquisa mede; por isso, os resultados calculados só com os respondentes pendem para um lado. Em textos de estatística, inclusive do IBGE, o mesmo problema aparece com o nome de erro de não resposta.
O tamanho do viés depende de duas coisas: quantas pessoas faltam e o quanto elas são diferentes. Se quem deixou de responder pensa como quem respondeu, o resultado não fica enviesado, por maior que seja o número de ausentes. Se pensa diferente, mesmo uma fração pequena de ausentes já desloca o resultado.
Pense numa pesquisa de clima. Se os funcionários mais velhos respondem menos, o resultado pende para a visão dos mais jovens. Esse caso aparece nos dados, porque você conhece a faixa etária de todos, e dá para corrigi-lo. O caso difícil é quando a pessoa deixa de responder por causa da resposta que daria: se quem está insatisfeito com o gestor ignora a pesquisa, a satisfação parece maior do que é, e nada nos seus dados mostra isso.
O viés de não resposta diz respeito a quem responde. O viés de resposta diz respeito a se as respostas estão corretas.
| Viés de não resposta | Viés de resposta (e outros erros de medida) | |
|---|---|---|
| O que dá errado | Quem responde não se parece com quem não responde | As respostas dadas se desviam sempre para o mesmo lado |
| Causas típicas | A pessoa não recebeu o convite, recusou ou não conseguiu responder | Respostas socialmente desejáveis, tendência a concordar, memória falha, a redação da pergunta ou o jeito de o entrevistador perguntar |
| Como detectar | Comparar os respondentes com a lista de convidados; ouvir alguns não respondentes | Fazer um pré-teste das perguntas; comparar formulações diferentes |
O viés do entrevistador, quando quem faz as perguntas influencia as respostas, fica na segunda coluna.
Não resposta total e não resposta parcial
Há não resposta total quando a pessoa convidada não responde nada. Há não resposta parcial quando o respondente pula algumas perguntas.
No painel online do Pew Research Center, nos Estados Unidos, cerca de 1% a 2% dos respondentes pulam uma pergunta fechada típica; nas perguntas abertas, a média fica em torno de 18%, variando de 3% a pouco mais de 50% conforme a pergunta (Pew Research Center, 2021). As pessoas pulam mais perguntas quando respondem pelo celular e quando a pergunta exige mais reflexão. Os participantes do painel respondem pesquisas com frequência; numa pesquisa avulsa, trate esses números como um piso.
Uma pergunta obrigatória não pode ser pulada, e aí a não resposta aparece de outro jeito: a pessoa abandona o questionário ou marca qualquer opção. Faça as perguntas mais importantes em formato fechado e use poucas perguntas abertas, sempre opcionais (veja os prós e contras das perguntas abertas e de múltipla escolha).
Taxa de resposta baixa é um alerta, não prova de viés
A taxa de resposta, sozinha, não diz se os resultados têm viés. O estudo de 2017 do Pew Research Center, somado a pesquisas anteriores, sugere que ela é um indicador pouco confiável de viés (Pew Research Center, 2017).
Nos Estados Unidos, a taxa de resposta das pesquisas telefônicas do Pew caiu de 36% em 1997 para 9% em 2012. Mesmo assim, a pesquisa de 2012 ficou em linha com as referências oficiais do governo na maioria dos indicadores, e uma versão feita com muito mais esforço, com taxa de 22%, ficou a dois pontos percentuais ou menos da pesquisa padrão em 28 de 40 indicadores (Pew Research Center, 2012). Nos temas que influenciam a própria disposição de responder, porém, o viés foi grande. Em 2012, 55% dos respondentes disseram ter feito trabalho voluntário, contra 27% na Current Population Survey, uma pesquisa oficial do governo americano; em 2017, 46% disseram ter feito algum trabalho em conjunto com os vizinhos, contra 8% na mesma referência. Quem faz trabalho voluntário também se dispõe mais a responder pesquisas.
Há uma condição por trás desse resultado: o Pew pondera as pesquisas para que idade, sexo, escolaridade, raça e região fiquem iguais às da população, e a conclusão vale depois desse ajuste. Uma pesquisa enviada a uma lista de funcionários ou clientes em geral não passa por ponderação, então essa comparação fica por sua conta (verificação 1, mais abaixo).
Um exemplo mostra por que o número de respostas não decide a questão. Você convida 200 pessoas de um grupo de 20.000 e recebe de 50 a 60 respostas. Se essas respostas fossem uma amostra aleatória, a margem de erro ficaria em torno de ±13 pontos percentuais, com 95% de confiança, numa pergunta que divide as opiniões meio a meio: ampla, mas útil para enxergar diferenças grandes. O tamanho do grupo quase não importa quando ele passa dos milhares: 377 respostas dão cerca de ±5 pontos tanto para 20.000 pessoas quanto para 2 milhões. A pergunta que importa é se as 50 a 60 pessoas que responderam se parecem com as cerca de 140 que não responderam. Convidar 600 para conseguir 180 respostas do mesmo tipo de gente estreita a margem de erro, não o viés (veja por que mais respostas reduzem o erro amostral, mas não o viés).
Por que as pessoas não respondem a uma pesquisa
Quem não responde se divide em três grupos, e cada um pede uma solução diferente.
| Grupo | Motivos típicos | O que fazer |
|---|---|---|
| Não recebeu o convite | O e-mail caiu no spam, o endereço não existe mais, a pessoa nunca viu a mensagem | Revisar a lista antes de enviar |
| Recebeu, mas não quis | Falta de tempo, esquecimento, tema que parece não ter a ver com ela, questionário com cara de longo, desconfiança sobre o uso das respostas, perguntas delicadas | Fazer uma pesquisa curta e relevante, dizer quem vê as respostas e mandar lembrete a quem não respondeu |
| Não conseguiu responder | Idioma, deficiência, problema de aparelho ou de conexão, instruções confusas | Usar linguagem simples e instruções claras e testar o questionário no celular antes do envio |
Um caso nem chega a ser não resposta. Se a sua lista está incompleta ou desatualizada, parte das pessoas que deveriam participar nunca recebe o convite. Isso é um problema de cobertura: nenhum lembrete resolve, só a correção da lista.
Como verificar se os resultados têm viés de não resposta
Compare quem respondeu com quem você convidou. Se a composição bate em tudo o que você sabe, é um bom sinal, mas não uma prova. Quatro destas cinco verificações usam dados que você já tem; a quarta consiste em perguntar diretamente a alguns não respondentes.
1. Compare os respondentes com todos os convidados
Use o que você sabe sobre todos da lista: departamento, unidade ou região, tipo de cliente, faixa etária. Um grupo cuja participação foi a metade da dos outros está sub-representado nos resultados. Numa pesquisa de clima, por exemplo, o turno da noite pode ter respondido bem menos que o pessoal do escritório. No Survey.com.br, se a “Opção de rastreio de resposta” estiver ativada e a sua lista de e-mails trouxer um valor para cada endereço (o departamento, por exemplo), filtre os resultados com “O valor de email equivale a”. Se não, inclua uma pergunta demográfica e use a aba “Tabulação cruzada” para ver se as respostas principais mudam de um grupo para outro.
2. Compare a participação de cada grupo
Pouca participação em um grupo pesa mais do que pouca participação no total. Com a pesquisa em andamento e o rastreio de resposta ativado, o filtro “Todos que não responderam” na lista de destinatários mostra quem ainda falta. Olhe de novo depois de cada lembrete.
3. Compare as respostas que chegaram cedo com as que chegaram tarde
Numa pesquisa por e-mail, “tarde” quer dizer depois do lembrete. Quem só responde depois do lembrete costuma se parecer mais com quem nunca responde, embora nem sempre. Separe as respostas pela data do lembrete com o filtro de resultados “Questionário completado entre” (ele usa a data de início de cada resposta). Se os dois grupos diferem nas perguntas principais, desconfie de viés; é um indício, não uma prova.
4. Pergunte a algumas pessoas que não responderam
Faça uma ou duas das perguntas principais a um punhado de não respondentes, por telefone ou pessoalmente, com redação neutra. Só assim você descobre o que pensam os não respondentes; o órgão oficial de estatística da Austrália (ABS) observa que apenas dados dos próprios não respondentes resolvem a questão por completo. Quem aceita responder nessa hora é o não respondente mais disposto, então trate o resultado como uma indicação, não como um número exato.
5. Veja as perguntas puladas e onde as pessoas pararam
Uma pergunta que muita gente pula é não resposta parcial; a página em que as respostas incompletas param mostra onde as pessoas desistem. Para encontrar esses pontos, use o filtro “Incluir respostas incompletas” e a condição “não for respondida”.
Como reduzir o viés de não resposta antes e durante a pesquisa
Concentre o esforço nos grupos que estão faltando, não no total. Para outras ideias, veja como aumentar a taxa de resposta.
Uma revisão Cochrane de Edwards e colegas (2023; 758 ensaios randomizados, evidências até dezembro de 2021) mostra o que aumentou o número de respostas em pesquisas pela web e por e-mail:
| O que foi testado | Razão de chances | Solidez do resultado |
|---|---|---|
| Convite breve em vez de detalhado | 3,26 | Intervalo amplo (de 1,79 a 5,94) |
| Uma imagem no e-mail | 3,05 | Intervalo amplo (de 1,84 a 5,06) |
| Incentivo em dinheiro | 1,88 | Variou muito entre os estudos |
| Escolha da forma de responder, e não só por e-mail | 1,76 | Intervalo estreito (de 1,67 a 1,85) |
| Questionário mais curto | 1,51 | Variou muito entre os estudos |
| A palavra “survey” (pesquisa) no assunto do e-mail (menos respostas) | 0,81 | — |
Uma razão de chances (odds ratio) acima de 1 significa mais respostas; abaixo de 1, menos. Em cerca de metade das estratégias testadas, os resultados variaram muito de um estudo para outro.
Ter mais respostas não é o mesmo que ter menos viés. Um incentivo, como um vale-compras, atrai pessoas que não se interessam pelo tema. Isso reduz o viés quando são justamente elas que estão faltando, mas pode aumentar a diferença quando o incentivo atrai sobretudo os grupos que já estavam respondendo; por isso, faça a verificação 1 antes e depois. Prefira medidas que cheguem aos grupos ausentes: uma segunda forma de responder (papel, telefone ou pessoalmente), um lembrete enviado por alguém neutro em quem esse grupo confia (o RH ou um diretor que está à frente da pesquisa, nunca o gestor da equipe avaliada) e um horário que funcione para quem trabalha em turnos.
Mande lembrete só para quem ainda não respondeu. Nos ensaios da revisão com questionários enviados pelo correio, um lembrete por e-mail aumentou o número de respostas (razão de chances 1,60). No Survey.com.br, em “Enviar e-mail para destinatários que”, escolha “Não responderam ao convite por e-mail”. A ferramenta só sabe quem respondeu se a “Opção de rastreio de resposta” estiver ativada; por padrão, ela vem desativada. Com o rastreio ativado, “não respondeu” quer dizer que a pessoa não abriu a pesquisa pelo link do próprio convite: quem começou a responder e parou não entra no envio, e quem respondeu por outro link recebe o e-mail mesmo assim. Com o rastreio desativado, essa opção envia para todos da lista. Antes de enviar, veja quais grupos ainda estão faltando. Cada e-mail enviado conta para o limite mensal de convites por e-mail do seu plano.
Diga quem vê as respostas e o que fica registrado. Explique como os resultados serão usados, quem tem acesso a eles e que serão divulgados apenas de forma agregada; nos ensaios por correio, garantir a confidencialidade aumentou o número de respostas (1,33). Não prometa anonimato. Se você ativar o rastreio de resposta para mandar lembrete só a quem ainda não respondeu, avise no convite, porque a mesma opção permite ver as respostas de cada pessoa. Por exemplo: “Registramos quem abriu a pesquisa pelo próprio convite para enviar lembrete apenas a quem ainda não respondeu. Quem criou a pesquisa pode ver as respostas individuais, e os resultados serão divulgados apenas de forma agregada.” Uma introdução que explica objetivo, tempo e uso das respostas também é um bom lugar para dizer isso.
Faça um questionário curto e fácil de responder. Informe a duração real; nos ensaios da Cochrane, anunciar um tempo menor ou maior não trouxe ganho confiável. Corte o que a análise não vai usar, corrija perguntas complexas, vagas e longas e ofereça “Outros” ou “Não sei” quando essa for uma resposta honesta. Marque como obrigatórias só as perguntas de que você precisa: exigir todas as respostas leva as pessoas a abandonar o questionário ou a marcar qualquer coisa.
Teste e cronometre. Peça a duas ou três pessoas do público-alvo que respondam ao questionário e meça o tempo que levam, em vez de confiar numa regra de tantas perguntas por minuto.
Depois da pesquisa: ponderação e como informar a taxa de resposta
A ponderação ajusta os resultados para que cada grupo conte na mesma proporção que tem entre os convidados: se menos funcionários mais velhos responderam, as respostas deles ganham um pouco mais de peso. Ela só corrige as características usadas no ajuste. Se as pessoas deixaram de responder por causa da opinião que têm, ponderar por idade ou departamento não resolve, e as estimativas ficam menos precisas. Uma regra prática, não uma norma: pondere por uma ou duas características, com umas 20 a 30 respostas por grupo, no mínimo; se não der, mostre a composição dos respondentes ao lado da composição dos convidados. O Survey.com.br não faz ponderação, mas você pode fazê-la numa planilha depois de usar “Exportar para o Excel”.
Informe a taxa de resposta com a definição usada. A definição padrão mais simples, a RR1 das Standard Definitions da AAPOR (a associação americana de pesquisa de opinião pública), é o número de respostas concluídas dividido pelo número de convidados. A ferramenta não informa os e-mails devolvidos, então os endereços que nunca receberam o convite continuam na conta, e a sua taxa é um piso. Uma pesquisa divulgada por link público não tem um número conhecido de convidados e, portanto, não tem taxa de resposta.
Diga o que as verificações mostraram e para que lado um eventual viés restante empurraria os resultados: “A participação do setor de vendas foi a metade da dos outros departamentos, e as notas dele foram mais baixas; então a nota geral pode estar um pouco acima da real.”
Por onde começar
Compare quem respondeu com quem foi convidado, confronte as respostas que chegaram cedo com as tardias e, quando muita coisa depender do resultado, ouça alguns não respondentes. Envie lembretes só a quem ainda não respondeu, concentre o esforço nos grupos que ficaram para trás e divulgue os resultados com o número de convidados, o de respostas e o que as verificações mostraram.
Uma pesquisa com funcionários é o melhor lugar para começar: você sabe quem foi convidado e em que departamento cada pessoa trabalha, então, com o rastreio de resposta ativado, todas as verificações deste guia ficam ao seu alcance. Comece por um modelo pronto de pesquisa de satisfação de funcionários e envie por e-mail para a sua lista.
Modelo pronto: pesquisa de satisfação de funcionários
Envie por e-mail, com o rastreio de resposta ativado, para uma lista de pessoas cujo departamento você conhece: assim dá para fazer todas as verificações deste guia.
Ver o modelo