Erro amostral e viés: a diferença e como corrigir cada um

Erro amostral e viés afastam o resultado de uma pesquisa da realidade por caminhos diferentes. O erro amostral, também chamado de erro de amostragem ou erro aleatório, é a diferença que surge por acaso quando você pergunta a uma amostra, e não ao grupo inteiro: ele diminui de forma previsível conforme a amostra cresce e, numa amostra aleatória, pode ser estimado. O viés é um erro sistemático. Ele empurra os resultados sempre para o mesmo lado, vem de quem está na sua lista, de quem responde e de como as perguntas são feitas, e não some com mais respostas. Mais respostas corrigem o primeiro; só uma pesquisa mais bem planejada corrige o segundo. Este guia, para quem faz ou lê pesquisas, compara os dois e dá uma regra para escolher a correção.

Principais pontos

• O erro amostral é aleatório: puxa os resultados para cima ou para baixo por acaso e diminui à medida que a amostra cresce. Para reduzi-lo à metade, são necessárias quatro vezes mais respostas.
• O viés é sistemático: empurra os resultados numa só direção, e uma amostra maior não o diminui.
• A margem de erro cobre apenas o erro amostral, e apenas numa amostra aleatória. Ela não diz nada sobre o viés.
• Corrija o erro amostral com mais respostas de uma amostra aleatória. Corrija o viés com uma lista melhor, um novo envio para quem não respondeu e perguntas melhores.

O que é erro amostral (erro aleatório)

Erro amostral é a diferença entre um número obtido numa amostra e o número que você obteria se perguntasse a todas as pessoas do grupo. Ele só existe porque você ouviu uma amostra; uma contagem completa, o censo, não tem erro amostral.

A origem é o acaso de quem é sorteado. Duas amostras aleatórias de 200 pessoas do mesmo cadastro de clientes podem mostrar 41% e 45% de “muito satisfeitos”. Nenhuma das duas está errada: cada uma reúne pessoas um pouco diferentes, e essa variação de uma amostra para outra é o erro amostral. Numa amostra, ele puxa o resultado para cima, em outra para baixo, e na média as diferenças se compensam.

Numa amostra probabilística, em que todos da lista tinham uma chance conhecida de serem sorteados, o erro amostral pode ser estimado na forma de erro padrão, intervalo de confiança ou margem de erro.

O que é viés (erro sistemático)

Viés, ou erro sistemático, é o erro que empurra os resultados de uma pesquisa sempre na mesma direção. Se você perguntar só a mulheres sobre um produto que os homens também compram, todas as estimativas vão pender para o mesmo lado, não importa quantas mulheres respondam. O viés é a parte sistemática dos erros não amostrais, nome dado a todo erro que não vem do sorteio da amostra. Quando ele está em quem acaba respondendo, costuma ser chamado de viés de amostragem ou viés de seleção, mas não é erro amostral.

O erro aleatório se compensa na média; o viés, não. Como observa o instituto de estatística do Canadá (Statistics Canada), aumentar a amostra não reduz o viés causado por erros sistemáticos. A pesquisa da revista Literary Digest sobre a eleição presidencial americana de 1936 tinha uma amostra enorme e mesmo assim errou por muito, porque tanto a lista de onde saíram os nomes quanto o perfil de quem devolveu as cédulas eram enviesados (Squire, Public Opinion Quarterly, 1988).

O viés não tem uma margem que se possa calcular. A margem publicada junto com uma pesquisa de opinião cobre só o erro amostral (AAPOR, a associação americana de pesquisa de opinião pública). Já a redação das perguntas, as falhas de cobertura e as respostas pouco sinceras são difíceis de medir e raramente aparecem nos relatórios (Pew Research Center). O tamanho do viés também muda de uma pergunta para outra (Pew Research Center, 2017). O objetivo é reduzir o viés e informar para que lado ele provavelmente puxa os números.

Diferença entre erro amostral e viés em uma tabela

A diferença entre erro amostral e viés está na direção e na correção: o erro amostral espalha os resultados em volta do valor real; o viés os afasta dele.

No modelo do erro total da pesquisa (total survey error; Groves e Lyberg, Public Opinion Quarterly, 2010), o erro de um número costuma ser medido como a sua variância mais o quadrado do viés (o erro quadrático médio). Uma amostra maior reduz o primeiro termo e deixa o segundo como está: uma amostra grande e enviesada continua errada, e todo planejamento de pesquisa equilibra o erro e o custo.

Quanto ajuda ter mais respostas e quando deixa de ajudar

A margem de erro é expressa em pontos percentuais, normalmente com 95% de confiança, e é maior quando as respostas se dividem meio a meio. A nota da AAPOR sobre a margem de erro amostral traz estes valores:

Amostra aleatória simples de um grupo grande, todos os convidados respondem, 95% de confiança, respostas divididas em 50% e 50% (AAPOR).

A tabela supõe que o grupo inteiro é muito maior do que a amostra. Num grupo pequeno, como uma empresa de 80 funcionários ou uma turma de 30 alunos, a margem fica menor depois que você já perguntou a uma parte grande dele. Se você convidou todo mundo, não existe erro amostral: o resultado é uma contagem, e qualquer diferença que sobrar vem de quem não respondeu ou não respondeu com exatidão.

Quadruplicar a amostra reduz a margem à metade (±9,8 pontos com 100 respostas, ±4,9 com 400), mas passar de 1.000 para 2.000 respostas reduz a margem em só cerca de um ponto. Uma pesquisa nacional típica, com cerca de 1.000 entrevistas, informa algo em torno de ±3 pontos. Um subgrupo de 200 pessoas dentro de uma amostra de 1.000 tem cerca de ±6,9 pontos, e a ponderação e o plano amostral deixam a margem real ainda maior.

O mais importante: a margem só vale para amostras probabilísticas, em que todos tinham uma chance conhecida e diferente de zero de serem sorteados. Ela não vale para amostras de voluntários, como as respostas a um link publicado nas redes sociais ou num site. Nesses casos não é possível calcular a margem de erro, e as próprias respostas não mostram o quanto estão longe da realidade. A única forma de avaliar o viés é comparar com informações de fora da pesquisa: o perfil do grupo inteiro (idade, região, departamento, segmento de clientes) com o perfil de quem respondeu.

Onde o viés entra em um questionário online

O viés entra num questionário online por cinco portas. As três primeiras têm a ver com quem responde; as duas últimas, com as próprias respostas (o viés de resposta e outros erros de medida).

Cobertura: quem não está na sua lista

O erro de cobertura aparece quando a lista ou o canal deixa parte do grupo de fora. Uma pesquisa de clima enviada para o e-mail corporativo não chega a quem trabalha na produção, na loja ou em campo sem e-mail da empresa. Antes de enviar, veja quem não está na lista e planeje outra forma de chegar a essas pessoas.

Autosseleção: quem escolhe responder

Um link publicado num site ou nas redes sociais deixa cada pessoa decidir se responde, e quem tem opinião forte é quem mais responde. Prefira convidar uma lista definida. Para deixar de fora quem não foi convidado, marque “Restringir as respostas do questionário a convites por e-mail”, que desativa o link direto e todas as outras formas de distribuição, e marque também a “Opção de rastreio de resposta”: o rastreio vem desativado, e sem ele a restrição barra todos os convidados. O rastreio liga cada resposta ao seu destinatário, e o convite avisa o destinatário disso. A restrição deixa de fora quem não foi convidado; ela não torna a amostra aleatória.

Quem não respondeu

O viés de não resposta depende de duas coisas ao mesmo tempo: quantos convidados não responderam e o quanto eles diferem de quem respondeu. Uma taxa de resposta baixa com pouca diferença causa pouco estrago; uma taxa alta com um grupo ausente muito diferente ainda pode levar a conclusões erradas.

A não resposta também acontece dentro do questionário, quando a pessoa pula perguntas. Confira o número de respostas de cada pergunta, e não só o de questionários concluídos: o resultado de uma pergunta sensível que metade dos respondentes pulou carrega viés de não resposta, mesmo que a pesquisa como um todo tenha tido uma boa taxa de resposta.

Mantenha o questionário curto, use estas formas de fazer mais convidados responderem e mande um lembrete para quem ainda não respondeu: com a “Opção de rastreio de resposta” ativada, os destinatários que “Não responderam ao convite por e-mail” são só as pessoas que ainda não abriram o questionário pelo convite. Depois, compare o perfil de quem respondeu com o do grupo. Comparar quem respondeu cedo com quem respondeu tarde é uma pista, não um teste: quem respondeu depois de um novo e-mail também respondeu.

Redação e ordem das perguntas

Perguntas sugestivas e tendenciosas empurram as respostas para um lado, perguntas duplas misturam duas respostas numa só, e até uma palavra pode mudar o resultado. O Pew Research Center relata que, nos Estados Unidos, “assistência aos pobres” recebe mais apoio do que “welfare”, nome popular dos programas de assistência social do governo. Evite perguntas sugestivas e capciosas, separe as perguntas duplas em duas e faça um pré-teste com algumas pessoas do grupo.

Mantenha em ordem fixa as perguntas que dependem umas das outras (do geral para o específico, a pergunta de triagem antes das perguntas que ela filtra). Itens paralelos, como marcas, departamentos ou afirmações, podem aparecer em ordem aleatória, para que nenhum venha sempre primeiro. Isso distribui o efeito da ordem por igual; não o elimina. No editor, o recurso é “selecionar linhas ao acaso” numa pergunta de matriz; use “selecionar colunas ao acaso” só quando as colunas forem categorias sem ordem, nunca numa escala de avaliação. A configuração “Selecionar perguntas ao acaso” embaralha as perguntas dentro de todas as páginas do questionário, então ative-a só quando cada página tiver apenas perguntas paralelas. As opções de resposta de uma pergunta de múltipla escolha não são embaralhadas.

Respostas socialmente desejáveis

As pessoas dizem fazer menos do que fazem quando o comportamento é malvisto, e mais quando é bem-visto: é o viés de desejabilidade social, uma forma de viés de resposta. “Você é um fumante inveterado?” leva alguns fumantes inveterados a responder “não”. Pergunte de forma neutra e ofereça faixas em vez de rótulos: “Quantos cigarros você fuma num dia comum?”, com “Nenhum”, “1 a 5”, “6 a 10” e assim por diante. Um questionário online tira o entrevistador da conversa, o que enfraquece o efeito, mas não o elimina. Pesquisas por telefone e presenciais acrescentam o viés do entrevistador, e erros de codificação ou de digitação dos dados são mais uma fonte de erro.

Acaso ou viés? Como ler um resultado inesperado

Quando um resultado surpreende, compare a distância entre ele e o que você esperava com a margem de erro. Se a distância for muito maior do que o acaso permite, ou se a amostra não foi aleatória, procure o viés e a direção em que ele empurra.

Suponha que 100 respondentes, sorteados aleatoriamente entre os seus clientes, indiquem que 20% preferem um novo sabor de suco, e que um levantamento confiável com todos os clientes mostre depois cerca de 33%. A diferença é de 13 pontos percentuais, não de 13%. A margem para 100 respostas é de cerca de ±10 pontos; mais ou menos 1 em cada 20 amostras aleatórias fica fora dela, e quase nenhuma fica tão longe, então o acaso sozinho é uma explicação improvável. Pergunte quem foi convidado e quem respondeu. Se as 100 respostas vieram de um link compartilhado, deixe a margem de lado e comece por essas perguntas.

Comparar dois grupos exige uma margem maior. Dois departamentos com 200 respostas cada têm cerca de ±7 pontos, mas a diferença entre eles tem cerca de ±10. Uma diferença de 6 pontos está dentro do acaso; uma de 15 pontos, não. O mesmo vale para comparar este ano com o anterior.

Um link na newsletter que traz 500 respostas concluídas não tem direito aos ±4,4 pontos da tabela: os respondentes escolheram participar. E, mesmo que fossem 500 assinantes sorteados, o resultado descreveria só quem assina a newsletter, não todos os clientes, e não diria nada sobre os assinantes que não responderam. Informe o número de respostas, o canal e os grupos que provavelmente ficaram sub-representados.

Mais respostas ou um questionário melhor: qual correção para cada erro

Passe por esta lista antes de enviar o questionário e de novo antes de apresentar os resultados.

1. Amostra aleatória de um grupo grande, com margem larga demais para a sua decisão: colete mais respostas, mas não espere muito ganho depois de cerca de 1.000.
2. Grupos ausentes ou sub-representados: mais respostas pelo mesmo canal não resolvem; mude a lista ou o canal. Se o perfil de quem respondeu difere do perfil do grupo em algo que você conhece para todos (região, departamento, faixa etária), apresente os resultados por esse grupo ou pondere-os numa planilha, a partir da exportação para o Excel; a ferramenta não pondera as respostas. A ponderação corrige só as características usadas para ponderar, não as opiniões de quem não respondeu, e aumenta a margem.
3. Você convidou o grupo inteiro: conseguir mais respostas significa ir atrás de quem ainda não respondeu, não aumentar a amostra.
4. Dúvidas sobre as perguntas: faça um pré-teste e reescreva, seguindo estas dicas para escrever perguntas claras e neutras. Use a ordem aleatória só para itens paralelos, nunca para perguntas que dependem umas das outras.
5. Na hora de apresentar: informe o número de respostas e como as pessoas foram convidadas, dê uma margem de erro só para uma amostra aleatória e diga para que lado um provável viés empurraria os números.

Erro amostral e viés pedem correções diferentes. O erro aleatório diminui a cada resposta que você acrescenta, e numa amostra aleatória a margem de erro mostra quanto dele ainda resta. O viés continua lá, não importa quantas respostas você colete; ele só cede a uma lista que cubra o grupo inteiro, a um novo contato com quem ficou em silêncio e a perguntas neutras e testadas.

Para colocar isso em prática, comece pelo modelo de questionário de pesquisa de mercado abaixo e envie-o a uma lista definida, em vez de publicar um link aberto.

Leia também

• Questionário para dispositivos móveis: o que os estudos mostram
• Como elaborar um questionário para análise de dados
• Como encontrar respondentes para uma pesquisa