Saiu ontem a nova rodada de pesquisas CNT/Sensus, que indica uma queda na popularidade do presidente Lula e dificuldades para os planos eleitorais da ministra Dilma Roussef.

Mas este é um blog de ciência, não de política - na maior parte das vezes, ao menos - então, por que diabo estou falando nisso? Basicamente, porque pesquisas de opinião pública são um instrumento científico, e é interessante entender melhor o que elas significam. Para isso, é preciso ter uma noção do que significam a margem de erro, o nível de confiança e a própria pesquisa.

No Brasil, a mídia raramente divulga o intervalo de confiança das pesquisas de opinião. Talvez seja para não confundir. Já nos EUA é comum ver coisas como "margem de erro de 3%, 19 de 20". O "19 de 20" significa que o intervalo de confiança é 95%. Afinal, o que essas coisas querem dizer?

Bom, primeiro, a pesquisa: uma pesquisa de opinião pública, se bem executada (não vale, por exemplo, criar perguntas que já vêm com a resposta embutida, ou entrevistar só gente que concorda com você), é um retrato da opinião da população visada no momento em que a pesquisa é feita. Ela não prevê o resultado das eleições; apenas diz o que as pessoas estão pensando naquele momento.

A margem de erro é a variação esperada entre o resultado da pesquisa feita por amostragem (no nosso caso, ouvindo apenas alguns milhares de pessoas, em vez de milhões de eleitores) e o de uma outra pesquisa, hipotética, que tivesse realmente ouvido todo mundo.

Quando a CNT/Sensus diz que sua margem é de 3%, o que ela está dizendo é que, se tivesse entrevistado todos os eleitores brasileiros (em vez de apenas 2 mil) o resultado estaria dentro de uma margem de 3 pontos percentuais do obtido na pesquisa realmente feita.

E aí aparece a questão do intervalo de confiança. Digo, com que grau de segurança pode-se afirmar uma coisa dessas? Que uma pesquisa de 100% da população, que não foi feita, teria um resultado dentro de determinada margem?

Nas pesquisas americanas, essa questão é respondida pela expressão "19 de 20": com isso, estão dizendo que, se a pesquisa fosse repetida 20 vezes, em 19 delas (ou, em 95% dos casos) o resultado ficaria a, no máximo, 3 pontos percentuais de distância do que seria apurado se ouvíssemos todas as pessoas. Em outras palavras, há uma chance em 20 de que o resultado da pesquisa esteja fora da margem de 3 pontos, por puro azar.

Não chega a surpreender, portanto, que é o intervalo de confiança desejado que determina o cálculo da margem de erro. E é uma conta extremamente simples: para um intervalo de confiança de 95% (ou "19 de 20") basta dividir 98 pela raiz quadrada do total de pessoas entrevistadas. Para a pesquisa CNT/Sensus, o resultado é 2,19%. Mas eles anunciaram a margem de erro de 3%! Arredondaram quase um ponto percentual para cima?

Ou isso, ou talvez estejam trabalhando com um intervalo de confiança maior. Digamos, de 99 em 100 -- isto é, espera-se que, de cada 100 repetições, 99 caiam dentro da margem. Para calcular a margem de erro nesse intervalo, basta dividir 129 pela raiz quadrada do total de entrevistados. Isso dá 2,88%, uma aproximação muito melhor de 3%.

(Checando o site da CNT, encontrei o relatório completo da pesquisa, que realmente indica um intervalo de confiança de 95%, não 99%. Isso pode ser um arredondamento cauteloso para cima, ou algum tipo de correção necessária por conta da forma como foi selecionada a amostra; as contas com 98 e 129 só valem para as chamadas amostras aleatórias simples).