Estimativas de Localização e de Variabilidade

No artigo anterior desta série, a curiosa leitora aprendeu a distinguir os tipos de dados e a separar o parâmetro que quer conhecer da estatística que consegue calcular. Ficou combinado que só sobre variáveis numéricas a aritmética é legítima. Pois é exatamente sobre variáveis numéricas que este artigo se debruça, para responder às duas primeiras perguntas de toda análise descritiva: onde está o centro dos dados, e o quanto eles se espalham em torno desse centro.

As duas perguntas parecem inocentes e não são. Há mais de uma noção razoável de centro, e elas discordam quando os dados têm valores extremos. Há mais de uma noção de dispersão, e elas medem coisas diferentes. A mesma álgebra dos desvios também aparece quando deixamos de descrever uma amostra e passamos a avaliar previsões, sob o nome de MSE. Escolher a medida errada não gera um erro de sintaxe, gera uma conclusão confiante e falsa, o pior tipo de erro. Vamos, portanto, construir cada medida com cuidado, sempre perguntando: o que acontece com ela quando um único valor extremo, um outlier, entra em cena?

Reaproveitaremos o conjunto de dados do artigo anterior: os salários mensais, em milhares de reais, de uma equipe de oito pessoas de uma empresa de software. Ordenados, eles são

Oito números que a leitora reconhecerá em cada seção deste artigo e no laboratório ao final. O combinado sobre código permanece: exemplos em C++23; a leitora reimplementa como quiser; nos laboratórios, a referência é Python no Colab.

1. A média e suas variações

A medida de centro mais conhecida é a média aritmética, a soma dos valores dividida pela quantidade deles. Para uma amostra com $n$ observações, $x_i$ representa o valor no índice $i$, de $0$ a $n-1$, e $\bar{x}$ representa a média amostral. Essa estatística é

na qual $n$ é o tamanho da amostra e $x_i$ o valor no índice $i$. Para o conjunto simples ${2, 5, 1, 7, 5}$, temos $\bar{x} = (2+5+1+7+5)/5 = 20/5 = 4$. Para os salários da equipe, a soma é $93{,}7$ e a média é $\bar{x} = 93{,}7/8 = 11{,}7125$ mil reais. A média tem uma interpretação física exata: é o ponto de equilíbrio dos dados, o lugar onde a régua se equilibraria se cada observação fosse um peso igual sobre ela. Sob um modelo normal, ela também é um estimador eficiente do centro, com variância menor que a mediana. Essa vantagem depende do modelo: em distribuições de cauda pesada, a sensibilidade aos extremos pode anulá-la.

Para conter esse defeito sem abandonar a média, a estatística oferece a média aparada (trimmed mean): descartamos uma fração fixa dos valores em cada extremo, ordenados, e tiramos a média do que sobra. Formalmente, para uma proporção de corte $\alpha$ com $0 \le \alpha < 0{,}5$, ordenamos os dados, removemos os $\lfloor \alpha n \rfloor$ menores e os $\lfloor \alpha n \rfloor$ maiores, e calculamos a média dos restantes. Com os salários e $\alpha = 0{,}20$, temos $\lfloor 0{,}20 \times 8 \rfloor = 1$, então descartamos o menor ($6{,}5$) e o maior ($22{,}0$) e tiramos a média dos seis centrais:

A média aparada, $10{,}87$ mil, é menor que a média completa, $11{,}71$ mil, precisamente porque removeu o salário de $22{,}0$ mil que puxava a média para cima. Ela é um meio-termo entre a média e a mediana da próxima seção: com $\alpha = 0$ recupera a média e, em amostras cada vez maiores, aparas próximas de $0{,}5$ deixam apenas a região central. Em uma amostra finita, o piso $\lfloor\alpha n\rfloor$ cria degraus; não há aproximação contínua dentro de um conjunto fixo.

Uma terceira variação surge quando os valores não têm todos a mesma importância. A média ponderada (weighted mean) atribui a cada valor $x_i$ um peso $w_i$ e calcula

na qual $w_i$ é o peso do valor no índice $i$. Neste artigo assumimos $w_i\ge0$ e $\sum_iw_i>0$, condições que permitem interpretar pesos como frequência, importância ou confiança. Se três avaliações valem $7$, $8$ e $9$ com pesos $1$, $2$ e $3$, a média ponderada é $\bar{x}_w = (7\cdot 1 + 8\cdot 2 + 9\cdot 3)/(1+2+3) = 50/6 \approx 8{,}333$, puxada para cima pelo peso maior da nota mais alta. A média aritmética comum é o caso particular em que todos os pesos são iguais.

1.1 Exercícios da Seção 1

Exercício 1. Calcule a média aritmética de ${2, 5, 1, 7, 5}$.

Resolução. $\bar{x} = (2+5+1+7+5)/5 = 20/5 = 4$. A média é exatamente $4$; note que o valor $4$ não aparece no conjunto, o que é comum: a média não precisa ser um dos dados.

Exercício 2. Calcule a média aparada a $20\%$ dos salários da equipe e explique por que ela difere da média completa.

Resolução. Com $n = 8$ e $\alpha = 0{,}20$, descartamos $\lfloor 1{,}6 \rfloor = 1$ valor em cada extremo: saem $6{,}5$ e $22{,}0$. A média dos seis restantes é $65{,}2/6 \approx 10{,}8667$. Ela é menor que a média completa ($11{,}7125$) porque o salário atípico de $22{,}0$ mil, que inflava a média, foi removido; o extremo inferior removido, $6{,}5$, era menos distante do centro e compensava menos.

Exercício 3. Uma turma tem três provas com pesos $2$, $3$ e $5$. Uma aluna tirou $6{,}0$, $7{,}0$ e $9{,}0$. Calcule sua média ponderada.

Resolução. $\bar{x}_w = (6{,}0\cdot 2 + 7{,}0\cdot 3 + 9{,}0\cdot 5)/(2+3+5) = (12 + 21 + 45)/10 = 78/10 = 7{,}8$. A nota final é $7{,}8$, mais próxima do $9{,}0$ do que a média simples ($7{,}33$) seria, porque a prova de maior nota tinha o maior peso.

Exercício 4. Mostre que a média aparada com $\alpha = 0$ coincide com a média aritmética.

Resolução. Com $\alpha = 0$, temos $\lfloor 0 \cdot n \rfloor = 0$, então nenhum valor é descartado em nenhum extremo. A média aparada torna-se a média de todos os $n$ valores, que é exatamente a definição de $\bar{x}$. A média aparada é, portanto, uma generalização da média, não uma alternativa incompatível.

Exercício 5. Construa um conjunto de cinco valores em que a média aparada a $20\%$ difira da média completa em mais de $50\%$.

Resolução. Tome ${1, 2, 3, 4, 1000}$. A média completa é $(1+2+3+4+1000)/5 = 1010/5 = 202$. Com $\alpha = 0{,}20$ e $n = 5$, descartamos $\lfloor 1 \rfloor = 1$ valor em cada extremo: saem $1$ e $1000$, e a média dos três centrais é $(2+3+4)/3 = 3$. A diferença relativa é $(202-3)/202 \approx 98{,}5\%$, muito além de $50\%$. Um único outlier extremo domina a média e é justamente o que a média aparada descarta.

2. Mediana e estimativas robustas

A mediana responde à pergunta do centro de outra forma: é o valor que divide os dados ordenados ao meio, com metade abaixo e metade acima. Para um número ímpar de observações, é o valor central; para um número par, é a média dos dois valores centrais. Ordenados os salários,

os dois valores centrais são $9{,}0$ e $12{,}0$, e a mediana é $(9{,}0 + 12{,}0)/2 = 10{,}5$ mil reais. A leitora deve reparar que a mediana, $10{,}5$, é menor que a média, $11{,}71$. A diferença não é acaso: como observamos no artigo anterior, o salário de $22{,}0$ mil puxa a média para cima, mas não move a mediana, que só se importa com quem está no meio da fila, não com o quanto os extremos são extremos.

As três medidas de centro construídas até aqui cabem em uma régua, e a Figura 1 as coloca lá. A distância entre elas não é ruído de arredondamento: é o efeito de um único valor alto, medido em milhares de reais.

Figura 1: A média é o ponto de equilíbrio e paga por isso: só ela se desloca quando um extremo cresce. Entre ela e a mediana há $1{,}2125$ mil reais de diferença, produzidos por uma única observação.

Essa indiferença ao tamanho de um extremo é a robustez, quantificada pelo ponto de ruptura de substituição (replacement breakdown point): a menor fração da amostra que, substituída por valores arbitrários, pode tornar a estimativa arbitrariamente distante. Em uma amostra de tamanho $n$, a média rompe com uma substituição, portanto seu ponto finito é $1/n$ e tende a $0$ quando $n\to\infty$. Com os oito salários, substituir $22{,}0$ por $1\,000\,000$ leva a média a $125\,008{,}9625$ mil: uma fração $1/8$ bastou.

Para a mediana usual dos oito valores, quatro substituições dirigidas à mesma cauda bastam para levar um dos valores centrais ao infinito e, com ele, a média dos dois centrais; o ponto é $4/8=0{,}5$. Com $n=9$, são necessárias cinco, fração $5/9$. A sequência se aproxima de $0{,}5$. Esse é o maior limite assintótico entre estimadores de localização equivariantes usuais. Sem restringir a classe, a afirmação seria falsa: uma “estatística” constante nunca rompe e também nunca acompanha o centro.

A Figura 2 mostra o que essas frações significam em movimento. Substituímos o salário de $22{,}0$ mil por valores cada vez maiores, mantendo $n = 8$, e acompanhamos as três medidas de centro. A média sobe em linha reta, com inclinação $1/n = 0{,}125$; as outras duas não saem do lugar.

Figura 2: A influência da média sobre um único valor é ilimitada e linear; a da mediana é nula enquanto a ordem central não muda. Uma substituição em oito, fração $1/8$, já basta para levar a média a qualquer lugar.

Como a média, a mediana também admite uma versão ponderada. Pela convenção adotada aqui, a mediana ponderada é o primeiro valor ordenado cuja soma acumulada de pesos atinge ao menos metade do peso total. Ela pode ser robusta quando os pesos estão distribuídos, mas não herda automaticamente o ponto de ruptura da mediana não ponderada: se uma observação recebe peso $0{,}6$ em um total $1$, ela determina sozinha o resultado. O peso representa importância e, junto com ela, poder de influência.

A Figura 3 desenha as duas funções objetivo sobre os nossos oito salários. Observe o patamar do painel da esquerda: ele é a razão pela qual a mediana de uma amostra par não é um número único, mas um intervalo do qual escolhemos um representante.

Figura 3: A soma dos módulos tem inclinação determinada por quantos pontos ficam de cada lado; a dos quadrados pesa o tamanho de cada desvio. Um valor distante muda tamanhos, não contagens, e por isso move apenas a média.

2.1 Exercícios da Seção 2

Exercício 1. Calcule a mediana de ${3, 8, 1, 9, 5}$ e de ${3, 8, 1, 9, 5, 7}$.

Resolução. No primeiro, ordenamos: $1, 3, 5, 8, 9$; com $n = 5$ (ímpar), a mediana é o terceiro valor, $5$. No segundo, ordenamos: $1, 3, 5, 7, 8, 9$; com $n = 6$ (par), a mediana é a média dos dois centrais, $(5+7)/2 = 6$.

Exercício 2. Substitua o maior salário da equipe, $22{,}0$, por $1\,000\,000$ e compare o efeito sobre a média e sobre a mediana.

Resolução. A nova soma é $93{,}7 - 22{,}0 + 1\,000\,000 = 1\,000\,071{,}7$, e a média vira $1\,000\,071{,}7/8 \approx 125\,008{,}96$ mil, disparada por um único valor. A mediana continua sendo a média dos dois centrais dos dados ordenados, $9{,}0$ e $12{,}0$, ou seja, $10{,}5$, exatamente como antes: o valor corrompido apenas foi para o fim da fila, sem tocar no meio.

Exercício 3. Calcule o ponto de ruptura de substituição finito da média e da mediana usual para $n=8$ e descreva seus limites quando $n$ cresce.

Resolução. Para a média, uma substituição basta: $1/8=0{,}125$, e em geral $1/n\to0$. Para a mediana definida como média dos dois centrais, quatro substituições para valores arbitrariamente altos tornam o quinto valor arbitrário e levam a mediana ao infinito: $4/8=0{,}5$. Para $n$ ímpar, a fração é $(n+1)/(2n)$ e tende a $0{,}5$. Assim, os limites são $0$ e $0{,}5$, mas o valor finito da média não é zero.

Exercício 4. Calcule a mediana ponderada de valores ${1, 2, 3, 4}$ com pesos ${0{,}1, 0{,}2, 0{,}3, 0{,}4}$.

Resolução. O peso total é $1{,}0$, e metade é $0{,}5$. Os acumulados são $0{,}1$, $0{,}3$, $0{,}6$ e $1{,}0$; o primeiro que atinge metade corresponde ao valor $3$. Logo, a mediana ponderada é $3$. O exemplo também expõe a cautela: se um único peso fosse $0{,}6$, seu valor determinaria sozinho a mediana ponderada.

Resolução. Considere $m$ à esquerda do intervalo mediano. Deslocá-lo $\delta>0$ para a direita diminui a distância aos pontos à direita e aumenta a dos pontos à esquerda; como há mais pontos à direita, a soma cai. À direita do intervalo mediano, o argumento se inverte. Dentro do intervalo entre os dois centrais, quando $n$ é par, aumentos e reduções se compensam e a soma fica constante. Portanto qualquer ponto desse intervalo minimiza; para $n$ ímpar, o intervalo colapsa no valor central.

3. Estimativas de variabilidade

Saber onde está o centro é metade da história; a outra metade é saber o quanto os dados se afastam dele. Dois conjuntos podem ter a mesma média e comportamentos completamente diferentes: ${5, 5, 5}$ e ${0, 5, 10}$ têm média $5$, mas o primeiro é constante e o segundo é espalhado. A variabilidade, ou dispersão, é o que os distingue.

O ponto de partida é o desvio de cada observação em relação à média, $x_i - \bar{x}$. Poderíamos tentar resumir a dispersão pela média dos desvios, mas isso não funciona: a soma dos desvios em relação à média é sempre exatamente zero, porque a média é o ponto de equilíbrio, e os desvios positivos cancelam os negativos. Precisamos, portanto, eliminar os sinais antes de somar. A estatística resolve isso de duas maneiras, e cada uma gera uma medida.

A maneira dominante eleva os desvios ao quadrado. Para $n\ge2$, a variância amostral corrigida é

na qual $n$ é o tamanho da amostra e $\bar{x}$ a média amostral, e o desvio padrão amostral é a raiz quadrada dela, $s = \sqrt{s^2}$. O desvio padrão tem a mesma unidade dos dados, o que o torna interpretável: para os salários, $s \approx 5{,}23$ mil reais mede a dispersão típica em torno da média de $11{,}71$ mil.

O detalhe que costuma incomodar a estudante atenta é o divisor $n-1$. Os $n$ desvios somam zero, portanto apenas $n-1$ podem variar livremente; essa é a contagem de graus de liberdade. A contagem é boa memória e prova insuficiente. Sob observações IID com média $\mu$ e variância finita $\sigma^2$, vale

Tomando esperanças, o primeiro termo à direita vale $n\sigma^2$ e o segundo vale $n\operatorname{Var}(\bar{X})=\sigma^2$. Portanto,

Agora o divisor aparece por dedução: dividir por $n-1$ torna $s^2$ não viesado para $\sigma^2$. Dividir por $n$ continua sendo uma descrição legítima da dispersão dos valores observados e, sob normalidade, é o estimador de máxima verossimilhança; apenas não é não viesado para a variância populacional.

A diferença entre os dois divisores é concreta. Tome o conjunto clássico ${2, 4, 4, 4, 5, 5, 7, 9}$, de média $5$. Os desvios são $-3, -1, -1, -1, 0, 0, 2, 4$, e a soma de seus quadrados é $9 + 1 + 1 + 1 + 0 + 0 + 4 + 16 = 32$. A variância populacional (divisor $n = 8$) é $32/8 = 4$, com desvio padrão $\sigma = 2$; a variância amostral (divisor $n - 1 = 7$) é $32/7 \approx 4{,}571$, com $s \approx 2{,}138$. Para $n$ grande a distinção some, mas para amostras pequenas ela importa, e usar o divisor errado é um erro sutil que passa despercebido em muitos relatórios.

A segunda maneira de eliminar os sinais é tomar o valor absoluto em vez do quadrado. O desvio absoluto médio (mean absolute deviation) é

Para o mesmo conjunto clássico, os desvios absolutos são $3, 1, 1, 1, 0, 0, 2, 4$, cuja soma é $12$, e o desvio absoluto médio é $12/8 = 1{,}5$, menor que o desvio padrão populacional $2$. Isso não é coincidência: o quadrado do desvio padrão penaliza os desvios grandes mais do que proporcionalmente, então valores extremos inflam o desvio padrão mais do que inflam o desvio absoluto médio. Aqui reaparece a ideia da Seção 2: assim como a média, que minimiza desvios quadráticos, é menos robusta que a mediana, que minimiza desvios absolutos, o desvio padrão é menos robusto que as medidas baseadas em valores absolutos. Antes de construir essas alternativas, precisamos seguir os quadrados para outro papel: avaliar previsões.

3.1 Exercícios da Seção 3

Exercício 1. Calcule a variância e o desvio padrão amostrais de ${2, 4, 4, 4, 5, 5, 7, 9}$, e depois a versão populacional. Comente a diferença.

Resolução. A média é $40/8 = 5$. A soma dos quadrados dos desvios é $32$ (calculada no texto). A variância amostral é $s^2 = 32/7 \approx 4{,}571$, com $s \approx 2{,}138$; a populacional é $\sigma^2 = 32/8 = 4$, com $\sigma = 2$. A amostral é maior porque divide por um número menor ($7$ em vez de $8$), corrigindo o viés de subestimação. Qual usar depende de se os oito valores são uma amostra (use $n-1$) ou a população inteira (use $n$).

Exercício 2. Explique o papel dos graus de liberdade e complete-o com a igualdade de esperança que justifica o divisor $n-1$.

Resolução. Como os desvios somam zero, apenas $n-1$ são livres. Sob IID com variância $\sigma^2$, a identidade da seção implica $\mathbb{E}[\sum_i(X_i-\bar X)^2]=(n-1)\sigma^2$; dividir por $n-1$ produz esperança $\sigma^2$. A primeira frase conta restrições; a segunda prova o não viés.

Exercício 3. Mostre que somar uma constante $c$ a todos os dados não altera a variância, e que multiplicá-los por $c$ multiplica a variância por $c^2$.

Exercício 4. Calcule o desvio absoluto médio de ${2, 4, 4, 4, 5, 5, 7, 9}$ e compare-o com o desvio padrão populacional.

Resolução. Os desvios absolutos em relação à média $5$ são $3, 1, 1, 1, 0, 0, 2, 4$, com soma $12$; o desvio absoluto médio é $12/8 = 1{,}5$. O desvio padrão populacional é $2$. Temos DAM $= 1{,}5 < 2 = \sigma$: o desvio padrão é maior porque o quadrado amplifica os desvios grandes (o $4$ contribui com $16$ para a soma dos quadrados, mas só com $4$ para a soma dos absolutos).

Exercício 5. Mostre que a soma dos desvios em relação à média é sempre zero.

Resolução. $\sum_i (x_i - \bar{x}) = \sum_i x_i - n\bar{x} = \sum_i x_i - n\cdot\frac{1}{n}\sum_i x_i = \sum_i x_i - \sum_i x_i = 0$. É por essa identidade que a média dos desvios não serve como medida de dispersão, e que precisamos de quadrados ou de valores absolutos.

4. MSE: do desvio à função de perda

Até aqui partimos de uma sequência $x_0,\ldots,x_{n-1}$ e medimos o quanto ela se espalha em torno de um centro. Uma tarefa de previsão entrega dois valores por caso: o observado $y_i$ e a previsão $\hat{y}_i$. Definimos o resíduo, ou erro de previsão, como

O MSE, de mean squared error (erro quadrático médio), eleva cada resíduo ao quadrado e tira a média dos resultados:

Um erro quadrático $e_i^2$ avalia um caso. O MSE avalia os $n$ casos como um conjunto. Ele é não negativo e vale zero somente quando toda previsão coincide com o valor observado. Como o quadrado apaga o sinal, subestimar por $3$ e superestimar por $3$ custam ambos $9$. Como o quadrado cresce mais depressa que o módulo, errar por $6$ custa quatro vezes mais que errar por $3$, não duas vezes mais.

Há três nomes parecidos que não devemos misturar. A soma dos quadrados dos erros, que abreviaremos por SQE, é $\sum_i e_i^2$. O MSE divide a SQE por $n$. A raiz do erro quadrático médio, RMSE, de root mean squared error, devolve a escala original:

Se $y$ mede salários em milhares de reais, a SQE e o MSE têm unidade de milhares de reais ao quadrado; o RMSE volta a milhares de reais. Essa volta de unidade ajuda a comunicar magnitude, mas não muda a ordenação dos modelos: a raiz quadrada é crescente, portanto o menor MSE também produz o menor RMSE.

4.1 A média é a melhor previsão constante

Suponha que precisemos prever o mesmo número $a$ para todas as observações $x_i$. A dívida média dessa previsão admite a decomposição

Para deduzi-la, escrevemos $x_i-a=(x_i-\bar{x})+(\bar{x}-a)$, expandimos o quadrado e usamos $\sum_i(x_i-\bar{x})=0$ para eliminar o termo cruzado. O primeiro termo não depende de $a$; o segundo é não negativo e zera apenas em $a=\bar{x}$. A média é, portanto, a única previsão constante que minimiza o MSE.

A Figura 3 já desenhou essa conclusão. O painel quadrático mostra a SQE, que é exatamente $n$ vezes o MSE. Dividir a altura da parábola por $n$ altera os valores do eixo vertical, mas não move seu vértice. Para os oito salários, a SQE mínima é $191{,}24875$, o MSE mínimo é

e o RMSE é $\sqrt{23{,}90609375}\approx4{,}8894$ mil reais. Se usarmos a mediana $a=10{,}5$ como previsão constante, o MSE sobe para $25{,}37625$. A diferença, $1{,}47015625$, é exatamente $(10{,}5-11{,}7125)^2$, como a decomposição prometeu.

Esse cálculo também separa MSE de variância amostral. Quando a previsão constante é $\bar{x}$, o MSE divide a soma dos desvios quadráticos por $n$ e coincide com a variância descritiva dos valores observados. Já a variância amostral corrigida da Seção 3 divide a mesma soma por $n-1$ para estimar sem viés a variância populacional. Nos salários, temos $23{,}90609375$ para o MSE em torno da média e $27{,}32125$ para $s^2$. Trocar mecanicamente um divisor pelo outro muda a pergunta.

Na regressão acontece algo análogo. O MSE de treino continua sendo $\operatorname{SQE}/n$, pois resume o erro observado. Se estimamos $p$ parâmetros e queremos estimar a variância $\sigma^2$ do ruído sob as hipóteses do modelo linear, usamos $\operatorname{SQE}/(n-p)$. Um denominador avalia previsões; o outro corrige graus de liberdade para estimar um parâmetro.

4.2 Do MSE observado ao risco esperado

O MSE calculado em uma amostra é uma média empírica. Para uma regra de previsão $f$, sejam $X$ as características de um novo caso e $Y$ sua resposta. Chamaremos de $R(f)$ o risco quadrático esperado, isto é, a média populacional da perda quadrática dessa regra:

Fixado $X=x$, a mesma decomposição da seção anterior produz

O primeiro termo é a incerteza que resta mesmo depois de conhecermos $x$. O segundo cobra a distância entre a previsão $a$ e a média condicional. Assim, a previsão pontual que minimiza o risco quadrático é

Esse contrato merece atenção. O MSE não procura o valor mais frequente nem garante uma saída possível quando há vários futuros. Ele procura a média condicional. Para ${0,0,0,8}$ com probabilidades iguais, a média é $2$ e seu MSE é $12$; prever a mediana $0$ produz MSE $16$. O valor $2$ nunca foi observado, mas ainda é a decisão ótima sob perda quadrática.

O modelo normal fornece outra justificativa para a presença constante dos quadrados. Representaremos por $\varepsilon$ o erro aleatório e por $N(0,\sigma^2)$ uma distribuição normal de média zero e variância fixa $\sigma^2$. Se $Y=f(X)+\varepsilon$ e $\varepsilon\sim N(0,\sigma^2)$, a log-verossimilhança negativa de cada observação é, a menos de uma constante,

Maximizar a verossimilhança equivale, nesse modelo, a minimizar SQE ou MSE. A equivalência depende da hipótese gaussiana com variância comum; ela não transforma o MSE em escolha universal para qualquer distribuição ou objetivo.

Há ainda uma separação operacional. O MSE de treino usa os mesmos casos que ajustaram $f$ e pode cair apenas porque o modelo memorizou peculiaridades da amostra. Para estimar desempenho preditivo, calculamos o MSE em casos de validação ou teste que não participaram do ajuste. Em um ponto $x$, denotaremos por $\hat f(x)$ a previsão do modelo ajustado em uma amostra de treino e por $f^*(x)$ a previsão populacional ótima. Se repetíssemos o treinamento em muitas amostras, o MSE esperado de teste se decomporia em

Um método rígido pode ter viés alto; um método excessivamente sensível à amostra pode ter variância alta. Nenhum deles vence apenas por exibir MSE de treino pequeno.

4.3 O que a média dos quadrados esconde

O MSE comprime $n$ resíduos em um escalar. Essa compressão descarta o sinal, a ordem e a localização dos erros. A Figura 4 mostra dois conjuntos com os mesmos oito resíduos em módulo. À esquerda, os sinais aparecem em ordem irregular; à direita, quatro erros negativos são seguidos por quatro positivos, uma mudança de regime que pede investigação. Em ambos os casos cada quadrado vale $4$, logo o MSE vale $4$.

Figura 4: O MSE igual a $4$ certifica a mesma magnitude quadrática nos dois painéis, mas só o gráfico revela a mudança persistente de sinal. Um escalar mede tamanho; não diagnostica estrutura.

Essa perda de estrutura explica por que o MSE deve acompanhar gráficos de resíduos e métricas ligadas ao objetivo. Também explica sua fragilidade a outliers: um único resíduo de magnitude $10$ contribui com $100$, tanto quanto cem resíduos de magnitude $1$. Quando erros grandes representam falhas raras que precisam dominar a decisão, essa ênfase pode ser desejada. Quando representam contaminação ou quando o custo real cresce aproximadamente em linha reta, uma perda absoluta ou uma técnica robusta pode responder melhor.

Para vetores, imagens e lotes, o denominador precisa declarar a unidade de contagem. Se $n$ observações possuem $D$ coordenadas cada, o MSE por coordenada é

Já $\frac{1}{n}\sum_i\lVert y_i-\hat{y}_i\rVert_2^2$ mede erro quadrático médio por observação e vale $D$ vezes o MSE por coordenada. Nenhuma convenção é intrinsecamente errada, mas omitir o denominador torna valores incomparáveis. No artigo sobre autoencoders e reconstrução, uma única entrada tem $D$ coordenadas e a perda divide por $D$; sobre um lote de $n$ entradas, a média completa divide por $nD$.

4.4 Exercícios da Seção 4

Exercício 1. Recalcule SQE, MSE e RMSE ao prever todos os oito salários pela média $11{,}7125$. Diga a unidade de cada resultado.

Resolução. A SQE é $191{,}24875$ em milhares de reais ao quadrado. O MSE é $191{,}24875/8=23{,}90609375$ na mesma unidade quadrática. O RMSE é $\sqrt{23{,}90609375}\approx4{,}8894$ mil reais, já na unidade original. Se os salários fossem expressos em reais, SQE e MSE seriam multiplicados por $10^6$ e o RMSE, por $10^3$.

Exercício 2. Para os valores equiprováveis ${0,0,0,8}$, calcule o MSE das previsões constantes $a=0$, $a=2$ e $a=8$.

Resolução. Para $a=0$, a soma dos quadrados é $64$ e o MSE é $16$. Para $a=2$, os quadrados são $4,4,4,36$, somam $48$ e produzem MSE $12$. Para $a=8$, os quadrados são $64,64,64,0$, somam $192$ e produzem MSE $48$. A média $2$ vence, embora não pertença ao conjunto observado.

Exercício 3. Demonstre a identidade $\frac1n\sum_i(x_i-a)^2=\frac1n\sum_i(x_i-\bar{x})^2+(a-\bar{x})^2$.

Resolução. Substitua $x_i-a=(x_i-\bar{x})+(\bar{x}-a)$ e expanda. A média dos termos $(x_i-\bar{x})^2$ permanece; o quadrado $(\bar{x}-a)^2$ aparece $n$ vezes e, depois da divisão por $n$, aparece uma vez; o termo cruzado é proporcional a $\sum_i(x_i-\bar{x})=0$. Resta exatamente a identidade desejada.

Exercício 4. Considere duas observações bidimensionais, $y_0=(1,4)$ e $y_1=(0,2)$, com previsões $\hat{y}_0=(3,3)$ e $\hat{y}_1=(0,4)$. Calcule o MSE por coordenada e o erro quadrático médio por observação.

Resolução. Os quatro erros quadráticos são $4,1,0,4$, com soma $9$. O MSE por coordenada divide por $nD=2\cdot2=4$ e vale $9/4=2{,}25$. O erro quadrático médio por observação divide por $n=2$ e vale $9/2=4{,}5$, exatamente $D=2$ vezes o primeiro.

Exercício 5. As duas sequências da Figura 4 possuem MSE $4$ e média residual zero. Por que o painel direito ainda é preocupante?

Resolução. Porque os sinais não estão distribuídos ao acaso ao longo da ordem: o modelo superestima sistematicamente os quatro primeiros casos e subestima os quatro últimos, ou vice-versa conforme a convenção do resíduo. O cancelamento da média e a igualdade dos quadrados escondem uma mudança de regime. Um gráfico de resíduos, a ordem temporal e o conhecimento do processo são necessários para encontrá-la.

5. Medidas robustas e relativas de dispersão

Assim como a média tem na mediana uma alternativa robusta, o desvio padrão tem alternativas que resistem a outliers. A mais simples e extremamente frágil é a amplitude (range), a diferença entre máximo e mínimo. Para os salários, vale $22{,}0-6{,}5=15{,}5$ mil. Uma única substituição pode enviar o máximo ao infinito, portanto seu ponto de ruptura finito é $1/n$, como o da média. Máximo e mínimo são extremos por posição; não precisam ser outliers no sentido do boxplot.

A alternativa robusta padrão é a amplitude interquartílica (interquartile range, IQR), $\text{IQR}=Q_3-Q_1$. Quartis amostrais dependem de convenção; usaremos a interpolação linear do NumPy. Para os salários, $Q_1=7{,}925$, $Q_3=13{,}925$ e o IQR vale $6{,}0$ mil. O IQR concentra-se na metade central e possui resistência assintótica próxima de $25\%$ sob convenções usuais, mas não “ignora” mecanicamente um quarto de cada lado: em amostras pequenas, a interpolação pode usar observações próximas dos extremos, e uma alteração isolada pode ou não mudar o resultado.

Uma terceira medida robusta é o desvio absoluto mediano (median absolute deviation), a mediana dos desvios absolutos em relação à mediana. Para os salários, seu valor bruto é $3{,}15$. Sob uma normal, o MAD populacional vale $\Phi^{-1}(0{,}75)\sigma\approx0{,}67449\sigma$; por isso o fator $1/\Phi^{-1}(0{,}75)\approx1{,}4826$ torna o estimador consistente para $\sigma$ quando $n$ cresce. Não é uma correção exata de pequena amostra. Aqui o valor escalado é aproximadamente $4{,}67$ mil.

As três medidas anteriores têm a mesma unidade dos dados, o que impede comparar dispersões entre variáveis de escalas diferentes. Para isso existe o coeficiente de variação (CV), uma medida relativa que divide o desvio padrão pela média:

Por ser um quociente de quantidades na mesma unidade, o CV é adimensional e costuma ser expresso em porcentagem. Para os salários, $\text{CV}=5{,}23/11{,}71\approx0{,}446$, ou $44{,}6\%$: neste conjunto, o desvio padrão equivale a quase metade da média, sem que exista um limiar universal que transforme isso automaticamente em “alto”. O CV compara dispersão relativa apenas em escalas de razão, com zero significativo, média positiva e afastada de zero. Temperatura em Celsius não admite essa leitura; salários e durações positivas admitem.

5.1 Exercícios da Seção 5

Exercício 1. Calcule a amplitude e o IQR dos salários da equipe.

Resolução. A amplitude é $22{,}0 - 6{,}5 = 15{,}5$. O IQR, com $Q_1 = 7{,}925$ e $Q_3 = 13{,}925$ (calculados no texto por interpolação linear), é $13{,}925 - 7{,}925 = 6{,}0$. A amplitude é mais que o dobro do IQR justamente porque incorpora o salário extremo de $22{,}0$, que o IQR descarta.

Exercício 2. Calcule o desvio absoluto mediano dos salários e multiplique-o por $1{,}4826$.

Exercício 3. Duas amostras: $A = {100, 102, 98, 101, 99}$ e $B = {10, 12, 8, 11, 9}$. Calcule o coeficiente de variação de cada uma e diga qual é relativamente mais dispersa.

Resolução. Ambas têm o mesmo desvio padrão amostral, $s \approx 1{,}581$, pois têm o mesmo padrão de desvios. Mas a média de $A$ é $100$ e a de $B$ é $10$. Assim, $\text{CV}_A = 1{,}581/100 \approx 0{,}0158$ ($1{,}58\%$) e $\text{CV}_B = 1{,}581/10 \approx 0{,}1581$ ($15{,}81\%$). Relativamente ao seu tamanho, $B$ é dez vezes mais dispersa que $A$, embora tenham a mesma dispersão absoluta.

Exercício 4. Explique por que é melhor dizer que o IQR resiste a contaminação do que dizer que ele “ignora exatamente $25\%$ de cada lado”.

Resolução. O IQR usa quartis, mas quartis amostrais dependem de método e podem interpolar observações próximas das caudas. Com os oito salários, mudar apenas $22$ para $80$ não altera os quartis lineares; com quatro valores, $Q_3$ linear usa parcialmente o máximo e pode mudar. A resistência é real e se aproxima de $25\%$ assintoticamente, mas não é uma regra mecânica de descarte em toda amostra.

Exercício 5. Compare a sensibilidade da amplitude, do IQR e do desvio padrão a um único outlier, substituindo $22{,}0$ por $80{,}0$ nos salários.

Resolução. A amplitude passa de $15{,}5$ para $80{,}0 - 6{,}5 = 73{,}5$, quase quintuplicando: reage ao máximo. O desvio padrão amostral cresce muito, pois o desvio $(80 - \bar{x})^2$ é enorme e ainda é elevado ao quadrado. O IQR, porém, permanece $6{,}0$: o valor $80{,}0$ continua sendo o maior, acima de $Q_3$, e os quartis dependem só do miolo, que não mudou. A ordenação da robustez é clara: IQR resiste, desvio padrão cede, amplitude cede por completo.

6. Localização, dispersão e MSE em C++

Reunimos agora as medidas em um programa didático de referência para CPU. A função resumo recebe uma visão não proprietária dos salários, valida os contratos e calcula média, mediana, média aparada, desvio padrão amostral, amplitude, IQR, MAD escalado e coeficiente de variação. A função erro_quadratico_medio recebe observações e previsões separadamente, pois MSE compara duas sequências. Os quartis usam o método linear do numpy.percentile. Compile com g++ -std=c++23 -O2 -Wall -Wextra -Wconversion -Wshadow -pedantic dispersao.cpp -o dispersao.

#include <algorithm>
#include <cmath>
#include <cstddef>
#include <iomanip>
#include <iostream>
#include <numeric>
#include <span>
#include <stdexcept>
#include <vector>

double media(std::span<const double> x) {
    if (x.empty()) {
        throw std::invalid_argument("a média exige dados");
    }
    return std::accumulate(x.begin(), x.end(), 0.0) /
           static_cast<double>(x.size());
}

double erro_quadratico_medio(
    std::span<const double> observado,
    std::span<const double> previsto) {
    if (observado.empty() || observado.size() != previsto.size()) {
        throw std::invalid_argument(
            "MSE exige sequências não vazias de mesmo tamanho");
    }
    double soma_quadrados = 0.0;
    for (std::size_t i = 0; i < observado.size(); ++i) {
        const double erro = observado[i] - previsto[i];
        soma_quadrados += erro * erro;
    }
    return soma_quadrados / static_cast<double>(observado.size());
}

double percentil_ordenado(std::span<const double> x, double p) {
    if (x.empty() || p < 0.0 || p > 100.0 || !std::ranges::is_sorted(x)) {
        throw std::invalid_argument("percentil exige dados ordenados e p em [0,100]");
    }
    const double pos = (p / 100.0) * static_cast<double>(x.size() - 1);
    const auto inferior = static_cast<std::size_t>(pos);
    const double fracao = pos - static_cast<double>(inferior);
    if (inferior + 1 >= x.size()) {
        return x[inferior];
    }
    return x[inferior] + fracao * (x[inferior + 1] - x[inferior]);
}

double desvio_padrao(std::span<const double> x) {
    if (x.size() < 2) {
        throw std::invalid_argument("o desvio amostral exige n >= 2");
    }
    const double m = media(x);
    double soma_quadrados = 0.0;
    for (const double valor : x) {
        const double desvio = valor - m;
        soma_quadrados += desvio * desvio;
    }
    return std::sqrt(soma_quadrados / static_cast<double>(x.size() - 1));
}

double media_aparada(std::span<const double> x, double alpha) {
    if (x.empty() || alpha < 0.0 || alpha >= 0.5) {
        throw std::invalid_argument("alpha deve pertencer a [0,0.5)");
    }
    std::vector<double> ordenados(x.begin(), x.end());
    std::ranges::sort(ordenados);
    const auto corte = static_cast<std::size_t>(
        std::floor(alpha * static_cast<double>(ordenados.size())));
    if (2 * corte >= ordenados.size()) {
        throw std::invalid_argument("a apara removeu todos os valores");
    }
    const double soma = std::accumulate(
        ordenados.begin() + static_cast<std::ptrdiff_t>(corte),
        ordenados.end() - static_cast<std::ptrdiff_t>(corte), 0.0);
    return soma / static_cast<double>(ordenados.size() - 2 * corte);
}

double mad_bruto(std::span<const double> ordenados, double mediana) {
    std::vector<double> desvios;
    desvios.reserve(ordenados.size());
    for (const double valor : ordenados) {
        desvios.push_back(std::abs(valor - mediana));
    }
    std::ranges::sort(desvios);
    return percentil_ordenado(desvios, 50.0);
}

struct Resumo {
    double media;
    double mediana;
    double media_aparada;
    double desvio_padrao;
    double amplitude;
    double iqr;
    double mad_escalado;
    double cv;
};

Resumo resumo(std::span<const double> x) {
    if (x.size() < 2) {
        throw std::invalid_argument("o resumo exige ao menos duas observações");
    }
    std::vector<double> ordenados(x.begin(), x.end());
    std::ranges::sort(ordenados);
    const double m = media(x);
    if (m == 0.0) {
        throw std::domain_error("CV indefinido para média zero");
    }
    const double med = percentil_ordenado(ordenados, 50.0);
    const double q1 = percentil_ordenado(ordenados, 25.0);
    const double q3 = percentil_ordenado(ordenados, 75.0);
    constexpr double fator_mad_normal = 1.482602218505602;
    const double s = desvio_padrao(x);
    return {
        m,
        med,
        media_aparada(x, 0.20),
        s,
        ordenados.back() - ordenados.front(),
        q3 - q1,
        fator_mad_normal * mad_bruto(ordenados, med),
        s / m
    };
}

int main() {
    const std::vector<double> salarios =
        {6.5, 9.0, 12.0, 15.5, 8.2, 22.0, 7.1, 13.4};
    const Resumo r = resumo(salarios);
    const std::vector<double> previsao_media(salarios.size(), r.media);

    std::cout << std::fixed << std::setprecision(4);
    std::cout << "media        = " << r.media << '\n';
    std::cout << "mediana      = " << r.mediana << '\n';
    std::cout << "media aparada= " << r.media_aparada << '\n';
    std::cout << "desvio padrao= " << r.desvio_padrao << '\n';
    std::cout << "amplitude    = " << r.amplitude << '\n';
    std::cout << "IQR          = " << r.iqr << '\n';
    std::cout << "MAD escalado = " << r.mad_escalado << '\n';
    std::cout << "CV           = " << r.cv << '\n';
    std::cout << "MSE(media)   = "
              << erro_quadratico_medio(salarios, previsao_media) << '\n';
}

A saída é

media        = 11.7125
mediana      = 10.5000
media aparada= 10.8667
desvio padrao= 5.2270
amplitude    = 15.5000
IQR          = 6.0000
MAD escalado = 4.6702
CV           = 0.4463
MSE(media)   = 23.9061

exatamente os números que deduzimos à mão. No Colab, pd.Series(salarios).describe() cobre a maior parte; scipy.stats.trim_mean(salarios, 0.2) fornece a média aparada, scipy.stats.median_abs_deviation(salarios, scale="normal") fornece o MAD escalado e s/media fornece o CV. O método de percentil deve permanecer explícito para que outra convenção não altere silenciosamente os quartis.

6.1 Exercícios da Seção 6

Exercício 1. Explique por que percentil_ordenado verifica ordenação em vez de ordenar silenciosamente.

Resolução. A função recebe uma visão e promete não possuir nem modificar os dados. Ordenar exigiria cópia ou mutação; a verificação torna o contrato observável. A função resumo escolhe copiar e ordenar uma vez, depois reutiliza a ordem para vários quantis.

Exercício 2. Quais entradas são recusadas por desvio_padrao e media_aparada, e por quê?

Resolução. O desvio amostral recusa $n<2$, pois o divisor $n-1$ seria zero ou sem sentido. A média aparada recusa dados vazios, $\alpha<0$, $\alpha\ge0{,}5$ e qualquer corte que remova tudo. Cada recusa corresponde a um domínio matemático, não a preferência do programa.

Exercício 3. Por que Resumo contém valores, não referências ou spans?

Resolução. O resumo é pequeno e deve sobreviver às cópias temporárias usadas no cálculo. Guardar referências aos vetores locais de resumo criaria objetos pendentes ao retornar. Oito double tornam a cópia simples e segura.

Exercício 4. Calcule o que aconteceria ao CV dos dados {-1,1} e relacione com a exceção do programa.

Resolução. A média é zero e o desvio padrão é positivo, portanto $s/\bar{x}$ exigiria divisão por zero. O programa lança domain_error. Mais profundamente, os dados atravessam zero e não estão em uma escala de razão positiva adequada ao CV.

Exercício 5. A função de variância usa duas passagens: uma para a média e outra para quadrados. Que vantagem didática e que limite numérico isso traz?

Resolução. A forma reproduz diretamente a definição e é mais estável que calcular E[X²]-E[X]² em dados próximos. Ainda pode perder precisão ao somar muitos valores ou transbordar com magnitudes enormes; uma implementação de produção pode usar soma compensada ou Welford, validada contra esta referência.

7. Um laboratório para localização e dispersão

A robustez é um conceito que se entende de verdade quando se vê acontecer. O laboratório abaixo separa duas intervenções: adicionar uma nona observação e substituir o maior salário. A primeira muda o tamanho da amostra; a segunda corresponde ao ponto de ruptura definido na Seção 2. Média, mediana, média aparada, desvio padrão e IQR aparecem com a variação em relação aos oito salários originais. Leve o controle ao máximo e compare quais medidas acompanham a contaminação e quais mudam pouco — sem exigir que o IQR fique numericamente imóvel em toda convenção e tamanho.

O que o laboratório ensina é uma escolha condicionada. Sob dados aproximadamente normais e sem contaminação, média e desvio padrão aproveitam bem todas as observações. Sob caudas pesadas, erros ou valores genuinamente extremos, mediana, IQR e MAD podem descrever melhor o centro e a escala pretendidos. A decisão depende do estimando e do modelo, não de uma superioridade universal.

7.1 Exercícios da Seção 7

Exercício 1. No modo “substituir”, leve $22$ para $1\,000\,000$. Quais medidas devem permanecer finitas e próximas da base?

Resolução. Mediana e quartis permanecem determinados pelos valores centrais; o IQR e a média aparada mudam pouco ou nada conforme o corte. Média, desvio padrão e amplitude crescem com o valor substituto. O experimento usa uma substituição em oito, fração $1/8$.

Exercício 2. Por que adicionar $120$ e substituir $22$ por $120$ não são o mesmo experimento?

Resolução. Adicionar muda $n$ de $8$ para $9$, todas as posições percentuais e a fração efetivamente aparada. Substituir mantém $n=8$ e altera um dado. Os dois medem sensibilidades diferentes; apenas o segundo coincide com a definição de ruptura usada no texto.

Exercício 3. No modo “adicionar”, insira $10{,}5$. O novo valor é um outlier? O que acontece com a mediana?

Resolução. $10{,}5$ fica no centro, não na cauda. Com nove valores, ele ocupa a posição central e a mediana continua $10{,}5$. O rótulo “valor controlado” é mais correto que chamar todo valor inserido de outlier.

Exercício 4. Compare o delta da média e da mediana quando o valor controlado passa de $40$ para $120$. Qual relação espera?

Resolução. A média cresce linearmente com o valor extremo, com inclinação $1/n$ no modo de substituição ou adição. Enquanto a ordem central não muda, a mediana tem delta zero. Esse contraste é a influência não limitada da média contra a influência local da mediana.

Exercício 5. Proponha um estado que faria o CV enganar e explique como o laboratório deveria tratá-lo.

Resolução. Valores positivos e negativos quase cancelados podem produzir média próxima de zero e CV enorme. O laboratório deveria mostrar uma mensagem de domínio — “CV não interpretável nesta escala/média” — em vez de apresentar o quociente como dispersão relativa válida.

8. Conclusão

Este artigo respondeu às duas primeiras perguntas da estatística descritiva com mais de uma resposta cada, e essa multiplicidade foi o ponto. Para o centro, temos a média, eficiente sob modelos como o normal mas frágil a contaminação, e a mediana, robusta por minimizar desvios absolutos, com a média aparada e versões ponderadas entre elas. Para a dispersão, deduzimos por que $n-1$ torna a variância não viesada sob IID, construímos IQR e MAD como alternativas robustas e restringimos o coeficiente de variação às escalas de razão em que ele é interpretável.

Ao passar de uma sequência para pares de observação e previsão, construímos o MSE. A mesma soma de quadrados tornou-se função de perda empírica; sua esperança definiu risco; sua decomposição escolheu a média condicional e separou ruído, viés e variância. Também fixamos as fronteiras: MSE não é variância amostral, RMSE muda a unidade mas não o modelo vencedor, e nenhum escalar revela sozinho sinal, ordem ou estrutura dos resíduos.

O fio que costura todas essas medidas é a robustez, e a lição a levar adiante é que a escolha entre uma medida clássica e sua contraparte robusta é uma decisão consciente sobre o quanto se confia na ausência de valores extremos. Duas medidas, porém, ainda não descrevem uma distribuição inteira: dois conjuntos com a mesma média e o mesmo desvio padrão podem ter formas radicalmente distintas. O próximo artigo vai além dos números e mostra como enxergar a forma completa dos dados, com percentis, boxplots e histogramas, transformando oito salários em uma figura que conta sua história de uma só vez.

Acrônimos e Abreviações neste artigo

A seguir está a lista de todos os acrônimos e abreviações identificados no texto, organizados em ordem alfabética com o termo original em inglês e a tradução para o português:

Referências

BRUCE, P.; BRUCE, A.; GEDECK, P. Practical Statistics for Data Scientists. 2. ed. Sebastopol: O’Reilly, 2020.

COSTA NETO, P. L. de O. Estatística. São Paulo: Blucher, 2002.

GNEITING, T. Making and Evaluating Point Forecasts. Journal of the American Statistical Association, v. 106, n. 494, p. 746-762, 2011. Disponível em: https://doi.org/10.1198/jasa.2011.r10138. Acesso em: 31 jul. 2026.

HYNDMAN, R. J.; KOEHLER, A. B. Another Look at Measures of Forecast Accuracy. International Journal of Forecasting, v. 22, n. 4, p. 679-688, 2006. Disponível em: https://doi.org/10.1016/j.ijforecast.2006.03.001. Acesso em: 31 jul. 2026.

JAMES, G.; WITTEN, D.; HASTIE, T.; TIBSHIRANI, R. An Introduction to Statistical Learning: with Applications in R. 2. ed. New York: Springer, 2021. Disponível em: https://www.statlearning.com/. Acesso em: 31 jul. 2026.

LARSON, R.; FARBER, B. Estatística aplicada. 6. ed. São Paulo: Pearson, 2015.

MORETTIN, L. G. Estatística básica: probabilidade e inferência. São Paulo: Pearson Prentice Hall, 2010.

ORLOFF, J.; BLOOM, J. 18.05 Introduction to Probability and Statistics. MIT OpenCourseWare, 2022. Disponível em: https://ocw.mit.edu/courses/18-05-introduction-to-probability-and-statistics-spring-2022/. Acesso em: 16 jul. 2026.