Probabilità e statistica (3): distribuzioni continue e test statistici

Probabilità e statistica — serie in tre parti

Probabilità, variabili casuali, valore atteso e covarianza
Distribuzioni discrete: Bernoulli, binomiale, Poisson e il teorema del limite centrale
Distribuzioni continue: dalla normale al chi quadro, e i test statistici (questo articolo)

Nella seconda parte abbiamo trattato le distribuzioni discrete, dove la probabilità è una somma di masse concentrate sui singoli valori interi. Qui passiamo al continuo: i valori riempiono un intervallo, la somma diventa un integrale e la distribuzione di probabilità lascia il posto alla densità. Molte distribuzioni continue sono le controparti dirette di quelle discrete — l'esponenziale è la geometrica del continuo, la Gamma è la binomiale negativa — e il ponte fra i due mondi è, ancora una volta, la funzione generatrice dei momenti.

Il percorso attraversa uniforme, esponenziale, Laplace, Gamma, normale e chi quadro, per arrivare a ciò per cui tutto questo apparato serve davvero: i test statistici. Chiudiamo con Shapiro-Wilk, il test chi quadro e il test esatto di Fisher, cioè gli strumenti con cui si decide se un'ipotesi regge di fronte ai dati.

1. Densità e funzione di ripartizione

Nel continuo non ha più senso chiedere la probabilità che $X$ valga esattamente un numero — è sempre zero. Ha senso chiedere la probabilità che $X$ cada in un intervallo, e questa si ottiene integrando una funzione densità.

DefinizioneDensità di probabilità. Una funzione $f : \mathbb{R} \to \mathbb{R}$ è una densità di probabilità se:

$\forall x \in \mathbb{R} : f(x) \geq 0$;
$\int_{\mathbb{R}} f(x)\, dx = 1$;
$\forall a, b \in \mathbb{R},\ a \lt b : P(a \leq X \leq b) = \int_a^b f(x)\, dx$.

Le prime due condizioni sono l'analogo continuo della non negatività e della normalizzazione degli assiomi di Kolmogorov: la densità non è mai negativa e l'area totale sotto la curva vale $1$. La terza dice che la probabilità è l'area sotto la densità sull'intervallo. Integrando da sinistra si ottiene la funzione che accumula la probabilità.

DefinizioneFunzione di ripartizione (CDF). La funzione $F_X(y) = P(X \leq y) = \int_{-\infty}^{y} f(x)\, dx$ si dice funzione di distribuzione cumulativa della variabile casuale $X$.

Densità e ripartizione sono legate dal teorema fondamentale del calcolo: la derivata di $F$ è $f$. La $F$ è sempre continua e monotòna crescente da $0$ a $1$; la densità $f$, invece, non è necessariamente continua né limitata. È questa la coppia di oggetti con cui descriveremo ogni distribuzione continua.

2. La distribuzione uniforme

La più semplice: tutti i valori di un intervallo sono equiprobabili, la densità è costante.

DefinizioneDistribuzione uniforme. Una variabile continua $X$ con $R_X = [a, b]$ è distribuita uniformemente su $[a, b]$, e si denota $U(a, b)$, se ha densità $$f(x) = \begin{cases} \dfrac{1}{b - a} & \text{se } a \leq x \leq b, \\[4pt] 0 & \text{se } x \notin [a, b]. \end{cases}$$

L'altezza $\frac{1}{b-a}$ è esattamente quella che rende l'area del rettangolo uguale a $1$. I momenti si calcolano con integrali elementari:

$$\mathbb{E}[X] = \int_a^b \frac{x}{b-a}\, dx = \frac{1}{b-a}\left[\frac{x^2}{2}\right]_a^b = \frac{b^2 - a^2}{2(b-a)} = \frac{a+b}{2},$$

$$\mathbb{E}[X^2] = \int_a^b \frac{x^2}{b-a}\, dx = \frac{1}{b-a}\left[\frac{x^3}{3}\right]_a^b = \frac{b^3 - a^3}{3(b-a)} = \frac{b^2 + ab + a^2}{3}.$$

Da cui la varianza, dopo qualche semplificazione:

$$\sigma^2 = \mathbb{E}[X^2] - \mu^2 = \frac{b^2 + ab + a^2}{3} - \frac{(a+b)^2}{4} = \frac{(b-a)^2}{12},$$

e la funzione generatrice dei momenti, valida per $t \neq 0$:

$$M_X(t) = \int_a^b e^{tx}\frac{1}{b-a}\, dx = \frac{1}{b-a}\left[\frac{e^{tx}}{t}\right]_a^b = \frac{e^{tb} - e^{ta}}{t(b-a)}.$$

La media è, come ci si aspetta, il punto medio dell'intervallo. È la distribuzione da cui partono i generatori di numeri casuali: $U(0,1)$ è il mattone con cui, tramite la trasformazione inversa della CDF, si campionano tutte le altre.

3. La distribuzione esponenziale

L'esponenziale è l'analogo continuo della geometrica. La geometrica misura la probabilità che il primo successo arrivi dopo $k$ prove di Bernoulli; l'esponenziale misura la probabilità che un evento — che si verifica in media $\alpha$ volte per unità di tempo — arrivi dopo $x$ unità di tempo.

DefinizioneDistribuzione esponenziale. Una variabile continua ha distribuzione esponenziale di parametro $\alpha$ se $$f(x) = \begin{cases} \alpha\, e^{-\alpha x} & \text{se } x \geq 0, \\ 0 & \text{se } x \lt 0. \end{cases}$$

Densità esponenziale ($\alpha = 1$): decadimento continuo. È la versione "liscia" della geometrica, e come quella è senza memoria.

Verifichiamo che integri a $1$, calcoliamo la ripartizione e la coda, tutti con la stessa primitiva $-e^{-\alpha x}$:

$$\int_0^{\infty} \alpha\, e^{-\alpha x}\, dx = \big[-e^{-\alpha x}\big]_0^{\infty} = 0 - (-1) = 1,$$

$$F(x) = \int_0^x \alpha\, e^{-\alpha t}\, dt = 1 - e^{-\alpha x}\ (x \geq 0), \qquad P(X \gt x) = 1 - F(x) = e^{-\alpha x}.$$

La forma $P(X \gt x) = e^{-\alpha x}$ è l'esatto parallelo del $P(X \gt k) = q^k$ della geometrica, e produce la stessa proprietà notevole.

ProposizioneL'esponenziale è senza memoria. Vale $P(X \gt s + t \mid X \gt s) = P(X \gt t)$, infatti $$\frac{P(X \gt s + t)}{P(X \gt s)} = \frac{e^{-\alpha(s+t)}}{e^{-\alpha s}} = e^{-\alpha t} = P(X \gt t).$$

Il significato è lo stesso della geometrica: un componente che segue una legge esponenziale non "invecchia". Se è sopravvissuto per un tempo $s$, la sua probabilità di durare altri $t$ è identica a quella di un componente nuovo. È l'assunzione — spesso comoda, a volte irrealistica — alla base dei modelli di affidabilità e delle code markoviane.

4. La distribuzione di Laplace

Una variante utile, che incontreremo nella regolarizzazione e nei meccanismi di privacy differenziale, si ottiene "specchiando" l'esponenziale attorno a un centro.

DefinizioneDistribuzione di Laplace. Ha densità $$f(x \mid \mu, b) = \frac{1}{2b} \exp\!\left(-\frac{|x - \mu|}{b}\right),$$ dove $\mu$ è il parametro di posizione (la mediana) e $b \gt 0$ il parametro di scala, che controlla la dispersione attorno a $\mu$.

Il valore assoluto rende la densità simmetrica rispetto a $\mu$: è due esponenziali affiancate, una per lato, da cui l'altro nome di doppia esponenziale. Rispetto alla normale ha un picco più aguzzo e code più pesanti, e proprio queste code la rendono adatta a modellare fenomeni con valori estremi più frequenti di quanto la gaussiana preveda.

5. La distribuzione Gamma

La Gamma sta all'esponenziale come la binomiale negativa sta alla geometrica: se l'esponenziale misura l'attesa del primo evento, la Gamma misura l'attesa dell'$r$-esimo. Una Gamma di parametri $(r, \alpha)$ è, di fatto, la somma di $r$ esponenziali indipendenti di parametro $\alpha$.

DefinizioneDistribuzione Gamma. Ha densità $$f(x) = \begin{cases} \dfrac{\alpha}{\Gamma(r)}(\alpha x)^{r-1} e^{-\alpha x} & \text{se } x \geq 0, \\ 0 & \text{se } x \lt 0, \end{cases} \qquad \alpha \gt 0,\ r \gt 0,$$ dove la funzione $\Gamma$ è definita da $\displaystyle \Gamma(r) = \int_0^{\infty} x^{r-1} e^{-x}\, dx$.

La funzione $\Gamma$ merita una digressione, perché è il fattoriale esteso ai reali (e ai complessi) e ricorre in tutte le distribuzioni che seguono. Ne raccogliamo le proprietà principali.

ProposizioneProprietà della funzione $\Gamma$.

Formula di riflessione di Eulero: $\displaystyle \Gamma(1 - z)\,\Gamma(z) = \frac{\pi}{\sin(\pi z)}$;
Formula di duplicazione: $\displaystyle \Gamma(z)\,\Gamma\!\left(z + \tfrac{1}{2}\right) = 2^{1 - 2z} \sqrt{\pi}\ \Gamma(2z)$;
Formula di moltiplicazione: $\displaystyle \prod_{k=0}^{m-1} \Gamma\!\left(z + \tfrac{k}{m}\right) = (2\pi)^{\frac{m-1}{2}}\, m^{\frac{1}{2} - mz}\, \Gamma(mz)$;
Derivate: $\displaystyle \Gamma^{(n)}(z) = \int_0^{\infty} (\ln t)^n\, t^{z-1} e^{-t}\, dt$;
ponendo $z = \tfrac{1}{2}$ nella riflessione si ottiene $\Gamma\!\left(\tfrac{1}{2}\right) = \sqrt{\pi}$.

Il valore $\Gamma(1/2) = \sqrt{\pi}$ è il ponte fra la funzione $\Gamma$ e l'integrale gaussiano, come mostra il lemma seguente, che è il conto centrale per normalizzare la distribuzione normale.

ProposizioneL'integrale gaussiano. Ponendo $t = \frac{x^2}{2}$, da cui $x = \sqrt{2t}$ e $dx = \frac{1}{\sqrt{2t}}\, dt$, si ha

$$\int_{-\infty}^{\infty} e^{-\frac{x^2}{2}}\, dx = 2 \int_0^{\infty} e^{-\frac{x^2}{2}}\, dx = 2 \int_0^{\infty} \frac{1}{\sqrt{2}}\, t^{-\frac{1}{2}} e^{-t}\, dt = \sqrt{2}\, \Gamma\!\left(\tfrac{1}{2}\right) = \sqrt{2\pi}.$$

Che la $\Gamma$ sia un fattoriale esteso si vede da tre osservazioni combinate: il valore in $1$, il valore in $1/2$, e soprattutto la relazione di ricorrenza che si ottiene integrando per parti.

Proposizione$\Gamma$ come fattoriale esteso.

$\Gamma(1) = \int_0^{\infty} e^{-x}\, dx = \big[-e^{-x}\big]_0^{\infty} = 1$;
$\Gamma\!\left(\tfrac{1}{2}\right) = \int_0^{\infty} x^{-\frac{1}{2}} e^{-x}\, dx = \sqrt{\pi}$;
integrando per parti, per $t \gt 1$: $\Gamma(t) = (t-1)\,\Gamma(t-1)$;
unendo i punti 1 e 3, per $t$ intero positivo si ha $\Gamma(t) = (t-1)!$;
si dimostra che $\Gamma(z+1) = z\,\Gamma(z)$ vale per ogni $z \in \mathbb{C}$.

Attenzione all'indice. La relazione con il fattoriale è $\Gamma(n) = (n-1)!$ per $n$ intero positivo, ovvero, in modo equivalente, $\Gamma(n+1) = n!$. Lo scostamento di uno rispetto all'argomento è la fonte di errore più comune nel maneggiare la $\Gamma$.

Dalla ricorrenza segue immediatamente il legame con l'esponenziale, e poi la funzione generatrice dei momenti.

ProposizioneL'esponenziale è una Gamma con $r = 1$. Per $r = 1$ la densità Gamma si riduce a $f(x) = \alpha\, e^{-\alpha x}$ per $x \gt 0$, cioè alla distribuzione esponenziale.

ProposizioneMGF della Gamma. Con la sostituzione $u = x(\alpha - t)$,

$$M_X(t) = \int_0^{\infty} e^{tx}\, \frac{\alpha(\alpha x)^{r-1}}{\Gamma(r)} e^{-\alpha x}\, dx = \frac{\alpha^r}{\Gamma(r)} \int_0^{\infty} x^{r-1} e^{-x(\alpha - t)}\, dx = \left(\frac{\alpha}{\alpha - t}\right)^{r} \frac{1}{\Gamma(r)} \int_0^{\infty} u^{r-1} e^{-u}\, du = \left(\frac{\alpha}{\alpha - t}\right)^{r},$$

valida per $t \lt \alpha$.

Da qui, derivando in $t = 0$, si ricavano media e varianza. Sono $r$ volte quelle dell'esponenziale (che ha $\mathbb{E} = 1/\alpha$, $\mathrm{Var} = 1/\alpha^2$), coerentemente con la lettura "somma di $r$ esponenziali":

$$M_X'(0) = \frac{r}{\alpha} \Rightarrow \mathbb{E}[X] = \frac{r}{\alpha}, \qquad \sigma^2 = M_X''(0) - \big(M_X'(0)\big)^2 = \frac{r^2 + r}{\alpha^2} - \frac{r^2}{\alpha^2} = \frac{r}{\alpha^2}.$$

6. La distribuzione normale

Arriviamo alla distribuzione centrale di tutta la statistica, quella verso cui converge la media campionaria per il teorema del limite centrale visto nella seconda parte.

DefinizioneDistribuzione normale (di Gauss). È la distribuzione continua di densità $$f(x \mid \mu, \sigma^2) = \frac{1}{\sigma \sqrt{2\pi}} \exp\!\left(-\frac{1}{2}\left(\frac{x - \mu}{\sigma}\right)^2\right),$$ dove $\mu$ è la media e $\sigma$ la deviazione standard; si denota $N(\mu, \sigma^2)$.

La campana di Gauss: simmetrica attorno a $\mu$, unimodale, definita su tutta la retta. I punti di flesso cadono a $\mu \pm \sigma$.

Le sue proprietà qualitative si leggono dalla formula. È simmetrica rispetto a $\mu$, perché dipende da $x$ solo tramite $(x - \mu)^2$; è unimodale, con un unico picco in $x = \mu$; dipende da due soli parametri, la media $\mu$ che la posiziona e la deviazione standard $\sigma$ che la allarga o la stringe; ed è definita per ogni valore reale di $x$. La costante $\frac{1}{\sigma\sqrt{2\pi}}$ è proprio quella che normalizza l'integrale gaussiano calcolato sopra. La funzione generatrice dei momenti ha forma particolarmente compatta:

$$M_X(t) = \exp\!\left(\mu t + \frac{\sigma^2 t^2}{2}\right),$$

dove $\mu$ e $\sigma^2$ sono, come sempre, valore atteso e varianza. Il caso con $\mu = 0$ e $\sigma^2 = 1$ prende un nome proprio, la normale standard, ed è quello tabulato una volta per tutte, perché ogni altra normale vi si riconduce con una traslazione e un riscalamento.

ProposizioneStandardizzazione. Se $X \sim N(\mu, \sigma^2)$, la variabile $Z = \frac{X - \mu}{\sigma}$ ha distribuzione $N(0, 1)$. Di conseguenza, per $a \lt b$,

$$P(a \leq X \leq b) = P\!\left(\frac{a - \mu}{\sigma} \leq Z \leq \frac{b - \mu}{\sigma}\right) = \Phi\!\left(\frac{b - \mu}{\sigma}\right) - \Phi\!\left(\frac{a - \mu}{\sigma}\right),$$

dove $\Phi$ è la funzione di ripartizione della normale standard.

È la ragione pratica per cui basta una sola tabella (o una sola funzione $\Phi$) per calcolare probabilità di qualunque normale: si standardizza, si legge $\Phi$, si fa la differenza. La normale è così centrale — analisi dei dati, regressione, serie temporali — proprio perché descrive con accuratezza moltissimi fenomeni naturali, che il limite centrale spiega come somme di tanti piccoli contributi indipendenti.

7. Verificare la normalità: il test di Shapiro-Wilk

Molte procedure statistiche presuppongono che i dati siano normali. Il test di Shapiro-Wilk serve a controllare se questa assunzione regge, confrontando i dati osservati con quelli che ci si aspetterebbe sotto normalità.

L'ipotesi nulla $H_0$ è che il campione provenga da una popolazione normale; l'alternativa $H_1$ è che non lo sia. Il test calcola una statistica $W$ come rapporto fra due stime della varianza — una basata sui coefficienti ottimali per una normale, l'altra sulla dispersione empirica:

$$W = \frac{\left(\sum_{i=1}^{n} a_i\, x_{(i)}\right)^2}{\sum_{i=1}^{n} (x_i - \bar{x})^2},$$

dove $x_{(i)}$ sono i dati ordinati in senso crescente, $\bar{x}$ è la media campionaria e gli $a_i$ sono coefficienti di pesatura ottimali che dipendono dalla dimensione del campione e dalla normale teorica di riferimento. In forma schematica $a_i = m_i / \sigma$, con $m_i$ i valori attesi delle statistiche d'ordine e $\sigma$ un fattore di normalizzazione del campione ordinato.

La lettura è quella comune a tutti i test d'ipotesi: alla statistica $W$ si associa un p-value. Se il p-value è inferiore al livello di significatività scelto (tipicamente $0{,}05$), si rigetta $H_0$ e si conclude che i dati non sono normali; altrimenti non si hanno elementi per rigettarla. Come sempre, non rigettare l'ipotesi nulla non significa dimostrarla: significa solo che i dati non la contraddicono in modo evidente.

8. La distribuzione chi quadro

L'ultima distribuzione continua è quella che governa la maggior parte dei test sulle varianze e sulle frequenze. Nasce come caso particolare della Gamma, e allo stesso tempo come somma di normali al quadrato.

DefinizioneDistribuzione $\chi^2_k$. Ponendo $r = \frac{k}{2}$ e $\alpha = \frac{1}{2}$ nella Gamma (con $k$ intero positivo) si ottiene la densità della $\chi^2$ con $k$ gradi di libertà: $$\chi^2_k(x) = \begin{cases} \dfrac{1}{2^{k/2}\, \Gamma\!\left(\frac{k}{2}\right)}\, x^{\frac{k}{2} - 1} e^{-\frac{x}{2}} & \text{se } x \geq 0, \\ 0 & \text{se } x \lt 0. \end{cases}$$ Equivalentemente, la $\chi^2_k$ è la distribuzione della variabile $$\chi^2_k = x_1^2 + x_2^2 + \dots + x_k^2,$$ somma dei quadrati di $k$ variabili indipendenti $x_1, \dots, x_k$ con distribuzione normale standard $N(0, 1)$.

Densità $\chi^2_k$ al crescere dei gradi di libertà $k$: il picco si sposta verso destra (il massimo è in $k-2$ per $k \gt 2$) e la forma si fa via via più simmetrica, tendendo alla normale.

Il parametro $k$, detto numero di gradi di libertà, conta quante normali indipendenti stiamo sommando. Nel calcolo di $\Gamma(k/2)$ tornano utili due formule notevoli, a seconda della parità di $k$: $\Gamma\!\left(\frac{k}{2}\right) = \sqrt{\pi}\, \frac{(k-2)!!}{2^{(k-1)/2}}$ se $k$ è dispari, e $\Gamma\!\left(\frac{k}{2}\right) = \left(\frac{k}{2} - 1\right)!$ se $k$ è pari. Le quantità caratteristiche sono semplici e vale la pena ricordarle.

ProposizioneCaratteristiche della $\chi^2_k$.

$\mathbb{E}[X] = k$;
$\sigma^2 = 2k$;
$M_X(t) = (1 - 2t)^{-k/2}$;
per $k \gt 2$ la densità ha un massimo in $x = k - 2$;
$\chi^2_m + \chi^2_n = \chi^2_{m+n}$ (additività, immediata dalla definizione come somma di quadrati).

L'additività è naturale: sommare una $\chi^2$ di $m$ quadrati e una di $n$ quadrati indipendenti dà una somma di $m + n$ quadrati, cioè una $\chi^2_{m+n}$. E per il teorema del limite centrale, essendo la $\chi^2_k$ una somma di $k$ variabili indipendenti (i quadrati $x_i^2$), la sua versione standardizzata converge alla normale:

$$\frac{\chi^2_k - k}{\sqrt{2k}} \ \xrightarrow{k \to \infty}\ N(0, 1).$$

In pratica, per $k$ superiore a $30$–$50$, la $\chi^2_k$ si approssima con una normale. Il suo uso principale è duplice: stimare una varianza e condurre il test chi quadro. Il legame con la varianza è il seguente: date $n$ osservazioni indipendenti $x_1, \dots, x_n$ da una $N(\mu, \sigma)$, con media campionaria $\hat{x} = \frac{1}{n}\sum_i x_i$ e varianza campionaria $S^2_{n-1} = \frac{\sum_{i=1}^n (x_i - \hat{x})^2}{n-1}$, lo stimatore della varianza segue la legge $\frac{\sigma^2}{n-1}\chi^2(n-1)$. La funzione di ripartizione si esprime tramite la funzione gamma incompleta inferiore:

$$F_k(x) = \frac{1}{\Gamma\!\left(\frac{k}{2}\right)}\, \gamma\!\left(\frac{k}{2}, \frac{x}{2}\right), \qquad \gamma(s, x) = \int_0^x t^{s-1} e^{-t}\, dt.$$

Il test chi quadro

Il test chi quadro confronta le frequenze osservate in un campione con quelle attese sotto una data ipotesi. Dati eventi possibili $E_1, \dots, E_k$ con frequenze osservate $f_1, \dots, f_k$ e frequenze attese $e_1, \dots, e_k$, si costruisce la statistica

$$\chi^2 = \sum_{i=1}^{k} \frac{(f_i - e_i)^2}{e_i}.$$

Ogni addendo misura lo scarto quadratico fra osservato e atteso, normalizzato dall'atteso: più grande è $\chi^2$, maggiore è la discrepanza fra la teoria e i dati. La statistica si distribuisce come una $\chi^2$ con $k - 1$ gradi di libertà se $k$ è fissato (con $n$ aleatorio si usano $k$ gradi). Fissata una soglia di errore tollerato $\alpha$, si consultano le tavole della $\chi^2$: se il valore osservato supera il valore critico, si rigetta l'ipotesi che il campione provenga dalla distribuzione attesa.

Una condizione di validità. Il test chi quadro è affidabile solo se nessuna frequenza attesa è inferiore a $5$: con conteggi piccoli l'approssimazione alla $\chi^2$ si rompe. In quel caso si ricorre al test esatto di Fisher, che tratteremo adesso.

9. Il test esatto di Fisher

Il test di Fisher determina se c'è un'associazione significativa fra due variabili categoriali in una tabella di contingenza $2 \times 2$, ed è particolarmente adatto ai campioni piccoli, dove il chi quadro non è applicabile. Al posto di un'approssimazione, calcola la probabilità esatta di osservare la tabella, sotto l'ipotesi nulla di indipendenza.

Data una tabella di contingenza:

	Colonna 1	Colonna 2
Riga 1	$a$	$b$
Riga 2	$c$	$d$

la probabilità di quella specifica configurazione, a totali marginali fissati, si calcola con la distribuzione ipergeometrica:

$$P = \frac{\dbinom{a+b}{a} \dbinom{c+d}{c}}{\dbinom{a+b+c+d}{a+c}},$$

dove $\binom{n}{k}$ è il coefficiente binomiale visto nella seconda parte. L'ipotesi nulla $H_0$ è che le due variabili siano indipendenti, cioè che le proporzioni di riga coincidano: $\frac{a}{a+b} = \frac{c}{c+d}$. La forma dell'ipotesi alternativa dipende da cosa si vuole verificare.

Test a una coda. Si usa quando si ha un'ipotesi sulla direzione dell'associazione — per esempio che la proporzione nella prima colonna sia maggiore nella prima riga: $H_1 : \frac{a}{a+b} \gt \frac{c}{c+d}$. Si sommano allora le probabilità della configurazione osservata e di tutte quelle ancora più estreme in quella direzione.

Test a doppia coda. Si usa quando non si privilegia alcuna direzione ma si vuole solo rilevare una qualsiasi associazione: $H_1 : \frac{a}{a+b} \neq \frac{c}{c+d}$. Qui si sommano le probabilità di tutte le configurazioni almeno tanto estreme quanto quella osservata, in entrambe le direzioni.

La procedura, in sintesi, è la seguente:

Tabella di contingenza: si costruisce la tabella $2 \times 2$ con i dati osservati.
Probabilità ipergeometrica: si calcola la probabilità esatta della configurazione osservata.
Somma delle probabilità: per il test a una coda si sommano le configurazioni almeno tanto estreme nella direzione di $H_1$; per quello a doppia coda, in entrambe le direzioni.
Confronto con $\alpha$: se la somma è inferiore al livello di significatività, si rigetta $H_0$.

È una tecnica potente proprio là dove il chi quadro fallisce — sui piccoli campioni — perché non approssima nulla: enumera direttamente tutte le tabelle possibili e ne calcola la probabilità esatta.

Dove si arriva

Con questa terza parte il quadro si chiude. Siamo partiti, nella prima, dagli assiomi e dalle variabili aleatorie; nella seconda abbiamo costruito le distribuzioni discrete a partire dalla prova di Bernoulli; qui abbiamo attraversato il continuo — uniforme, esponenziale, Laplace, Gamma, normale, chi quadro — vedendo come ciascuna sia la controparte o il caso particolare di un'altra, e come tutte gravitino attorno alla normale per via del teorema del limite centrale. Gli ultimi tre strumenti — Shapiro-Wilk, chi quadro e Fisher — sono il punto in cui la teoria diventa decisione: da una distribuzione teorica e un campione, a un verdetto sull'ipotesi.

Sono le stesse distribuzioni che ricorrono nei modelli di machine learning, dove la normale, la Bernoulli e le loro parenti tornano come blocchi costitutivi delle funzioni di verosimiglianza e delle loss. Ma quello è materiale per un'altra serie.

← Parte 2: distribuzioni discrete e teorema del limite centrale

Cerca nel blog

Appunti di informatica