Probabilità e statistica (2): distribuzioni discrete

Probabilità e statistica — serie in tre parti

1. Probabilità, variabili casuali, valore atteso e covarianza
2. Distribuzioni discrete: Bernoulli, binomiale, Poisson e il teorema del limite centrale (questo articolo)
3. Distribuzioni continue: dalla normale al chi quadro, e i test statistici

Nella prima parte abbiamo costruito il vocabolario: spazio campionario, probabilità condizionata, variabili aleatorie, valore atteso, varianza e la funzione generatrice dei momenti. Erano tutti strumenti generali, validi per qualunque distribuzione. Qui li mettiamo al lavoro su casi concreti, calcolando esplicitamente media \(\mu\), varianza \(\sigma^2\) e funzione generatrice dei momenti \(M_X(t)\) per le distribuzioni discrete più importanti.

Il filo che le lega è la prova di Bernoulli, cioè il singolo esperimento con due soli esiti. Contando i successi, o le prove che servono per ottenerli, o gli eventi in un intervallo, si ottengono via via la binomiale, la geometrica, la binomiale negativa e — nel limite — la distribuzione di Poisson. All'estremità di tutto questo c'è un risultato che spiega perché la curva a campana compaia ovunque: il teorema del limite centrale, con cui chiudiamo l'articolo e apriamo la porta alle distribuzioni continue della terza parte.

1. La variabile di Bernoulli

Tutto parte dall'esperimento più semplice che si possa immaginare: una prova con due soli esiti, che chiamiamo convenzionalmente successo e fallimento.

DefinizioneVariabile di Bernoulli. Una variabile casuale di Bernoulli è una variabile discreta che assume solo due valori, di solito \(1\) (successo) e \(0\) (fallimento), con probabilità di successo \(p\) e di fallimento \(q = 1 - p\).

Le sue quantità caratteristiche si calcolano in una riga ciascuna, e conviene fissarle perché sono i mattoni di tutto il resto.

ProposizioneCaratteristiche della Bernoulli.

• Distribuzione: \(P(X = 1) = p\), \(P(X = 0) = 1 - p\), che si scrive in forma compatta \(p(X = x) = p^x (1 - p)^{1-x}\);
• Media: \(\mathbb{E}[X] = 0 \cdot q + 1 \cdot p = p\);
• Varianza: \(\mathrm{Var}[X] = p(1 - p) = p\,q\);
• MGF: \(M_X(t) = q + p\,e^t\).

La scrittura compatta \(p^x(1-p)^{1-x}\) è un piccolo trucco che tornerà utile: valutata in \(x = 1\) dà \(p\), in \(x = 0\) dà \(1 - p\). La varianza \(pq\) è massima per \(p = 1/2\), quando l'esito è più incerto, e si annulla agli estremi \(p = 0\) e \(p = 1\), quando l'esito è certo. La MGF si ottiene direttamente: \(\mathbb{E}[e^{tX}] = e^{t \cdot 0} q + e^{t \cdot 1} p = q + p\,e^t\).

2. La distribuzione geometrica

Ripetiamo la stessa prova di Bernoulli, indipendentemente, e chiediamoci: quante prove servono per ottenere il primo successo? Se il primo successo arriva alla \(k\)-esima prova, allora le prime \(k - 1\) prove sono state fallimenti e la \(k\)-esima un successo.

$$P(k) = \underbrace{(1-p)^{k-1}}_{k-1 \text{ fallimenti}} \cdot \underbrace{p}_{\text{successo}} = p\, q^{k-1}, \qquad k = 1, 2, 3, \dots$$

Geometrica con \(p = 0{,}4\): le probabilità decadono di un fattore \(q = 0{,}6\) a ogni prova. Il primo successo è più probabile subito, ma la coda si allunga.

Calcoliamo le sue quantità caratteristiche. Il punto tecnico ricorrente è che le somme in gioco sono derivate della serie geometrica \(\sum_{k \geq 0} q^k = \frac{1}{1 - q}\): scambiando derivata e somma — lecito perché la serie converge per \(|q| \lt 1\) — si abbassano di uno gli esponenti e compaiono i fattori \(k\) che ci servono.

$$\mu = \mathbb{E}[X] = \sum_{k=1}^{\infty} k\, p\, q^{k-1} = p \sum_{k=1}^{\infty} k\, q^{k-1} = p \frac{d}{dq}\sum_{k=1}^{\infty} q^k = p \frac{d}{dq}\!\left(\frac{q}{1-q}\right) = p \cdot \frac{1}{(1-q)^2} = \frac{1}{p}.$$

Il risultato \(\mu = 1/p\) è quello che l'intuizione suggerisce: se la probabilità di successo è \(p = 1/6\) (il singolo lancio di un dado su una faccia scelta), servono in media \(6\) lanci. Per la varianza conviene passare da \(\mathbb{E}[X(X-1)]\), che si tratta con la stessa tecnica derivando due volte:

$$\begin{aligned} \mathbb{E}[X(X-1)] &= \sum_{k=1}^{\infty} k(k-1)\, p\, q^{k-1} = p\,q \sum_{k=2}^{\infty} k(k-1)\, q^{k-2} = p\,q \frac{d^2}{dq^2}\sum_{k=0}^{\infty} q^k \\ &= p\,q \frac{d^2}{dq^2}\!\left(\frac{1}{1-q}\right) = p\,q \cdot \frac{2}{(1-q)^3} = \frac{2q}{p^2}. \end{aligned}$$

Usando \(\sigma^2 = \mathbb{E}[X^2] - \mathbb{E}[X]^2 = \mathbb{E}[X(X-1)] + \mathbb{E}[X] - \mathbb{E}[X]^2\), si sostituisce e si semplifica:

$$\sigma^2 = \frac{2q}{p^2} + \frac{1}{p} - \frac{1}{p^2} = \frac{2(1-p) + p - 1}{p^2} = \frac{1-p}{p^2} = \frac{q}{p^2}.$$

Infine la funzione generatrice dei momenti, che è di nuovo una serie geometrica, questa volta di ragione \(q\,e^t\):

$$M_X(t) = \mathbb{E}[e^{tX}] = \sum_{k=1}^{\infty} e^{tk}\, p\, q^{k-1} = p\,e^t \sum_{k=0}^{\infty} (q\,e^t)^k = \frac{p\,e^t}{1 - q\,e^t}.$$

C'è poi la funzione di ripartizione, che ha forma particolarmente pulita. La probabilità di superare \(k\) prove senza successo è la probabilità di \(k\) fallimenti consecutivi:

$$P(X \gt k) = \sum_{s=k+1}^{\infty} p\, q^{s-1} = p\, q^k \sum_{s=0}^{\infty} q^s = \frac{p\, q^k}{1 - q} = q^k, \qquad F_X(k) = P(X \leq k) = 1 - q^k.$$

Da \(P(X \gt k) = q^k\) discende la proprietà più celebre della geometrica, quella che la distingue da ogni altra distribuzione discreta.

ProposizioneLa geometrica è senza memoria. La distribuzione geometrica è l'unica distribuzione discreta che gode della proprietà $$P(X \gt s + t \mid X \gt s) = P(X \gt t).$$ Infatti \(P(X \gt s + t \mid X \gt s) = \dfrac{q^{s+t}}{q^s} = q^t = P(X \gt t)\).

In parole: dato che i primi \(s\) tentativi sono falliti, la probabilità di dover attendere altri \(t\) tentativi è la stessa che si aveva all'inizio per attenderne \(t\). Il processo "dimentica" i fallimenti passati. Vedremo nella terza parte che la distribuzione esponenziale gode dell'analoga proprietà nel continuo.

3. Il coefficiente binomiale

Per contare i successi — e non solo attenderne il primo — serve un ingrediente combinatorio: il numero di modi in cui \(k\) successi possono disporsi in \(n\) prove.

DefinizioneCoefficiente binomiale. Si definisce coefficiente binomiale, e si legge "\(n\) su \(k\)", il numero $$\binom{n}{k} = \frac{n!}{k!\,(n-k)!}.$$

Valgono le proprietà elementari \(\binom{n}{0} = 1\), la simmetria \(\binom{n}{r} = \binom{n}{n-r}\), e la formula di Stifel \(\binom{n}{r} = \binom{n-1}{r-1} + \binom{n-1}{r}\), che è la regola di costruzione del triangolo di Tartaglia. Una relazione meno ovvia, ma molto utile, lega i coefficienti di due gruppi separati.

TeoremaIdentità di Vandermonde. $$\binom{m+n}{r} = \sum_{k=0}^{r} \binom{m}{k} \binom{n}{r-k}.$$

La lettura combinatoria è immediata e la rende facile da ricordare: in quanti modi si forma un sottocomitato di \(r\) persone scegliendole fra \(m\) uomini e \(n\) donne? A sinistra si sceglie direttamente fra tutti gli \(m + n\); a destra si spezza il conto sul numero \(k\) di uomini scelti (da \(0\) a \(r\)), completando con \(r - k\) donne. Le due enumerazioni contano la stessa cosa. Il principio si estende a più gruppi.

TeoremaIdentità di Vandermonde generalizzata. Estraendo \(r\) elementi dall'unione di \(p\) sottogruppi di numerosità \(n_1, \dots, n_p\), $$\binom{n_1 + n_2 + \dots + n_p}{r} = \sum_{k_1 + \dots + k_p = r} \binom{n_1}{k_1} \binom{n_2}{k_2} \cdots \binom{n_p}{k_p}.$$

4. La distribuzione binomiale

Ora abbiamo tutto per contare i successi. Ripetuta \(n\) volte una prova di Bernoulli, la binomiale dà la probabilità di ottenere esattamente \(k\) successi (e quindi \(n - k\) fallimenti).

DefinizioneDistribuzione binomiale. Se \(X_1, \dots, X_n\) sono \(n\) prove di Bernoulli indipendenti di parametro \(p\), la probabilità di \(k\) successi è $$P(k) = P(X_1 + X_2 + \dots + X_n = k) = \binom{n}{k} p^k q^{n-k}.$$

Binomiale con \(n = 10\), \(p = 0{,}5\): simmetrica attorno a \(np = 5\). Già con \(n = 10\) il profilo ricorda la campana della normale — non è un caso, come vedremo con il limite centrale.

La formula si legge in due tempi. Ogni specifica successione con \(k\) successi e \(n - k\) fallimenti ha, per l'indipendenza, probabilità \(p^k q^{n-k}\). Ma le successioni con \(k\) successi sono tante: precisamente il numero di modi in cui si possono collocare i \(k\) successi negli \(n\) tentativi, cioè \(\binom{n}{k}\). Il prodotto dà la probabilità totale. Poiché la binomiale è la somma di \(n\) Bernoulli indipendenti, media e varianza si ottengono gratis per linearità e additività: \(\mathbb{E}[X] = np\) e \(\mathrm{Var}[X] = npq\).

5. La distribuzione binomiale negativa

Combiniamo le due idee — attendere e contare. Fissato un numero \(r\) di successi desiderati, quante prove servono per raggiungerli? Sia \(X\) la variabile che conta il numero di prove fino all'\(r\)-esimo successo.

DefinizioneDistribuzione binomiale negativa. In una successione di prove di Bernoulli indipendenti, detto \(r\) il numero di successi da attendere, $$P_X(k) = P(X = k) = \binom{k-1}{r-1} p^{r-1} q^{k-r} \cdot p = \binom{k-1}{r-1} p^{r} q^{k-r}, \qquad k \geq r.$$

Il ragionamento dietro la formula è lo scheletro di quasi tutte queste distribuzioni. Perché la \(k\)-esima prova sia l'\(r\)-esimo successo, devono verificarsi due cose insieme: nelle prime \(k - 1\) prove ci sono stati esattamente \(r - 1\) successi — con probabilità \(p^{r-1} q^{(k-1)-(r-1)} = p^{r-1} q^{k-r}\) e in \(\binom{k-1}{r-1}\) ordini possibili — e la prova \(k\)-esima è un successo, con probabilità \(p\). Il prodotto dà la formula. Il nome "negativa" viene da un'identità sulle serie a esponente negativo:

$$\sum_{k=r}^{\infty} \binom{k-1}{r-1} q^{k-r} = (1 - q)^{-r} = p^{-r},$$

che è lo sviluppo del binomio con esponente \(-r\). Verificare che la distribuzione somma a \(1\) equivale allora a un'identità algebrica, che dimostriamo per induzione perché è lo stesso conto che serve poi per la MGF.

ProposizioneLemma sullo sviluppo di \((1-x)^{-(s+1)}\). Per \(|x| \lt 1\) e \(s = 1, 2, \dots\), $$\sum_{n=0}^{\infty} \binom{s+n}{s} x^n = \frac{1}{(1-x)^{s+1}}.$$

Dimostrazione

Procediamo per induzione su \(s\), appoggiandoci al teorema di Cauchy sul prodotto di serie: se \(\sum a_n\) e \(\sum b_k\) convergono, il loro prodotto è \(\sum_{n} \sum_{k=0}^{n} a_k\, b_{n-k}\).

Base \(s = 1\). Vogliamo \(\sum_{n=0}^{\infty} \binom{1+n}{1} x^n = \sum_{n=0}^{\infty} (n+1) x^n\). Partendo dalla serie geometrica \(\sum_{n=0}^{\infty} x^n = \frac{1}{1-x}\) e moltiplicandola per sé stessa con il prodotto di Cauchy:

$$\left(\sum_{n=0}^{\infty} x^n\right)^2 = \sum_{n=0}^{\infty} \sum_{k=0}^{n} x^k x^{n-k} = \sum_{n=0}^{\infty} (n+1) x^n = \frac{1}{(1-x)^2},$$

che è la tesi per \(s = 1\).

Passo induttivo. Supponiamo \(\sum_{n=0}^{\infty} \binom{s+n}{s} x^n = \frac{1}{(1-x)^{s+1}}\) e moltiplichiamo entrambi i membri per \(\sum_{n=0}^{\infty} x^n = \frac{1}{1-x}\). A sinistra, di nuovo per il prodotto di Cauchy,

$$\frac{1}{(1-x)^{s+2}} = \sum_{n=0}^{\infty} \left( \sum_{k=0}^{n} \binom{s+k}{s} \right) x^n = \sum_{n=0}^{\infty} \binom{s+n+1}{s+1} x^n,$$

dove l'ultima uguaglianza usa la formula di sommazione a colonna del triangolo di Tartaglia, \(\sum_{k=0}^{n} \binom{s+k}{s} = \binom{s+n+1}{s+1}\). È esattamente la relazione richiesta con \(s+1\) al posto di \(s\), da cui la tesi. \(\blacksquare\)

Con il lemma in mano, la funzione generatrice dei momenti si calcola riconducendo la somma alla forma dello sviluppo negativo.

$$\begin{aligned} M_X(t) &= \mathbb{E}[e^{tX}] = \sum_{k=r}^{\infty} e^{tk} \binom{k-1}{r-1} p^r q^{k-r} = (p\,e^t)^r \sum_{k=r}^{\infty} (q\,e^t)^{k-r} \binom{k-1}{r-1} \\ &= (p\,e^t)^r \sum_{k=0}^{\infty} (q\,e^t)^{k} \binom{k+r-1}{r-1} \overset{\text{(lemma)}}{=} (p\,e^t)^r \frac{1}{(1 - q\,e^t)^r} = \left(\frac{p\,e^t}{1 - q\,e^t}\right)^{r}. \end{aligned}$$

La formula è valida per \(q\,e^t \lt 1\), cioè per \(t \lt -\log q\) (e poiché \(q \lt 1\), la soglia \(-\log q\) è positiva). Si nota subito una cosa: la MGF della binomiale negativa è la \(r\)-esima potenza della MGF della geometrica. Non è una coincidenza — la binomiale negativa è la somma di \(r\) geometriche indipendenti, e la MGF di una somma di variabili indipendenti è il prodotto delle MGF. Da qui, derivando in \(t = 0\), media e varianza:

$$\mathbb{E}[X] = M_X'(0) = \frac{r}{p}, \qquad \mathrm{Var}[X] = M_X''(0) - \big(M_X'(0)\big)^2 = \frac{r\,q}{p^2},$$

che sono \(r\) volte i valori della geometrica, coerentemente con la lettura "somma di \(r\) attese indipendenti".

Formule per l'espansione binomiale. Vale la pena affiancare le due versioni. L'espansione positiva è il teorema del binomio di Newton, \((a + b)^n = \sum_{k=0}^{n} \binom{n}{k} a^{n-k} b^k\), una somma finita. L'espansione negativa, o serie binomiale, vale per esponente \(\alpha\) reale qualsiasi ed è una serie infinita, \((1 + x)^{\alpha} = \sum_{n=0}^{\infty} \binom{\alpha}{n} x^n\) per \(|x| \lt 1\), dove \(\binom{\alpha}{n} = \frac{\alpha(\alpha-1)\cdots(\alpha-n+1)}{n!}\) è il coefficiente binomiale generalizzato. La prima conta i successi, la seconda è ciò che dà il nome alla binomiale negativa.

6. La distribuzione multinomiale

La binomiale contempla due esiti. Se gli esiti possibili di ogni prova sono \(s\) anziché due, si passa alla multinomiale.

DefinizioneDistribuzione multinomiale. Sia una prova con \(s\) esiti possibili \(x_1, \dots, x_s\), dove l'esito \(x_i\) ha probabilità \(p_i\) nella singola prova. Ripetuta la prova \(n\) volte, la probabilità di osservare esattamente \(n_1\) volte l'esito \(x_1\), \(n_2\) volte \(x_2\) e così via (con \(n_1 + \dots + n_s = n\)) è $$P(n_1, n_2, \dots, n_s) = \binom{n}{n_1\, n_2\, \dots\, n_s} \prod_{i=1}^{s} p_i^{\,n_i}, \qquad \text{dove}\ \binom{n}{n_1\, \dots\, n_s} = \frac{n!}{n_1!\, n_2! \cdots n_s!}.$$

Il coefficiente multinomiale \(\frac{n!}{n_1! \cdots n_s!}\) generalizza il binomiale: conta in quanti modi si possono ordinare \(n\) prove suddivise in gruppi di numerosità \(n_1, \dots, n_s\). Per \(s = 2\) si ricade esattamente nella binomiale. È la distribuzione che descrive, per esempio, il conteggio delle parole in un testo secondo un vocabolario di \(s\) termini.

7. La distribuzione di Poisson

Passiamo ora a una distribuzione che nasce come limite della binomiale, e che governa il conteggio di eventi rari nel tempo.

DefinizioneDistribuzione di Poisson. La distribuzione di Poisson dà la probabilità del numero di eventi che si verificano indipendentemente in un intervallo di tempo fissato, sapendo che in media se ne verificano \(\lambda\): $$P_X(k) = P(X = k) = \frac{\lambda^k e^{-\lambda}}{k!}, \qquad k = 0, 1, 2, \dots$$ Qui \(\lambda\) è il numero medio di eventi per intervallo, \(k\) il numero di eventi osservati.

Poisson con \(\lambda = 3\): asimmetrica, con una coda a destra. Media e varianza coincidono ed entrambe valgono \(\lambda\).

È la legge del numero di chiamate a un call center in una mattinata, dei decadimenti radioattivi in un secondo, dei refusi per pagina: fenomeni in cui gli eventi sono numerosi ma ciascuno raro, da cui il nome di legge degli eventi rari. Prima di tutto verifichiamo che sia davvero una distribuzione di probabilità, il che riposa sulla serie esponenziale \(\sum_k \frac{\lambda^k}{k!} = e^{\lambda}\).

ProposizioneLa Poisson somma a 1. $$\sum_{k=0}^{\infty} \frac{\lambda^k e^{-\lambda}}{k!} = e^{-\lambda} \sum_{k=0}^{\infty} \frac{\lambda^k}{k!} = e^{-\lambda}\, e^{\lambda} = 1.$$

Con lo stesso strumento — riconoscere una serie esponenziale — si calcolano media e MGF. Per la media si sfrutta il fatto che il termine \(k = 0\) è nullo e si riassorbe il fattore \(k\) abbassando l'indice del fattoriale:

$$\mu = \mathbb{E}[X] = \sum_{k=0}^{\infty} k\, \frac{\lambda^k e^{-\lambda}}{k!} = e^{-\lambda} \sum_{k=1}^{\infty} \frac{\lambda^k}{(k-1)!} = \lambda\, e^{-\lambda} \sum_{k=0}^{\infty} \frac{\lambda^{k}}{k!} = \lambda\, e^{-\lambda} e^{\lambda} = \lambda.$$

$$M_X(t) = \mathbb{E}[e^{tX}] = \sum_{k=0}^{\infty} e^{tk}\, \frac{\lambda^k e^{-\lambda}}{k!} = e^{-\lambda} \sum_{k=0}^{\infty} \frac{(\lambda\, e^t)^k}{k!} = e^{-\lambda}\, e^{\lambda e^t} = e^{\lambda(e^t - 1)}.$$

Derivando due volte la MGF in \(t = 0\) si trova \(\mathbb{E}[X^2] = \lambda^2 + \lambda\), e quindi \(\sigma^2 = \lambda^2 + \lambda - \lambda^2 = \lambda\). È una firma caratteristica della Poisson: media e varianza coincidono, entrambe pari a \(\lambda\). Sui dati reali, uno scarto marcato fra media e varianza campionaria è il primo segnale che la Poisson non è il modello giusto (sovra- o sotto-dispersione).

Poisson come approssimazione della binomiale. La Poisson emerge dalla binomiale quando \(n \to \infty\) e \(p \to 0\) con \(np \to \lambda\) costante: molte prove, ciascuna di successo rarissimo, ma con un numero medio di successi stabile. In pratica l'approssimazione è buona già per \(n \geq 20\) e \(p \leq 0{,}05\), ed è molto buona per \(n \geq 100\) e \(p \leq 0{,}1\). È ciò che permette di sostituire il pesante calcolo dei coefficienti binomiali con la più maneggevole formula di Poisson.

8. Il teorema del limite centrale

Chiudiamo con il risultato che dà unità a tutto il quadro, e che è probabilmente il teorema più importante della statistica. Abbiamo visto che già la binomiale con \(n = 10\) somigliava a una campana: il teorema del limite centrale spiega perché, e dice che il fenomeno non dipende dalla distribuzione di partenza.

TeoremaTeorema del limite centrale. Sia \(X_1, \dots, X_n\) un campione casuale di prove indipendenti estratte da una distribuzione di media \(\mu\) e varianza \(\sigma^2\). Per grandi valori di \(n\), la distribuzione della media campionaria \(\bar{X} = \frac{1}{n}\sum_{i=1}^n X_i\) tende a una distribuzione normale con media \(\mu\) e varianza \(\frac{\sigma^2}{n}\).

La portata è notevole: qualunque sia la forma della distribuzione originaria — discreta o continua, simmetrica o meno — la media di molte osservazioni indipendenti si distribuisce approssimativamente come una normale. È la ragione per cui la curva di Gauss ricorre ovunque nelle misure sperimentali, che sono quasi sempre somme di molti piccoli contributi indipendenti.

Si noti la varianza \(\sigma^2/n\): decresce con \(n\), il che formalizza l'idea che mediare più osservazioni riduca l'incertezza. È lo stesso \(\sigma^2/n\) che compare nel calcolo degli intervalli di confidenza, e la ragione per cui la precisione di una stima migliora come \(1/\sqrt{n}\) — per dimezzare l'errore servono quattro volte i dati. Questa additività della varianza sotto indipendenza è esattamente la proprietà vista nella prima parte.

Dove si va da qui

In questa seconda parte abbiamo attraversato le distribuzioni discrete seguendo un unico filo — la prova di Bernoulli, ripetuta e contata in modi diversi — e le abbiamo caratterizzate ciascuna con media, varianza e funzione generatrice dei momenti. La geometrica e la binomiale negativa contano le attese, la binomiale e la multinomiale contano i successi, la Poisson governa gli eventi rari, e il teorema del limite centrale le fa convergere tutte verso la normale.

Proprio la normale apre la terza parte, dedicata alle distribuzioni continue: la somma passa all'integrale, la distribuzione di probabilità alla densità. Vedremo l'uniforme, l'esponenziale (l'analogo continuo della geometrica), la Gamma (l'analogo della binomiale negativa), la normale e la chi quadro, per chiudere con i test statistici — Shapiro-Wilk, chi quadro e il test esatto di Fisher.

← Parte 1: probabilità, variabili casuali e covarianza Parte 3: distribuzioni continue e test statistici →