Probabilità e statistica (1): probabilità, variabili casuali e covarianza
- Probabilità, variabili casuali, valore atteso e covarianza (questo articolo)
- Distribuzioni discrete: Bernoulli, binomiale, Poisson e il teorema del limite centrale
- Distribuzioni continue: dalla normale al chi quadro, e i test statistici
Questo è il primo di tre articoli in cui riordino gli appunti di probabilità e statistica che ho messo insieme lavorando su modelli di intelligenza artificiale. Nei programmi di IA i conti probabilistici saltano fuori di continuo, e per motivi diversi fra loro: c'è una casualità intrinseca nel modello — si pensi a un gioco di carte —, una casualità che nasce dall'osservare la realtà in modo incompleto, e infine l'incertezza che deriva dall'aver modellato il fenomeno in modo approssimato.
Sotto a questi usi ci sono due letture diverse della parola "probabilità". A volte la usiamo per indicare il grado di fiducia che assegniamo a un'ipotesi — la probabilità che un paziente abbia una certa patologia visti i sintomi: è la lettura bayesiana. Altre volte intendiamo la frequenza relativa di un evento in una lunga serie di ripetizioni indipendenti dell'esperimento: è la lettura frequentista. Le due convivono, e la teoria che segue vale per entrambe, perché parte dagli stessi assiomi.
In questa prima parte costruiamo il vocabolario di base: spazio campionario, misura di probabilità, condizionamento e indipendenza, poi le variabili casuali con il loro valore atteso, la varianza e la covarianza. Le distribuzioni concrete — Bernoulli, binomiale, normale e le altre — arrivano nella seconda e nella terza parte, ma poggiano tutte su ciò che vediamo qui.
1. Spazio campionario ed eventi
Il punto di partenza è distinguere i singoli esiti di un esperimento dagli insiemi di esiti a cui vogliamo assegnare una probabilità.
Le variabili con cui indichiamo i risultati seguono una convenzione che vale la pena fissare subito: una variabile che assume valori in modo casuale la scriviamo con una lettera maiuscola, \(X\), e i valori che essa assume con la corrispondente minuscola indicizzata, \(x_i\).
Il linguaggio è insiemistico. Se \(A \subseteq \mathbf{S}\) e l'esperimento produce un risultato \(s \in A\), diciamo che l'evento \(A\) si è verificato. L'insieme vuoto, che non contiene alcun esito, è allora l'evento impossibile, e \(\mathbf{S}\), che li contiene tutti, è l'evento certo. Due eventi \(A\) e \(B\) con \(A \cap B = \emptyset\) non possono verificarsi insieme, e si dicono mutuamente esclusivi.
2. La misura di probabilità
Non a tutti i sottoinsiemi di \(\mathbf{S}\) è sempre possibile assegnare una probabilità in modo coerente: la famiglia degli eventi "misurabili" deve essere chiusa rispetto alle operazioni che ci servono — passare al complementare, unire, intersecare. Questa richiesta di chiusura ha un nome.
- \(A \in \mathbb{F} \Rightarrow \bar{A} \in \mathbb{F}\) (chiusura per complemento);
- \((A_i)_{i \in \mathbb{N}} \in \mathbb{F} \Rightarrow \bigcup_{i \in \mathbb{N}} A_i \in \mathbb{F}\) (chiusura per unione numerabile);
- \(\exists\, A \in \mathbb{F}\) (la famiglia non è vuota).
Le tre condizioni bastano a garantire tutto il resto: dai punti 3 e 1 segue che esiste un \(A\) e con esso il suo complementare, dal 2 che la loro unione \(\mathbf{S}\) sta in \(\mathbb{F}\), e di nuovo dal punto 1 che anche \(\emptyset = \bar{\mathbf{S}}\) vi appartiene. L'intersezione numerabile si ottiene per De Morgan a partire da unione e complemento. Su questa struttura possiamo finalmente appoggiare la funzione che misura le probabilità.
- \(\forall A \in \mathbb{F} : P(A) \geq 0\) (non negatività);
- \(P(\mathbf{S}) = 1\) (normalizzazione);
- data una successione \((A_i)_{i \in \mathbb{N}}\) di eventi a due a due disgiunti, cioè con \(A_i \cap A_j = \emptyset\) per \(i \neq j\), si ha \(P\!\left(\bigcup_{i \in \mathbb{N}} A_i\right) = \sum_{i \in \mathbb{N}} P(A_i)\) (additività numerabile);
Da questi tre assiomi — sorprendentemente pochi — discende ogni proprietà di calcolo che useremo. Le più frequenti sono le seguenti.
- \(A \cap B = \emptyset \Rightarrow P(A \cup B) = P(A) + P(B)\);
- \(P(A) = 1 - P(\bar{A})\), perché \(1 = P(\mathbf{S}) = P(A \cup \bar{A}) = P(A) + P(\bar{A})\);
- \(A \subseteq B \Rightarrow P(A) \leq P(B)\) (monotonia);
- \(\emptyset \subseteq A \subseteq \mathbf{S} \Rightarrow 0 \leq P(A) \leq 1\);
- \(P(A \cup B) = P(A) + P(B) - P(A \cap B)\) (inclusione-esclusione).
La prima è l'additività finita, caso particolare del terzo assioma. La quinta è quella da tenere a mente: quando \(A\) e \(B\) possono verificarsi insieme, sommare le due probabilità conta due volte l'intersezione, e va sottratta una volta. È lo stesso principio di inclusione-esclusione che ricorre in combinatoria.
3. Probabilità condizionata
Sapere che un evento si è verificato cambia la probabilità che assegniamo a un altro. Formalizzare questo aggiornamento è il cuore del ragionamento probabilistico, ed è ciò che rende la probabilità uno strumento e non solo una descrizione.
L'idea geometrica è semplice: condizionare a \(B\) significa restringere l'universo a \(B\), e rinormalizzare dividendo per \(P(B)\) affinché la nuova probabilità totale torni a fare 1. Riscrivendo la definizione otteniamo la regola della catena, che esprime la probabilità di un'intersezione come prodotto:
La doppia scrittura non è un vezzo: uguagliare i due membri di destra è esattamente il passo che porterà alla formula di Bayes. Prima però ci serve un modo per ricostruire la probabilità di un evento a partire da come esso si distribuisce su una partizione.
Il passaggio chiave è che gli eventi \(B \cap A_i\) sono a due a due disgiunti — lo sono gli \(A_i\), che formano una partizione — e quindi le loro probabilità si sommano. La lettura è intuitiva: la probabilità di \(B\) è la media delle probabilità condizionate \(P(B \mid A_i)\), pesate con la probabilità di trovarsi in ciascun "caso" \(A_i\).
4. Indipendenza
All'estremo opposto del condizionamento c'è la situazione in cui sapere che \(B\) si è verificato non dice nulla su \(A\). È il concetto di indipendenza, che semplifica enormemente i calcoli ed è alla base di quasi ogni modello trattabile.
- \(P(A \mid B) = P(A)\);
- \(P(B \mid A) = P(B)\);
- \(P(A \cap B) = P(A)\, P(B)\);
La terza forma è quella che si prende come definizione, perché è simmetrica e resta valida anche quando le probabilità condizionanti sono nulle. Le prime due la traducono nel linguaggio del condizionamento: la conoscenza di un evento lascia invariata la probabilità dell'altro. Passando da due a molti eventi, la richiesta si irrigidisce: non basta che valga a coppie.
La differenza è sostanziale: l'indipendenza totale richiede che la fattorizzazione valga per ogni sottoinsieme di eventi, non solo per le coppie. Esistono famiglie di eventi indipendenti a due a due ma non totalmente, e la distinzione, che sembra pedante, ha conseguenze concrete nei modelli grafici probabilistici.
5. La formula di Bayes
Uguagliando le due scritture della regola della catena, \(P(A \mid B)\,P(B) = P(B \mid A)\,P(A)\), e ricavando \(P(A \mid B)\), si ottiene la formula che permette di invertire il condizionamento: passare da "quanto è probabile il sintomo data la malattia" a "quanto è probabile la malattia dato il sintomo". Combinata con la formula delle probabilità totali al denominatore, assume la sua forma completa.
È la formula più usata di tutta la parte bayesiana dell'IA. Il vocabolario che la accompagna: \(P(A_k)\) è la probabilità a priori dell'ipotesi \(A_k\), \(P(B \mid A_k)\) è la verosimiglianza del dato osservato \(B\) sotto quell'ipotesi, e \(P(A_k \mid B)\) è la probabilità a posteriori, cioè l'ipotesi aggiornata alla luce del dato. Il denominatore è solo la costante di normalizzazione che rende il posteriore una probabilità.
La regola della catena si estende naturalmente a più eventi, ed è il mattone con cui si costruiscono le distribuzioni congiunte fattorizzandole in condizionamenti successivi.
6. Variabili aleatorie
Finora abbiamo lavorato con eventi, cioè con insiemi. Il passo che rende tutto calcolabile è associare a ogni esito un numero: è la variabile aleatoria, una funzione dallo spazio campionario ai reali.
La variabile aleatoria trasporta la probabilità dallo spazio degli esiti allo spazio dei numeri: la probabilità che \(X\) assuma il valore \(x\) è, per definizione, la probabilità dell'evento \(\{s : X(s) = x\}\). Da qui in poi possiamo dimenticare lo spazio campionario e ragionare direttamente sui valori. La nozione di indipendenza si trasferisce parola per parola.
L'indipendenza condizionata è più sottile — e più utile — dell'indipendenza semplice: due variabili possono essere dipendenti in assenza di informazione e diventare indipendenti una volta noto \(Z\). È esattamente la struttura che le reti bayesiane sfruttano per fattorizzare distribuzioni congiunte altrimenti intrattabili.
7. La funzione generatrice dei momenti
Prima di parlare di media e varianza conviene introdurre uno strumento che le racchiude entrambe, e che tornerà utile in tutte e tre le parti della serie per caratterizzare le distribuzioni: la funzione generatrice dei momenti.
Il nome dice tutto: la MGF genera i momenti della distribuzione. Derivando \(k\) volte rispetto a \(t\) e valutando in \(t = 0\) si estrae il momento di ordine \(k\):
Il perché si intravede sviluppando \(e^{tX} = 1 + tX + \tfrac{t^2}{2}X^2 + \dots\): il coefficiente di \(t^k/k!\) nello sviluppo di \(M_X(t)\) è proprio \(\mathbb{E}[X^k]\). Da qui la prima derivata in zero dà la media, la seconda dà \(\mathbb{E}[X^2]\), e così via. La MGF si comporta bene sotto le trasformazioni affini, il che la rende comodissima nei conti.
C'è di più, ed è la ragione per cui la MGF è tanto usata: due variabili con la stessa funzione generatrice dei momenti hanno la stessa distribuzione. La MGF, quando esiste, individua la distribuzione senza ambiguità, e questo trasforma molte dimostrazioni "sulle distribuzioni" in semplici conti algebrici su funzioni di \(t\).
8. Valore atteso e varianza
I due numeri che riassumono una distribuzione sono il valore atteso, che ne indica il centro, e la varianza, che ne misura la dispersione. Partiamo dal caso discreto.
Il valore atteso è la media dei valori possibili, ciascuno pesato con la sua probabilità. La varianza è la media degli scarti al quadrato dal centro: sta al quadrato perché scarti positivi e negativi non si compensino, e proprio per questo si misura in unità al quadrato rispetto a \(X\). La deviazione standard \(\sigma\), riportando la radice, è invece espressa nella stessa unità di misura di \(X\), ed è per questo l'indicatore di dispersione che di solito si riporta. La definizione si estende dal calcolare la media di \(X\) al calcolare la media di una qualsiasi funzione di \(X\).
- se \(X\) è discreta: \(\displaystyle \mathbb{E}_{x \sim P}[f(x)] = \sum_x P(x)\, f(x)\);
- se \(X\) è continua: \(\displaystyle \mathbb{E}_{x \sim p}[f(x)] = \int_{x \in \mathbf{S}} p(x)\, f(x)\, dx\).
La versione continua anticipa il capitolo sulle variabili continue: la somma diventa un integrale e la distribuzione \(P\) una densità \(p\), ma la sostanza — mediare i valori di \(f\) pesandoli con la probabilità — non cambia. La varianza è un caso particolare di valore atteso di una funzione, quella che misura lo scarto quadratico.
9. Covarianza e correlazione
Con una sola variabile abbiamo centro e dispersione. Con due entra in gioco una domanda nuova: come si muovono insieme? La covarianza risponde misurando quanto due variabili sono legate linearmente.
Il segno della covarianza racconta la direzione del legame: se \(X\) tende a stare sopra la sua media quando anche \(Y\) sta sopra la propria, i due scarti hanno lo stesso segno e il loro prodotto è positivo, quindi la covarianza è positiva; se una cresce quando l'altra cala, la covarianza è negativa. Sviluppando il prodotto si ottiene una forma di calcolo più comoda.
Da questa scrittura si legge subito un fatto importante: se \(X\) e \(Y\) sono indipendenti, allora \(\mathbb{E}[XY] = \mathbb{E}[X]\,\mathbb{E}[Y]\) e la covarianza è zero. La covarianza gode di una serie di proprietà che la rendono, di fatto, una forma bilineare simmetrica.
- \(\mathrm{Cov}(X, Y) = \mathrm{Cov}(Y, X)\) (simmetria);
- \(\mathrm{Cov}(aX + b, Y) = a\, \mathrm{Cov}(X, Y)\);
- \(\mathrm{Cov}(X + Y, Z) = \mathrm{Cov}(X, Z) + \mathrm{Cov}(Y, Z)\) (bilinearità);
- \(\mathrm{Cov}(X, X) = \mathrm{Var}(X)\);
- \(\mathrm{Var}(X + Y) = \mathrm{Var}(X) + \mathrm{Var}(Y) + 2\,\mathrm{Cov}(X, Y)\);
- più in generale, \(\displaystyle \mathrm{Cov}\Big(\sum_i X_i,\, \sum_j Y_j\Big) = \sum_{i,j} \mathrm{Cov}(X_i, Y_j)\).
La covarianza ha però un difetto: dipende dalle unità di misura, e quindi il suo valore assoluto non dice se il legame sia "forte" o "debole". Per confrontare, la si normalizza dividendola per il prodotto delle deviazioni standard.
Il coefficiente \(\rho\) è un numero puro compreso fra \(-1\) e \(1\): vale \(+1\) in caso di legame lineare crescente perfetto, \(-1\) in caso di legame lineare decrescente perfetto, \(0\) in assenza di legame lineare. È il punto in cui vale la pena vedere le tre situazioni tipiche.
Ed è proprio quest'ultima frase il punto delicato, che merita di essere isolato perché è fonte di errori ricorrenti.
Quando le variabili sono più di due, tutte le covarianze a coppie si raccolgono in una matrice.
È una matrice simmetrica — per la simmetria della covarianza — e semidefinita positiva, e compare ovunque si lavori con dati multidimensionali: nella PCA, nella distanza di Mahalanobis, nella distribuzione normale multivariata. Chiudiamo con le proprietà di valore atteso e varianza rispetto alle operazioni algebriche, che useremo continuamente nelle prossime parti.
- se \(X = c\) costante, allora \(\mathbb{E}[X] = c\);
- \(\mathbb{E}[aX] = a\, \mathbb{E}[X]\);
- \(\mathbb{E}[X + Y] = \mathbb{E}[X] + \mathbb{E}[Y]\) (linearità, sempre valida);
- se \(X, Y\) sono indipendenti, \(\mathbb{E}[XY] = \mathbb{E}[X]\,\mathbb{E}[Y]\).
- se \(c \in \mathbb{R}\), allora \(\sigma^2(X + c) = \sigma^2(X)\) (la traslazione non cambia la dispersione);
- \(\sigma^2(aX) = a^2\, \sigma^2(X)\);
- se \(X, Y\) sono indipendenti, \(\sigma^2(X + Y) = \sigma^2(X) + \sigma^2(Y)\).
Vale la pena notare l'asimmetria fra le due tabelle: il valore atteso è sempre lineare, mentre la varianza lo è solo per il fattore di scala, e la varianza di una somma è additiva unicamente in caso di indipendenza — altrimenti compare il termine di covarianza \(2\,\mathrm{Cov}(X, Y)\) visto sopra. È questa additività condizionata che, nella prossima parte, farà crescere la varianza della somma di \(n\) prove indipendenti proporzionalmente a \(n\), e non a \(n^2\).
Dove si va da qui
In questa prima parte abbiamo montato l'impalcatura: dallo spazio campionario e dagli assiomi di Kolmogorov siamo passati al condizionamento e alla formula di Bayes, poi alle variabili aleatorie con valore atteso, varianza, covarianza e correlazione, tenendo da parte la funzione generatrice dei momenti come strumento che le riassume tutte. Sono tutti oggetti "astratti", nel senso che valgono per qualunque distribuzione.
Nella seconda parte diamo carne a questi concetti calcolando esplicitamente media, varianza e MGF per le distribuzioni discrete più importanti — Bernoulli, geometrica, binomiale, binomiale negativa, multinomiale e Poisson — e arriviamo al risultato che le lega tutte quante nel limite: il teorema del limite centrale.
Commenti
Posta un commento