Probabilità e statistica (1): probabilità, variabili casuali e covarianza

Probabilità e statistica (1): probabilità, variabili casuali e covarianza

 

Probabilità e statistica — serie in tre parti
  1. Probabilità, variabili casuali, valore atteso e covarianza (questo articolo)
  2. Distribuzioni discrete: Bernoulli, binomiale, Poisson e il teorema del limite centrale
  3. Distribuzioni continue: dalla normale al chi quadro, e i test statistici

Questo è il primo di tre articoli in cui riordino gli appunti di probabilità e statistica che ho messo insieme lavorando su modelli di intelligenza artificiale. Nei programmi di IA i conti probabilistici saltano fuori di continuo, e per motivi diversi fra loro: c'è una casualità intrinseca nel modello — si pensi a un gioco di carte —, una casualità che nasce dall'osservare la realtà in modo incompleto, e infine l'incertezza che deriva dall'aver modellato il fenomeno in modo approssimato.

Sotto a questi usi ci sono due letture diverse della parola "probabilità". A volte la usiamo per indicare il grado di fiducia che assegniamo a un'ipotesi — la probabilità che un paziente abbia una certa patologia visti i sintomi: è la lettura bayesiana. Altre volte intendiamo la frequenza relativa di un evento in una lunga serie di ripetizioni indipendenti dell'esperimento: è la lettura frequentista. Le due convivono, e la teoria che segue vale per entrambe, perché parte dagli stessi assiomi.

In questa prima parte costruiamo il vocabolario di base: spazio campionario, misura di probabilità, condizionamento e indipendenza, poi le variabili casuali con il loro valore atteso, la varianza e la covarianza. Le distribuzioni concrete — Bernoulli, binomiale, normale e le altre — arrivano nella seconda e nella terza parte, ma poggiano tutte su ciò che vediamo qui.

1. Spazio campionario ed eventi

Il punto di partenza è distinguere i singoli esiti di un esperimento dagli insiemi di esiti a cui vogliamo assegnare una probabilità.

DefinizioneSpazio campionario, eventi. A un esperimento casuale \(\mathcal{E}\) associamo l'insieme \(\mathbf{S}\) di tutti i risultati ottenibili, detto spazio campionario. I sottoinsiemi di \(\mathbf{S}\) si dicono eventi, mentre i singoli elementi di \(\mathbf{S}\) si dicono eventi atomici.

Le variabili con cui indichiamo i risultati seguono una convenzione che vale la pena fissare subito: una variabile che assume valori in modo casuale la scriviamo con una lettera maiuscola, \(X\), e i valori che essa assume con la corrispondente minuscola indicizzata, \(x_i\).

Il linguaggio è insiemistico. Se \(A \subseteq \mathbf{S}\) e l'esperimento produce un risultato \(s \in A\), diciamo che l'evento \(A\) si è verificato. L'insieme vuoto, che non contiene alcun esito, è allora l'evento impossibile, e \(\mathbf{S}\), che li contiene tutti, è l'evento certo. Due eventi \(A\) e \(B\) con \(A \cap B = \emptyset\) non possono verificarsi insieme, e si dicono mutuamente esclusivi.

2. La misura di probabilità

Non a tutti i sottoinsiemi di \(\mathbf{S}\) è sempre possibile assegnare una probabilità in modo coerente: la famiglia degli eventi "misurabili" deve essere chiusa rispetto alle operazioni che ci servono — passare al complementare, unire, intersecare. Questa richiesta di chiusura ha un nome.

Definizione\(\sigma\)-algebra. Una famiglia \(\mathbb{F}\) di eventi su \(\mathbf{S}\) si dice \(\sigma\)-algebra se:
  1. \(A \in \mathbb{F} \Rightarrow \bar{A} \in \mathbb{F}\) (chiusura per complemento);
  2. \((A_i)_{i \in \mathbb{N}} \in \mathbb{F} \Rightarrow \bigcup_{i \in \mathbb{N}} A_i \in \mathbb{F}\) (chiusura per unione numerabile);
  3. \(\exists\, A \in \mathbb{F}\) (la famiglia non è vuota).
La coppia \((\mathbf{S}, \mathbb{F})\) si dice spazio probabilizzabile.

Le tre condizioni bastano a garantire tutto il resto: dai punti 3 e 1 segue che esiste un \(A\) e con esso il suo complementare, dal 2 che la loro unione \(\mathbf{S}\) sta in \(\mathbb{F}\), e di nuovo dal punto 1 che anche \(\emptyset = \bar{\mathbf{S}}\) vi appartiene. L'intersezione numerabile si ottiene per De Morgan a partire da unione e complemento. Su questa struttura possiamo finalmente appoggiare la funzione che misura le probabilità.

DefinizioneSpazio probabilizzante (assiomi di Kolmogorov). Dato uno spazio probabilizzabile \((\mathbf{S}, \mathbb{F})\), se esiste una funzione \(P : \mathbb{F} \to \mathbb{R}\) tale che:
  1. \(\forall A \in \mathbb{F} : P(A) \geq 0\) (non negatività);
  2. \(P(\mathbf{S}) = 1\) (normalizzazione);
  3. data una successione \((A_i)_{i \in \mathbb{N}}\) di eventi a due a due disgiunti, cioè con \(A_i \cap A_j = \emptyset\) per \(i \neq j\), si ha \(P\!\left(\bigcup_{i \in \mathbb{N}} A_i\right) = \sum_{i \in \mathbb{N}} P(A_i)\) (additività numerabile);
allora \((\mathbf{S}, \mathbb{F}, P)\) si dice spazio probabilizzante e \(P\) è una misura di probabilità.

Da questi tre assiomi — sorprendentemente pochi — discende ogni proprietà di calcolo che useremo. Le più frequenti sono le seguenti.

ProposizioneProprietà della misura di probabilità. Sia \(P\) una misura di probabilità e siano \(A, B \in \mathbb{F}\). Allora:
  1. \(A \cap B = \emptyset \Rightarrow P(A \cup B) = P(A) + P(B)\);
  2. \(P(A) = 1 - P(\bar{A})\), perché \(1 = P(\mathbf{S}) = P(A \cup \bar{A}) = P(A) + P(\bar{A})\);
  3. \(A \subseteq B \Rightarrow P(A) \leq P(B)\) (monotonia);
  4. \(\emptyset \subseteq A \subseteq \mathbf{S} \Rightarrow 0 \leq P(A) \leq 1\);
  5. \(P(A \cup B) = P(A) + P(B) - P(A \cap B)\) (inclusione-esclusione).

La prima è l'additività finita, caso particolare del terzo assioma. La quinta è quella da tenere a mente: quando \(A\) e \(B\) possono verificarsi insieme, sommare le due probabilità conta due volte l'intersezione, e va sottratta una volta. È lo stesso principio di inclusione-esclusione che ricorre in combinatoria.

3. Probabilità condizionata

Sapere che un evento si è verificato cambia la probabilità che assegniamo a un altro. Formalizzare questo aggiornamento è il cuore del ragionamento probabilistico, ed è ciò che rende la probabilità uno strumento e non solo una descrizione.

DefinizioneProbabilità condizionata. Sia \((\mathbf{S}, \mathbb{F}, P)\) uno spazio probabilizzante e sia \(B \subseteq \mathbf{S}\) un evento con \(P(B) \gt 0\). La funzione $$P(A \mid B) = \frac{P(A \cap B)}{P(B)}$$ è a sua volta una misura di probabilità (su \(\mathbf{S}\), condizionata a \(B\)).

L'idea geometrica è semplice: condizionare a \(B\) significa restringere l'universo a \(B\), e rinormalizzare dividendo per \(P(B)\) affinché la nuova probabilità totale torni a fare 1. Riscrivendo la definizione otteniamo la regola della catena, che esprime la probabilità di un'intersezione come prodotto:

$$P(A \cap B) = P(A \mid B)\, P(B) = P(B \mid A)\, P(A)$$

La doppia scrittura non è un vezzo: uguagliare i due membri di destra è esattamente il passo che porterà alla formula di Bayes. Prima però ci serve un modo per ricostruire la probabilità di un evento a partire da come esso si distribuisce su una partizione.

ProposizioneFormula delle probabilità totali. Sia \(\{A_1, \dots, A_n\}\) una partizione di \(\mathbf{S}\) e sia \(B\) un evento. Allora
$$\begin{aligned} P(B) &= P(B \cap \mathbf{S}) = P\big(B \cap (A_1 \cup A_2 \cup \dots \cup A_n)\big) \\ &= P\big((B \cap A_1) \cup (B \cap A_2) \cup \dots \cup (B \cap A_n)\big) \\ &= \sum_{i=1}^n P(B \cap A_i) = \sum_{i=1}^n P(A_i)\, P(B \mid A_i). \end{aligned}$$

Il passaggio chiave è che gli eventi \(B \cap A_i\) sono a due a due disgiunti — lo sono gli \(A_i\), che formano una partizione — e quindi le loro probabilità si sommano. La lettura è intuitiva: la probabilità di \(B\) è la media delle probabilità condizionate \(P(B \mid A_i)\), pesate con la probabilità di trovarsi in ciascun "caso" \(A_i\).

4. Indipendenza

All'estremo opposto del condizionamento c'è la situazione in cui sapere che \(B\) si è verificato non dice nulla su \(A\). È il concetto di indipendenza, che semplifica enormemente i calcoli ed è alla base di quasi ogni modello trattabile.

ProposizioneEventi indipendenti. Se vale una qualsiasi di queste condizioni (e allora valgono tutte):
  1. \(P(A \mid B) = P(A)\);
  2. \(P(B \mid A) = P(B)\);
  3. \(P(A \cap B) = P(A)\, P(B)\);
gli eventi \(A\) e \(B\) si dicono indipendenti (o mutuamente indipendenti).

La terza forma è quella che si prende come definizione, perché è simmetrica e resta valida anche quando le probabilità condizionanti sono nulle. Le prime due la traducono nel linguaggio del condizionamento: la conoscenza di un evento lascia invariata la probabilità dell'altro. Passando da due a molti eventi, la richiesta si irrigidisce: non basta che valga a coppie.

DefinizioneEventi totalmente indipendenti. Gli eventi \(A_1, \dots, A_n\) si dicono totalmente indipendenti se, per ogni \(k\) con \(2 \leq k \leq n\) e ogni scelta di indici distinti \(i_1, \dots, i_k\), $$P(A_{i_1} \cap A_{i_2} \cap \dots \cap A_{i_k}) = P(A_{i_1})\, P(A_{i_2}) \cdots P(A_{i_k}).$$

La differenza è sostanziale: l'indipendenza totale richiede che la fattorizzazione valga per ogni sottoinsieme di eventi, non solo per le coppie. Esistono famiglie di eventi indipendenti a due a due ma non totalmente, e la distinzione, che sembra pedante, ha conseguenze concrete nei modelli grafici probabilistici.

5. La formula di Bayes

Uguagliando le due scritture della regola della catena, \(P(A \mid B)\,P(B) = P(B \mid A)\,P(A)\), e ricavando \(P(A \mid B)\), si ottiene la formula che permette di invertire il condizionamento: passare da "quanto è probabile il sintomo data la malattia" a "quanto è probabile la malattia dato il sintomo". Combinata con la formula delle probabilità totali al denominatore, assume la sua forma completa.

ProposizioneFormula di Bayes. Sia \(\{A_1, \dots, A_n\}\) una partizione di \(\mathbf{S}\). Allora, per ogni \(k\), $$P(A_k \mid B) = \frac{P(A_k \cap B)}{P(B)} = \frac{P(A_k)\, P(B \mid A_k)}{P(B)} = \frac{P(A_k)\, P(B \mid A_k)}{\sum_{i=1}^n P(A_i)\, P(B \mid A_i)}.$$

È la formula più usata di tutta la parte bayesiana dell'IA. Il vocabolario che la accompagna: \(P(A_k)\) è la probabilità a priori dell'ipotesi \(A_k\), \(P(B \mid A_k)\) è la verosimiglianza del dato osservato \(B\) sotto quell'ipotesi, e \(P(A_k \mid B)\) è la probabilità a posteriori, cioè l'ipotesi aggiornata alla luce del dato. Il denominatore è solo la costante di normalizzazione che rende il posteriore una probabilità.

La regola della catena si estende naturalmente a più eventi, ed è il mattone con cui si costruiscono le distribuzioni congiunte fattorizzandole in condizionamenti successivi.

ProposizioneProbabilità congiunta. Dati tre eventi \(A, B, C\), $$P(A, B, C) = P(A \cap B \cap C) = P(A \mid B, C)\, P(B \mid C)\, P(C).$$

6. Variabili aleatorie

Finora abbiamo lavorato con eventi, cioè con insiemi. Il passo che rende tutto calcolabile è associare a ogni esito un numero: è la variabile aleatoria, una funzione dallo spazio campionario ai reali.

DefinizioneVariabile aleatoria. Sia \(\mathbf{E}\) un esperimento aleatorio e \(\mathbf{S}\) lo spazio campionario associato. Una variabile aleatoria è una funzione \(X : \mathbf{S} \to \mathbb{R}\). Il suo range (o supporto) è $$R_X = X(\mathbf{S}) = \{\, x \in \mathbb{R} : \exists\, s \in \mathbf{S} \ \text{tale che}\ X(s) = x \,\}.$$

La variabile aleatoria trasporta la probabilità dallo spazio degli esiti allo spazio dei numeri: la probabilità che \(X\) assuma il valore \(x\) è, per definizione, la probabilità dell'evento \(\{s : X(s) = x\}\). Da qui in poi possiamo dimenticare lo spazio campionario e ragionare direttamente sui valori. La nozione di indipendenza si trasferisce parola per parola.

ProposizioneVariabili casuali indipendenti. Due variabili casuali \(X\) e \(Y\) si dicono indipendenti se la conoscenza di una non dice nulla sull'altra, ossia se $$\forall x, y \quad P(X = x,\, Y = y) = P(X = x)\, P(Y = y),$$ e in tal caso si scrive \(X \perp Y\). Data una terza variabile \(Z\), diciamo che \(X\) e \(Y\) sono condizionatamente indipendenti dato \(Z\) se $$\forall x, y, z \quad P(X = x,\, Y = y \mid Z = z) = P(X = x \mid Z = z)\, P(Y = y \mid Z = z).$$

L'indipendenza condizionata è più sottile — e più utile — dell'indipendenza semplice: due variabili possono essere dipendenti in assenza di informazione e diventare indipendenti una volta noto \(Z\). È esattamente la struttura che le reti bayesiane sfruttano per fattorizzare distribuzioni congiunte altrimenti intrattabili.

7. La funzione generatrice dei momenti

Prima di parlare di media e varianza conviene introdurre uno strumento che le racchiude entrambe, e che tornerà utile in tutte e tre le parti della serie per caratterizzare le distribuzioni: la funzione generatrice dei momenti.

DefinizioneFunzione generatrice dei momenti (MGF). Data una variabile casuale \(X\), la sua funzione generatrice dei momenti è $$M_X(t) = \mathbb{E}[e^{tX}],$$ cioè il valore atteso di \(e^{tX}\).

Il nome dice tutto: la MGF genera i momenti della distribuzione. Derivando \(k\) volte rispetto a \(t\) e valutando in \(t = 0\) si estrae il momento di ordine \(k\):

$$\mathbb{E}[X^k] = \left. \frac{d^k M_X(t)}{dt^k} \right|_{t=0}.$$

Il perché si intravede sviluppando \(e^{tX} = 1 + tX + \tfrac{t^2}{2}X^2 + \dots\): il coefficiente di \(t^k/k!\) nello sviluppo di \(M_X(t)\) è proprio \(\mathbb{E}[X^k]\). Da qui la prima derivata in zero dà la media, la seconda dà \(\mathbb{E}[X^2]\), e così via. La MGF si comporta bene sotto le trasformazioni affini, il che la rende comodissima nei conti.

ProposizioneMGF di una trasformazione affine. Sia \(X\) una variabile casuale con MGF \(M_X(t)\). Allora la variabile \(Y = aX + b\) ha funzione generatrice dei momenti $$M_Y(t) = e^{bt}\, M_X(at).$$

C'è di più, ed è la ragione per cui la MGF è tanto usata: due variabili con la stessa funzione generatrice dei momenti hanno la stessa distribuzione. La MGF, quando esiste, individua la distribuzione senza ambiguità, e questo trasforma molte dimostrazioni "sulle distribuzioni" in semplici conti algebrici su funzioni di \(t\).

8. Valore atteso e varianza

I due numeri che riassumono una distribuzione sono il valore atteso, che ne indica il centro, e la varianza, che ne misura la dispersione. Partiamo dal caso discreto.

DefinizioneMedia e varianza di una variabile discreta. Sia \(X\) una variabile casuale discreta. Si definisce valore atteso (o valore medio) di \(X\) $$\mathbb{E}[X] = \sum_x P(x)\, x,$$ e varianza di \(X\) $$\sigma^2 = \mathbb{E}\big[(X - \mathbb{E}[X])^2\big] = \sum_{x_i} (x_i - \mathbb{E}[X])^2\, p(x_i).$$ La quantità \(\sigma = \sqrt{\sigma^2}\) si dice deviazione standard di \(X\).

Il valore atteso è la media dei valori possibili, ciascuno pesato con la sua probabilità. La varianza è la media degli scarti al quadrato dal centro: sta al quadrato perché scarti positivi e negativi non si compensino, e proprio per questo si misura in unità al quadrato rispetto a \(X\). La deviazione standard \(\sigma\), riportando la radice, è invece espressa nella stessa unità di misura di \(X\), ed è per questo l'indicatore di dispersione che di solito si riporta. La definizione si estende dal calcolare la media di \(X\) al calcolare la media di una qualsiasi funzione di \(X\).

DefinizioneValore atteso di una funzione. Sia \(X\) una variabile casuale con distribuzione di probabilità \(P\) e sia \(f\) una funzione di \(x\). Il valore atteso di \(f\) rispetto a \(P\) è
  • se \(X\) è discreta: \(\displaystyle \mathbb{E}_{x \sim P}[f(x)] = \sum_x P(x)\, f(x)\);
  • se \(X\) è continua: \(\displaystyle \mathbb{E}_{x \sim p}[f(x)] = \int_{x \in \mathbf{S}} p(x)\, f(x)\, dx\).

La versione continua anticipa il capitolo sulle variabili continue: la somma diventa un integrale e la distribuzione \(P\) una densità \(p\), ma la sostanza — mediare i valori di \(f\) pesandoli con la probabilità — non cambia. La varianza è un caso particolare di valore atteso di una funzione, quella che misura lo scarto quadratico.

DefinizioneVarianza di una funzione. La varianza misura quanto i valori di \(f\) si discostano dal loro valor medio, campionando \(x\) dalla distribuzione data: $$\mathrm{Var}[f(x)] = \mathbb{E}\big[(f(x) - \mathbb{E}[f(x)])^2\big].$$

9. Covarianza e correlazione

Con una sola variabile abbiamo centro e dispersione. Con due entra in gioco una domanda nuova: come si muovono insieme? La covarianza risponde misurando quanto due variabili sono legate linearmente.

DefinizioneCovarianza. Date due variabili casuali \(X\) e \(Y\), la loro covarianza è $$\mathrm{Cov}(X, Y) = \mathbb{E}\big[(X - \mathbb{E}[X])(Y - \mathbb{E}[Y])\big].$$ Due variabili con covarianza nulla si dicono incorrelate.

Il segno della covarianza racconta la direzione del legame: se \(X\) tende a stare sopra la sua media quando anche \(Y\) sta sopra la propria, i due scarti hanno lo stesso segno e il loro prodotto è positivo, quindi la covarianza è positiva; se una cresce quando l'altra cala, la covarianza è negativa. Sviluppando il prodotto si ottiene una forma di calcolo più comoda.

$$\mathrm{Cov}(X, Y) = \mathbb{E}[XY] - \mathbb{E}[X]\,\mathbb{E}[Y]$$

Da questa scrittura si legge subito un fatto importante: se \(X\) e \(Y\) sono indipendenti, allora \(\mathbb{E}[XY] = \mathbb{E}[X]\,\mathbb{E}[Y]\) e la covarianza è zero. La covarianza gode di una serie di proprietà che la rendono, di fatto, una forma bilineare simmetrica.

ProposizioneProprietà della covarianza.
  • \(\mathrm{Cov}(X, Y) = \mathrm{Cov}(Y, X)\) (simmetria);
  • \(\mathrm{Cov}(aX + b, Y) = a\, \mathrm{Cov}(X, Y)\);
  • \(\mathrm{Cov}(X + Y, Z) = \mathrm{Cov}(X, Z) + \mathrm{Cov}(Y, Z)\) (bilinearità);
  • \(\mathrm{Cov}(X, X) = \mathrm{Var}(X)\);
  • \(\mathrm{Var}(X + Y) = \mathrm{Var}(X) + \mathrm{Var}(Y) + 2\,\mathrm{Cov}(X, Y)\);
  • più in generale, \(\displaystyle \mathrm{Cov}\Big(\sum_i X_i,\, \sum_j Y_j\Big) = \sum_{i,j} \mathrm{Cov}(X_i, Y_j)\).

La covarianza ha però un difetto: dipende dalle unità di misura, e quindi il suo valore assoluto non dice se il legame sia "forte" o "debole". Per confrontare, la si normalizza dividendola per il prodotto delle deviazioni standard.

DefinizioneCorrelazione. La correlazione tra due variabili casuali \(X\) e \(Y\) è la covarianza normalizzata: $$\rho(X, Y) = \frac{\mathrm{Cov}(X, Y)}{\sigma_X\, \sigma_Y}.$$

Il coefficiente \(\rho\) è un numero puro compreso fra \(-1\) e \(1\): vale \(+1\) in caso di legame lineare crescente perfetto, \(-1\) in caso di legame lineare decrescente perfetto, \(0\) in assenza di legame lineare. È il punto in cui vale la pena vedere le tre situazioni tipiche.

\(\rho \approx +0{,}9\) crescono insieme \(\rho \approx 0\) nessun legame \(\rho \approx -0{,}9\) una sale, l'altra scende
La correlazione misura solo il legame lineare: nel pannello centrale i punti sono privi di struttura lineare, ma anche una dipendenza forte e non lineare darebbe \(\rho \approx 0\).

Ed è proprio quest'ultima frase il punto delicato, che merita di essere isolato perché è fonte di errori ricorrenti.

Covarianza e indipendenza non coincidono. L'indipendenza implica covarianza nulla, ma non vale il viceversa. La covarianza cattura solo la componente lineare del legame: due variabili possono essere fortemente dipendenti e avere covarianza zero. L'esempio classico: \(X \sim U(-1, 1)\), uniforme fra \(-1\) e \(1\), e \(Y = X^2\). Qui \(Y\) è completamente determinata da \(X\) — dipendenza totale — eppure, per simmetria, \(\mathrm{Cov}(X, Y) = 0\). L'incorrelazione è dunque una condizione più debole dell'indipendenza.

Quando le variabili sono più di due, tutte le covarianze a coppie si raccolgono in una matrice.

DefinizioneMatrice di covarianza. La matrice di covarianza di un vettore aleatorio \(x \in \mathbb{R}^n\) è la matrice \(n \times n\) di elementi $$\mathrm{Cov}(x)_{ij} = \mathrm{Cov}(x_i, x_j),$$ i cui elementi diagonali sono le varianze delle singole componenti, \(\mathrm{Cov}(x_i, x_i) = \mathrm{Var}(x_i)\).

È una matrice simmetrica — per la simmetria della covarianza — e semidefinita positiva, e compare ovunque si lavori con dati multidimensionali: nella PCA, nella distanza di Mahalanobis, nella distribuzione normale multivariata. Chiudiamo con le proprietà di valore atteso e varianza rispetto alle operazioni algebriche, che useremo continuamente nelle prossime parti.

ProposizioneProprietà del valore atteso.
  • se \(X = c\) costante, allora \(\mathbb{E}[X] = c\);
  • \(\mathbb{E}[aX] = a\, \mathbb{E}[X]\);
  • \(\mathbb{E}[X + Y] = \mathbb{E}[X] + \mathbb{E}[Y]\) (linearità, sempre valida);
  • se \(X, Y\) sono indipendenti, \(\mathbb{E}[XY] = \mathbb{E}[X]\,\mathbb{E}[Y]\).
ProposizioneProprietà della varianza.
  • se \(c \in \mathbb{R}\), allora \(\sigma^2(X + c) = \sigma^2(X)\) (la traslazione non cambia la dispersione);
  • \(\sigma^2(aX) = a^2\, \sigma^2(X)\);
  • se \(X, Y\) sono indipendenti, \(\sigma^2(X + Y) = \sigma^2(X) + \sigma^2(Y)\).

Vale la pena notare l'asimmetria fra le due tabelle: il valore atteso è sempre lineare, mentre la varianza lo è solo per il fattore di scala, e la varianza di una somma è additiva unicamente in caso di indipendenza — altrimenti compare il termine di covarianza \(2\,\mathrm{Cov}(X, Y)\) visto sopra. È questa additività condizionata che, nella prossima parte, farà crescere la varianza della somma di \(n\) prove indipendenti proporzionalmente a \(n\), e non a \(n^2\).

Dove si va da qui

In questa prima parte abbiamo montato l'impalcatura: dallo spazio campionario e dagli assiomi di Kolmogorov siamo passati al condizionamento e alla formula di Bayes, poi alle variabili aleatorie con valore atteso, varianza, covarianza e correlazione, tenendo da parte la funzione generatrice dei momenti come strumento che le riassume tutte. Sono tutti oggetti "astratti", nel senso che valgono per qualunque distribuzione.

Nella seconda parte diamo carne a questi concetti calcolando esplicitamente media, varianza e MGF per le distribuzioni discrete più importanti — Bernoulli, geometrica, binomiale, binomiale negativa, multinomiale e Poisson — e arriviamo al risultato che le lega tutte quante nel limite: il teorema del limite centrale.

Commenti

Post popolari in questo blog

Algebra lineare (2): matrici, determinanti, autovalori e SVD

I teoremi di incompletezza di Gödel

Algebra lineare (1): spazi vettoriali, basi e applicazioni lineari