Algebra lineare (1): spazi vettoriali, basi e applicazioni lineari

Questo è il primo di tre articoli in cui raccolgo gli appunti di algebra lineare che ho scritto mentre lavoravo a un progetto di reti neurali. L'obiettivo non è sostituire un libro di testo, ma mettere in fila i risultati che servono davvero quando si passa dalla teoria al codice: perché una matrice simmetrica sia un oggetto speciale, perché la SVD si possa calcolare, perché il gradiente di una forma quadratica valga proprio $2Ax$.

Si parte dalle fondamenta. In questa prima parte non compare quasi nessuna matrice: parliamo di spazi vettoriali, di basi, di applicazioni lineari e di prodotti scalari. Sembra la parte più astratta, ed è vero, ma è anche quella che spiega perché tutto il resto funziona. Le matrici, che sono l'argomento della seconda parte, non sono altro che il modo di scrivere in coordinate le cose che vediamo qui.

1. Spazi vettoriali

L'idea di spazio vettoriale nasce da un'osservazione: strutture apparentemente lontane fra loro si comportano allo stesso identico modo quando si tratta di sommare i loro elementi e di moltiplicarli per un numero. Le frecce nel piano, i polinomi, le funzioni continue su un intervallo, le sequenze di 784 pixel di un'immagine in scala di grigi — in tutti questi casi "sommare due oggetti" e "scalare un oggetto" hanno senso e obbediscono alle stesse regole. Invece di ridimostrare gli stessi teoremi in ogni contesto, si isolano le regole comuni e si dimostra tutto una volta sola.

Il punto di partenza è un'operazione che, a differenza della somma, mescola due insiemi diversi: gli scalari e i vettori.

DefinizioneLegge di composizione esterna (LCE). Dati un campo $\mathbf{K}$ e un insieme $E$, si dice legge di composizione esterna su $E$ avente $\mathbf{K}$ come dominio di operatori ogni applicazione $\mathbf{K} \times E \rightarrow E$.

La differenza con una legge di composizione interna (LCI), come la somma, è tutta qui: la LCI prende due elementi di $E$ e ne restituisce uno di $E$, la LCE prende uno scalare e un elemento di $E$. A questo punto possiamo dare la definizione centrale.

DefinizioneSpazio vettoriale. Dati un campo $\mathbf{K}$ e un insieme $E$ su cui siano definite una LCI $(+)$ e una LCE $(\cdot)$ avente $\mathbf{K}$ come dominio di operatori, si dice che rispetto a queste due leggi $E$ è uno spazio vettoriale sul campo $\mathbf{K}$ se sono soddisfatte le seguenti condizioni:

$$\begin{align} &1. \quad & & (E,+) \text{ è un gruppo abeliano} \\ &2. \quad & \forall \lambda, \mu \in \mathbf{K},\ \forall \mathbf{x} \in \mathbf{E}, & \quad (\lambda + \mu)\,\mathbf{x} = \lambda\,\mathbf{x} + \mu\,\mathbf{x} \\ &3. \quad & \forall \lambda \in \mathbf{K},\ \forall \mathbf{x}, \mathbf{y} \in \mathbf{E}, & \quad \lambda\,(\mathbf{x} + \mathbf{y}) = \lambda\,\mathbf{x} + \lambda\,\mathbf{y} \\ &4. \quad & \forall \lambda, \mu \in \mathbf{K},\ \forall \mathbf{x} \in \mathbf{E}, & \quad (\lambda \mu)\,\mathbf{x} = \lambda\,(\mu\,\mathbf{x}) \\ &5. \quad & \forall \mathbf{x} \in \mathbf{E}, & \quad 1_K\,\mathbf{x} = \mathbf{x} \end{align}$$

Le cinque condizioni si leggono facilmente: la prima dice che la somma si comporta bene da sola, la seconda e la terza sono le due distributività (una rispetto alla somma di scalari, l'altra rispetto alla somma di vettori), la quarta collega il prodotto del campo al prodotto esterno, la quinta impedisce il caso degenere in cui la moltiplicazione schiaccia tutto sullo zero.

Terminologia. Gli elementi di $\mathbf{E}$ si chiamano vettori, gli elementi di $\mathbf{K}$ si chiamano scalari. Lo zero di $(\mathbf{E},+)$ si chiama vettore nullo e si denota $0_E$, mentre lo zero di $(\mathbf{K},+)$ si chiama scalare nullo e si denota $0_K$. Sono due oggetti diversi e la distinzione, che all'inizio sembra pedanteria, diventa essenziale nelle dimostrazioni.

2. Sottospazi

Individuato uno spazio vettoriale, la domanda naturale è quali suoi sottoinsiemi siano a loro volta spazi vettoriali. La risposta è utile in pratica: quando in un problema di apprendimento i dati vivono in $\mathbb{R}^{1000}$ ma in realtà si dispongono su un sottospazio di dimensione 20, ridurre le dimensioni non perde nulla.

DefinizioneSottospazio vettoriale. Sia $\mathbf{E}$ uno spazio vettoriale su $\mathbf{K}$. Un sottoinsieme non vuoto $\mathbf{E}'$ di $\mathbf{E}$ è un sottospazio vettoriale se $\mathbf{E}'$ è uno spazio vettoriale su $\mathbf{K}$ rispetto alle restrizioni ad $\mathbf{E}'$ delle leggi di composizione definite su $\mathbf{E}$.

Verificare gli otto assiomi ogni volta sarebbe scomodo, ma per fortuna la maggior parte si eredita gratis dallo spazio grande: se la somma è associativa in $\mathbf{E}$, lo è anche in $\mathbf{E}'$. Restano da controllare solo le due chiusure.

ProposizioneProprietà di un sottospazio. Un sottoinsieme non vuoto $\mathbf{E}'$ di $\mathbf{E}$ è un sottospazio vettoriale di $\mathbf{E}$ se e solo se:

$\forall x, y \in \mathbf{E}' : x + y \in \mathbf{E}'$
$\forall x \in \mathbf{E}',\ \forall k \in \mathbf{K} : kx \in \mathbf{E}'$

Le due condizioni si possono comprimere in una sola, ed è la forma che conviene usare quando si fanno verifiche a mano.

ProposizioneCriterio per i sottospazi. Un sottoinsieme non vuoto $\mathbf{E}'$ di $\mathbf{E}$ è sottospazio vettoriale di $\mathbf{E}$ se e solo se $$\forall x, y \in \mathbf{E}' \quad \forall \lambda, \mu \in \mathbf{K} : \lambda x + \mu y \in \mathbf{E}'$$

L'espressione che compare nel criterio ha un nome e sarà il mattone di tutto il resto.

DefinizioneCombinazione lineare. Il vettore $\lambda_1 v_1 + \lambda_2 v_2 + \dots + \lambda_n v_n$ si dice combinazione lineare dei vettori $v_1, \dots, v_n \in \mathbf{E}$ secondo gli scalari $\lambda_1, \dots, \lambda_n$. Tali scalari si dicono coefficienti della combinazione lineare, che si denota con $$\sum_{i=1}^n \lambda_i v_i$$

Preso un pugno di vettori qualsiasi, l'insieme di tutte le loro combinazioni lineari è automaticamente un sottospazio — è il più piccolo che li contenga tutti.

TeoremaSottospazio generato, o span. L'insieme $\mathbf{F}$ di tutte le combinazioni lineari dei vettori $v_1, \dots, v_p$ è un sottospazio vettoriale di $\mathbf{E}$, che si dice generato dai vettori assegnati e si denota con $$\langle v_1, v_2, \dots, v_p \rangle \qquad \text{oppure} \qquad \mathrm{span}(\{v_1, v_2, \dots, v_p\})$$

Ai sottospazi si possono poi applicare le operazioni insiemistiche, ma con un'avvertenza importante: l'intersezione si comporta bene, l'unione no. L'unione di due rette distinte per l'origine non è chiusa rispetto alla somma, e infatti non è un sottospazio. Al suo posto si usa la somma.

TeoremaSottospazio intersezione. Sia $\mathbf{E}$ uno spazio vettoriale e siano $\mathbf{E}_1, \dots, \mathbf{E}_p$ sottospazi di $\mathbf{E}$. Allora l'insieme $G = \bigcap_{i=1}^p \mathbf{E}_i$ è un sottospazio di $\mathbf{E}$.

TeoremaSottospazio somma. Sia $\mathbf{E}$ uno spazio vettoriale e siano $\mathbf{E}_1, \dots, \mathbf{E}_p$ sottospazi di $\mathbf{E}$. Allora l'insieme $$\mathbf{H} = \{\, v \in \mathbf{E} : \exists\, v_i \in \mathbf{E}_i\ (i = 1 \dots p) \ \text{tali che}\ v = v_1 + v_2 + \dots + v_p \,\}$$ è un sottospazio di $\mathbf{E}$, si chiama sottospazio somma dei sottospazi assegnati e si denota con $\mathbf{E}_1 + \dots + \mathbf{E}_p$.

Il caso interessante è quello in cui la decomposizione di un vettore nella somma è unica: è la situazione che permette, per esempio, di separare un segnale in componenti indipendenti senza ambiguità.

DefinizioneSomma diretta. Uno spazio vettoriale $\mathbf{E}$ si dice somma diretta di due sottospazi $\mathbf{E}_1$ ed $\mathbf{E}_2$, e si scrive $\mathbf{E} = \mathbf{E}_1 \oplus \mathbf{E}_2$, se:

$\mathbf{E} = \mathbf{E}_1 + \mathbf{E}_2$
$\mathbf{E}_1 \cap \mathbf{E}_2 = \{0_E\}$

TeoremaCaratterizzazione della somma diretta. Lo spazio vettoriale $\mathbf{E}$ è somma diretta di due sottospazi $\mathbf{E}_1$ ed $\mathbf{E}_2$ se e solo se ogni vettore $v \in \mathbf{E}$ si può esprimere in uno e un solo modo nella forma $v = v_1 + v_2$ con $v_1 \in \mathbf{E}_1$, $v_2 \in \mathbf{E}_2$.

Vale la pena soffermarsi sull'equivalenza: la condizione "l'intersezione è il solo vettore nullo", che è una richiesta sull'insieme, si traduce esattamente nell'unicità della decomposizione, che è una richiesta su ogni singolo vettore. È il primo esempio di un fenomeno che si ripeterà spesso in algebra lineare.

3. Dipendenza lineare, generatori, basi

Abbiamo visto che un insieme di vettori genera un sottospazio. Ora la domanda si rovescia: quanti vettori servono, come minimo, per generarlo? Il concetto chiave è quello di ridondanza.

DefinizioneVettori linearmente dipendenti e indipendenti. Si dice che i vettori $v_1, \dots, v_p$ sono linearmente dipendenti se esistono scalari $\lambda_1, \dots, \lambda_p$ non tutti nulli tali che $$\lambda_1 v_1 + \lambda_2 v_2 + \dots + \lambda_p v_p = 0_E$$ ossia se esiste una combinazione lineare nulla con coefficienti non tutti nulli. Altrimenti si dicono linearmente indipendenti (l.i.), e in tal caso una combinazione lineare nulla di tali vettori deve necessariamente avere tutti i coefficienti nulli.

ProposizioneProprietà dei vettori l.i. $p \gt 1$ vettori sono linearmente dipendenti se e solo se almeno uno di essi è combinazione lineare degli altri.

Questa proposizione è la traduzione operativa della definizione: dipendenza lineare significa ridondanza, cioè che uno dei vettori non aggiunge niente a quello che gli altri già generano. Dall'altro lato abbiamo la nozione di copertura.

DefinizioneSistema di generatori. I vettori $v_1, \dots, v_p$ sono un sistema di generatori dello spazio $\mathbf{E}$ se ogni vettore di $\mathbf{E}$ è combinazione lineare di questi vettori.

Le due proprietà tirano in direzioni opposte: i generatori vogliono essere tanti per coprire tutto, l'indipendenza li vuole pochi per non sprecarne. Il punto di equilibrio è la base.

DefinizioneBase di uno spazio vettoriale. Un sistema di generatori linearmente indipendenti si dice base di $\mathbf{E}$.

ProposizioneCaratterizzazione di una base. Sia $(e_i)_{1 \le i \le n}$ una famiglia di vettori dello spazio vettoriale $\mathbf{E}$. Essa è una base di $\mathbf{E}$ se e solo se ogni vettore di $\mathbf{E}$ si può esprimere in un solo modo come combinazione lineare dei vettori della famiglia assegnata.

Ritroviamo la stessa struttura vista per la somma diretta: esistenza della decomposizione (i vettori generano) più unicità (i vettori sono indipendenti). È questa unicità che rende legittimo parlare di "coordinate" e che, in ultima analisi, permette di rappresentare un vettore astratto come un array di numeri in memoria.

DefinizioneDecomposizione. Se $v \in \mathbf{E}$ e $v = \lambda_1 v_1 + \lambda_2 v_2 + \dots + \lambda_p v_p$, questa espressione si chiama decomposizione di $v$ rispetto alla base di $\mathbf{E}$, e $\lambda_1, \dots, \lambda_p$ sono le componenti del vettore rispetto alla base.

4. Dimensione

Uno spazio ammette infinite basi diverse. Il fatto notevole — tutt'altro che ovvio a priori — è che tutte hanno lo stesso numero di elementi. Questo numero è un invariante dello spazio, e dà finalmente un senso preciso all'idea intuitiva di "quante direzioni indipendenti ci sono". Il risultato che apre la strada è il teorema di completamento.

TeoremaTeorema della base incompleta. Sia $(e_i)_{1 \le i \le n}$ una base dello spazio vettoriale $\mathbf{E}$. Si dimostra che, assegnati $h$ vettori $f_1, \dots, f_h$ linearmente indipendenti di $\mathbf{E}$, è possibile determinare $n - h$ vettori della base assegnata $(e_i)$ i quali, insieme agli $h$ vettori $f_1, \dots, f_h$, formano una nuova base.

Corollario Supponiamo che $\mathbf{E}$ abbia una base costituita da $n$ vettori. Allora, comunque si fissino $n$ vettori l.i. di $\mathbf{E}$, essi costituiscono una base di $\mathbf{E}$.

TeoremaTeorema della dimensione. Supponiamo che lo spazio $\mathbf{E}$ abbia una base costituita da $n$ vettori. Allora:

l'intero $n$ è il numero massimo di vettori l.i. dello spazio $\mathbf{E}$;
due qualsiasi basi di $\mathbf{E}$ contengono sempre $n$ vettori.

DefinizioneDimensione. Si dice dimensione di uno spazio vettoriale $\mathbf{E}$ il numero dei vettori di una sua qualsiasi base. Si indica con $\dim \mathbf{E}$.

Osservazioni. Per convenzione $\dim \{0_E\} = 0$. Se non esiste una base con un numero finito di vettori, la dimensione è infinita: è il caso di $\mathbf{E} = P[x]$, lo spazio dei polinomi in $x$, dove $1, x, x^2, x^3, \dots$ sono tutti indipendenti. Infine $\dim \mathbf{K}^n = n$ e $\dim \langle v_1, \dots, v_n \rangle = n$ se i $v_i$ sono l.i.

Proposizione Siano $\mathbf{V}, \mathbf{W}$ sottospazi vettoriali di $\mathbf{E}$ di dimensione finita, con $\mathbf{V} \subseteq \mathbf{W}$. Allora:

$\dim \mathbf{V} \leq \dim \mathbf{W}$
$\dim \mathbf{V} = \dim \mathbf{W} \iff \mathbf{V} = \mathbf{W}$

Il secondo punto è uno strumento di dimostrazione che useremo più volte: per provare che due sottospazi coincidono, quando uno è contenuto nell'altro, basta contarne le dimensioni. Si evita così di far vedere la doppia inclusione.

Quanto alla somma di due sottospazi, la sua dimensione non è in generale la somma delle dimensioni: i vettori dell'intersezione verrebbero contati due volte. La correzione è esattamente quella che ci si aspetta, ed è l'analogo del principio di inclusione-esclusione.

TeoremaIdentità di Grassmann. Sia $\mathbf{E}$ uno spazio vettoriale di dimensione finita e siano $\mathbf{V}, \mathbf{W}$ due suoi sottospazi. Allora: $$\dim \mathbf{V} + \dim \mathbf{W} = \dim(\mathbf{V} \cap \mathbf{W}) + \dim(\mathbf{V} + \mathbf{W})$$

Nel caso della somma diretta l'intersezione si riduce al vettore nullo, che ha dimensione zero, e l'identità degenera nella formula additiva: se $\mathbf{E} = \mathbf{V} \oplus \mathbf{W}$ allora $\dim \mathbf{E} = \dim \mathbf{V} + \dim \mathbf{W}$.

5. Applicazioni lineari

Definita la struttura, servono le funzioni che la rispettano. Sono quelle che commutano con la somma e con il prodotto per scalare: applicare la funzione e poi combinare, oppure combinare e poi applicare la funzione, deve dare lo stesso risultato.

DefinizioneApplicazione lineare, o omomorfismo. Siano $\mathbf{E}$, $\mathbf{F}$ spazi vettoriali su un campo $\mathbf{K}$. Si chiama applicazione lineare di $\mathbf{E}$ in $\mathbf{F}$ ogni applicazione $f : \mathbf{E} \rightarrow \mathbf{F}$ che gode delle seguenti proprietà:

$\forall v, w \in \mathbf{E} : f(v + w) = f(v) + f(w)$ (omomorfismo di gruppi)
$\forall \lambda \in \mathbf{K},\ \forall v \in \mathbf{E} : f(\lambda v) = \lambda f(v)$

ProposizioneCaratterizzazione di applicazione lineare. Sia $f : \mathbf{E} \rightarrow \mathbf{F}$. Allora $f$ è applicazione lineare se e solo se $$\forall \lambda, \mu \in \mathbf{K} \quad \forall v, w \in \mathbf{E} : f(\lambda v + \mu w) = \lambda f(v) + \mu f(w)$$

Le applicazioni lineari trasportano l'intera struttura da uno spazio all'altro: portano sottospazi in sottospazi e generatori in generatori.

Proposizione Siano $\mathbf{E}$, $\mathbf{F}$ spazi vettoriali su $\mathbf{K}$, sia $f : \mathbf{E} \rightarrow \mathbf{F}$ un'applicazione lineare e sia $\mathbf{V}$ un sottospazio di $\mathbf{E}$. Allora $f(\mathbf{V})$ è un sottospazio di $\mathbf{F}$.

Proposizione Nelle stesse ipotesi: $$v_1, v_2, \dots, v_n \ \text{generatori di } \mathbf{V} \quad \Rightarrow \quad f(v_1), f(v_2), \dots, f(v_n) \ \text{generatori di } f(\mathbf{V})$$

Corollario Se $\mathbf{V}$ è sottospazio di $\mathbf{E}$, allora $\dim f(\mathbf{V}) \leq \dim \mathbf{V}$.

La disuguaglianza è stretta ogni volta che $f$ schiaccia direzioni diverse l'una sull'altra: un'applicazione lineare può perdere informazione, mai crearne. I due sottospazi che misurano rispettivamente ciò che sopravvive e ciò che va perso sono l'immagine e il nucleo.

DefinizioneImmagine. $f(\mathbf{E})$ è detto immagine dell'applicazione lineare $f$ e si denota con $\mathrm{Im}(f)$.

DefinizioneNucleo, o nullspace, o kernel. Si chiama nucleo di $f$ e si denota con $\mathrm{Ker}\, f$ il sottoinsieme $$\mathrm{Ker}\, f = \mathrm{Nullspace}(f) = \{\, v \in \mathbf{E} : f(v) = 0_F \,\}$$

È facile dimostrare che $\mathrm{Ker}\, f$ è un sottospazio vettoriale di $\mathbf{E}$. La relazione fra le dimensioni di questi due sottospazi è probabilmente il singolo risultato più usato di tutta l'algebra lineare.

ProposizioneTeorema del rango, o della nullità. Se $f : \mathbf{E} \rightarrow \mathbf{F}$ è un'applicazione lineare, allora $$\dim \mathbf{E} = \dim \mathrm{Ker}\, f + \dim \mathrm{Im}(f)$$

La lettura è quantitativa: le dimensioni dello spazio di partenza si ripartiscono fra quelle che vengono annullate e quelle che sopravvivono nell'immagine. Nella seconda parte lo ritroveremo nella veste di teorema sul rango di una matrice, dove diventa un enunciato sulle colonne.

6. Matrice associata a un'applicazione lineare

Qui avviene il passaggio decisivo, quello che collega la teoria astratta al calcolo. Un'applicazione lineare è completamente determinata da come agisce sui vettori di una base: se so dove vanno a finire i $n$ vettori $e_j$, so dove va a finire qualsiasi vettore, perché ogni vettore è combinazione lineare degli $e_j$ e $f$ rispetta le combinazioni lineari. Scrivere le immagini $f(e_j)$ nella base di arrivo produce una tabella di numeri, ed è la matrice.

DefinizioneMatrice associata a $f \in \mathrm{Hom}(\mathbf{E}, \mathbf{F})$ rispetto alle basi $\mathbf{B}, \mathbf{B}'$. Siano $\mathbf{E}$, $\mathbf{F}$ due spazi vettoriali su $\mathbf{K}$, con $\dim \mathbf{E} = n$, $\dim \mathbf{F} = m$, sia $\mathbf{B} = (e_i)$ una base di $\mathbf{E}$ e $\mathbf{B}' = (f_i)$ una base di $\mathbf{F}$, e sia $f \in \mathrm{Hom}(\mathbf{E}, \mathbf{F})$. Allora $$\forall j = 1 \dots n \quad f(e_j) \in \mathbf{F} \quad \Rightarrow \quad f(e_j) = \sum_{i=1}^m a_{ij} f_i$$ e la matrice $A = (a_{ij}) \in M_{m,n}(\mathbf{K})$ si dice matrice associata ad $f$ relativamente alle basi $\mathbf{B}$ e $\mathbf{B}'$.

Conviene fissare bene questa immagine, perché torna continuamente: le colonne di $A$ sono i coefficienti della decomposizione, nella base di $\mathbf{F}$, delle immagini dei vettori della base di $\mathbf{E}$. La colonna $j$-esima dice dove finisce l'$j$-esimo vettore della base di partenza.

Da qui si ricava con un conto diretto la regola di calcolo. Dato un generico $v \in \mathbf{E}$, scritto in componenti come $v = x^j e_j$ (somma sottintesa su $j$):

$$f(v) = f(x^j e_j) = x^j f(e_j) = x^j \left( \sum_{i=1}^m a_{ij} f_i \right) = \sum_{i=1}^m \left( \sum_{j=1}^n a_{ij} x_j \right) f_i$$

D'altra parte $f(v) \in \mathbf{F}$, quindi $f(v) = \sum_{i=1}^m x_i' f_i$, e confrontando i coefficienti si ottiene

$$x_i' = \sum_{j=1}^n a_{ij} x_j$$

che è esattamente la formula che converte le componenti di $x$ nelle componenti di $f(x)$. In notazione matriciale, posto

$$A = \begin{bmatrix} a_{11} & \dots & a_{1n} \\ \vdots & & \vdots \\ a_{m1} & \dots & a_{mn} \end{bmatrix}, \quad x = \begin{bmatrix} x_1 \\ \vdots \\ x_n \end{bmatrix}, \quad y = \begin{bmatrix} x_1' \\ \vdots \\ x_m' \end{bmatrix} \qquad \text{si ha} \qquad y = Ax$$

Il prodotto matrice-vettore, che nella seconda parte tratteremo come definizione, è dunque una conseguenza: nasce dal richiedere che la matrice rappresenti l'applicazione lineare. Lo stesso vale per le operazioni fra matrici.

ProposizioneMatrice associata a una somma di applicazioni. Siano $\mathbf{E}, \mathbf{F}$ spazi vettoriali su $\mathbf{K}$, con $\dim \mathbf{E} = n$, $\dim \mathbf{F} = m$, e siano $\mathbf{B} = (e_i)$, $\mathbf{B}' = (f_i)$ basi di $\mathbf{E}$ e $\mathbf{F}$. Se $f, g \in \mathrm{Hom}(\mathbf{E}, \mathbf{F})$ e $A$, $B$ sono le matrici associate a $f$ e $g$, allora la matrice associata a $f + g$ è $A + B$. Inoltre, per ogni $\lambda \in \mathbf{K}$, la matrice associata a $\lambda f$ è $\lambda A$.

ProposizioneMatrice associata a una composizione. Siano $\mathbf{E}, \mathbf{F}, \mathbf{G}$ spazi vettoriali su $\mathbf{K}$, di dimensioni $n, m, p$, con basi $\mathbf{B}, \mathbf{B}', \mathbf{B}''$. Se $f \in \mathrm{Hom}(\mathbf{E}, \mathbf{F})$ e $g \in \mathrm{Hom}(\mathbf{F}, \mathbf{G})$, e $A$, $B$ sono le matrici associate a $f$ e $g$, allora la matrice associata a $g \circ f$ è $B \cdot A$.

Quest'ultima proposizione risponde a una domanda che ogni tanto si sente porre: perché il prodotto di matrici è definito in quel modo contorto, righe per colonne, e non elemento per elemento? Perché il prodotto di matrici è la composizione di funzioni, e la definizione righe per colonne è l'unica che la rappresenti correttamente. Da qui segue anche la non commutatività: comporre $f$ dopo $g$ non è la stessa cosa che comporre $g$ dopo $f$.

TeoremaCaratterizzazione degli automorfismi. Sia $\mathbf{E}$ uno spazio vettoriale su $\mathbf{K}$ con $\dim \mathbf{E} = n$, sia $f \in \mathrm{End}(\mathbf{E})$ e sia $A$ la sua matrice rispetto alla base $(e_i)$ di $\mathbf{E}$. La matrice $A$ è invertibile se e solo se $f$ è un automorfismo di $\mathbf{E}$, ossia un endomorfismo biiettivo.

Anche l'inversa di una matrice, quindi, non è un artificio di calcolo: è la matrice della funzione inversa, e non esiste esattamente quando la funzione non è invertibile.

7. Forme lineari e iperpiani

Un caso particolare merita attenzione: quello in cui lo spazio di arrivo è il campo stesso. Sono le applicazioni lineari a valori scalari, cioè quelle che assegnano un numero a ogni vettore.

DefinizioneForma lineare. Sia $\mathbf{E}$ uno spazio vettoriale su $\mathbf{K}$. Un'applicazione lineare $f : \mathbf{E} \rightarrow \mathbf{K}$ è detta forma lineare su $\mathbf{E}$.

Il nucleo di una forma lineare non nulla è un sottospazio di codimensione 1, cioè "grande quanto lo spazio meno una direzione". Ha un nome proprio.

DefinizioneIperpiano vettoriale. Sia $\mathbf{E}$ uno spazio vettoriale di dimensione $n$. Un sottospazio di $\mathbf{E}$ di dimensione $n - 1$ si chiama iperpiano vettoriale.

Teorema Sia $\mathbf{E}$ uno spazio vettoriale su $\mathbf{K}$ e sia $f$ una forma lineare non nulla su $\mathbf{E}$. Allora $\mathrm{Ker}\, f$ è un iperpiano vettoriale di $\mathbf{E}$.

Dimostrazione

$\mathrm{Ker}\, f$ è sempre sottospazio di $\mathbf{E}$, e vale $\dim \mathrm{Ker}\, f + \dim \mathrm{Im}(f) = \dim \mathbf{E}$. Basta quindi mostrare che $\dim \mathrm{Im}(f) = 1$, cioè che $f$ è suriettiva su $\mathbf{K}$.

Poiché $f$ non è nulla, esiste $x \in \mathbf{E}$ con $f(x) = a \neq 0_K$. Preso un qualsiasi $\lambda \in \mathbf{K}$, poniamo $y = \lambda a^{-1} x$, che appartiene a $\mathbf{E}$ perché $\lambda a^{-1}$ è uno scalare. Allora

$$f(y) = f(\lambda a^{-1} x) = \lambda a^{-1} f(x) = \lambda a^{-1} a = \lambda$$

Quindi per ogni $\lambda \in \mathbf{K}$ esiste $y \in \mathbf{E}$ con $f(y) = \lambda$, cioè $f$ è suriettiva e $\mathrm{Im}(f) = \mathbf{K}$, da cui $\dim \mathrm{Im}(f) = 1$. Sostituendo: $\dim \mathrm{Ker}\, f + 1 = \dim \mathbf{E}$, ossia $\dim \mathrm{Ker}\, f = \dim \mathbf{E} - 1$, che è la tesi. $\blacksquare$

Vale anche il viceversa, ed è la parte più laboriosa.

Proposizione Sia $\mathbf{H}$ un iperpiano vettoriale dello spazio vettoriale $\mathbf{E}$. Esiste una forma lineare non nulla su $\mathbf{E}$ il cui nucleo è $\mathbf{H}$.

Dimostrazione

Poiché $\mathbf{H} \subset \mathbf{E}$ e $\mathbf{H} \neq \mathbf{E}$, esiste $y \in \mathbf{E} \setminus \mathbf{H}$. Consideriamo $\mathbf{D} = \langle y \rangle$ e dimostriamo che $\mathbf{E} = \mathbf{H} \oplus \mathbf{D}$.

Da $\mathbf{H} \subseteq \mathbf{H} + \mathbf{D} \subseteq \mathbf{E}$ segue $n - 1 \leq \dim(\mathbf{H} + \mathbf{D}) \leq n$. Non può essere $\dim(\mathbf{H} + \mathbf{D}) = n - 1$, altrimenti sarebbe $\mathbf{H} = \mathbf{H} + \mathbf{D}$, assurdo perché $y \in \mathbf{H} + \mathbf{D}$ ma $y \notin \mathbf{H}$. Quindi $\dim(\mathbf{H} + \mathbf{D}) = n$ e pertanto $\mathbf{H} + \mathbf{D} = \mathbf{E}$.

Resta da mostrare che $\mathbf{H} \cap \mathbf{D} = \{0\}$. Per l'identità di Grassmann, $\dim \mathbf{H} + \dim \mathbf{D} = \dim(\mathbf{H} \cap \mathbf{D}) + \dim(\mathbf{H} + \mathbf{D})$, cioè $(n-1) + 1 = \dim(\mathbf{H} \cap \mathbf{D}) + n$, da cui $\dim(\mathbf{H} \cap \mathbf{D}) = 0$ e $\mathbf{H} \cap \mathbf{D} = \{0\}$.

Dunque $\mathbf{E} = \mathbf{H} \oplus \mathbf{D}$ e ogni vettore $x \in \mathbf{E}$ si scrive in un unico modo come $x = h + d$ con $h \in \mathbf{H}$, $d \in \mathbf{D}$; e poiché $\mathbf{D} = \langle y \rangle$, per ogni $d \in \mathbf{D}$ esiste un unico $a \in \mathbf{K}$ con $d = ay$. In definitiva

$$\forall x \in \mathbf{E} \quad \exists!\, h \in \mathbf{H}\ \ \exists!\, a \in \mathbf{K} : x = h + ay$$

Definiamo allora $f : \mathbf{E} \rightarrow \mathbf{K}$ ponendo $f(x) = a$, dove $a$ è lo scalare che compare in $x = h + ay$. Verifichiamo che è un omomorfismo: presi $x = h + ay$ e $x' = h' + a'y$, si ha

$$f(\lambda x + \mu x') = f\big(\lambda h + \mu h' + (\lambda a + \mu a')y\big) = \lambda a + \mu a' = \lambda f(x) + \mu f(x')$$

Dimostriamo infine che $\mathbf{H} = \mathrm{Ker}\, f$. Per ogni $h \in \mathbf{H}$ si ha $h = h + 0_K y$, quindi $f(h) = 0_K$ e $h \in \mathrm{Ker}\, f$: dunque $\mathbf{H} \subseteq \mathrm{Ker}\, f$. Ma $f$ è una forma lineare non nulla, quindi per il teorema precedente $\mathrm{Ker}\, f$ è un iperpiano e $\dim \mathrm{Ker}\, f = n - 1$; anche $\mathbf{H}$ è un iperpiano, quindi $\dim \mathbf{H} = n - 1$. Due sottospazi con la stessa dimensione, uno contenuto nell'altro, coincidono: $\mathbf{H} = \mathrm{Ker}\, f$. $\blacksquare$

Si noti l'uso, nell'ultimo passaggio, del criterio dimensionale enunciato nella sezione 4: è il modo più economico di chiudere la dimostrazione. Un iperpiano può essere rappresentato dai nuclei di più forme lineari non nulle, a seconda di come si sceglie $y \in \mathbf{E} \setminus \mathbf{H}$, ma la scelta cambia poco.

Teorema Siano $f$ e $g$ due forme lineari non nulle su $\mathbf{E}$ i cui nuclei determinano lo stesso iperpiano vettoriale $\mathbf{H}$ di $\mathbf{E}$. Allora esiste $\delta \in \mathbf{K}^*$ tale che $g = \delta f$.

Le forme lineari con lo stesso nucleo sono cioè tutte proporzionali fra loro: l'iperpiano determina la forma a meno di un fattore di scala.

Convenzione di sommazione. Da qui in avanti, quando un indice compare una volta in alto e una volta in basso, la somma su quell'indice è sottintesa: scriviamo $\lambda^i x_i$ invece di $\sum_{i=1}^n \lambda_i x_i$.

8. Forme bilineari

Passiamo ora dalle funzioni di un vettore alle funzioni di due vettori, lineari in ciascuno dei due argomenti separatamente. È la struttura che sta sotto al prodotto scalare, e quindi sotto ai concetti di lunghezza, angolo e ortogonalità.

DefinizioneForma bilineare. Sia $\mathbf{E}$ uno spazio vettoriale su $\mathbf{K}$. Si dice forma bilineare su $\mathbf{E}$ ogni applicazione $\varphi : \mathbf{E} \times \mathbf{E} \rightarrow \mathbf{K}$ che soddisfa le seguenti proprietà:

$\forall x, x', y \in \mathbf{E} : \varphi(x + x', y) = \varphi(x, y) + \varphi(x', y)$
$\forall x, y, y' \in \mathbf{E} : \varphi(x, y + y') = \varphi(x, y) + \varphi(x, y')$
$\forall x, y \in \mathbf{E},\ \forall \alpha \in \mathbf{K} : \varphi(\alpha x, y) = \varphi(x, \alpha y) = \alpha\, \varphi(x, y)$

In altri termini, $\varphi$ è bilineare se le applicazioni parziali $x \mapsto \varphi(x, y)$ e $y \mapsto \varphi(x, y)$, ottenute congelando un argomento, sono forme lineari su $\mathbf{E}$. Ne segue subito che $\varphi(0_E, y) = \varphi(0_K \cdot 0_E, y) = 0_K\, \varphi(0_E, y) = 0_K$, e analogamente $\varphi(x, 0_E) = 0_K$.

Anche una forma bilineare, come un'applicazione lineare, è determinata dai suoi valori sulla base: conoscere $\varphi$ su tutte le coppie $(e_i, e_j)$ significa conoscerla ovunque. E anche qui il risultato si organizza in una matrice.

DefinizioneMatrice della forma bilineare $\varphi$ rispetto alla base $\mathbf{B}$. Sia $\varphi$ una forma bilineare sullo spazio $\mathbf{E}$. Fissata una base $(e_i)_{1 \le i \le n}$, poniamo $a_{ij} = \varphi(e_i, e_j)$ per ogni $1 \le i, j \le n$. Allora la matrice quadrata $A = (a_{ij})$ è detta matrice della forma bilineare $\varphi$ rispetto alla base $\mathbf{B}$.

La verifica è un conto di due righe. Siano $x = x^i e_i$ e $y = y^j e_j$; allora

$$\varphi(x, y) = \varphi(x^i e_i,\, y^j e_j) = x^i y^j\, \varphi(e_i, e_j) = x^i y^j a_{ij}$$

e quindi, conoscendo la matrice $A$ e la base $\mathbf{B}$, conosciamo tutta la forma bilineare. In notazione matriciale, posti $x$ e $y$ come vettori colonna,

$$\varphi(x, y) = x^T A y$$

che restituisce uno scalare. Questa scrittura tornerà spesso: è la stessa che nella terza parte, con $y = x$, diventerà la forma quadratica $x^T A x$.

DefinizioneForma bilineare simmetrica. La forma bilineare $\varphi$ si dice simmetrica se $\forall x, y \in \mathbf{E} : \varphi(x, y) = \varphi(y, x)$.

La simmetria della forma si riflette sulla matrice, e in modo indipendente dalla base scelta: se $\varphi$ è simmetrica allora $\varphi(e_i, e_j) = \varphi(e_j, e_i)$, cioè $a_{ij} = a_{ji}$, qualunque sia la base $\mathbf{B}$. È la ragione profonda per cui le matrici simmetriche ricorrono ovunque — sono la controparte in coordinate di un oggetto geometrico che non dipende dalle coordinate. Nella seconda parte vedremo che proprio per queste matrici valgono i teoremi più forti sugli autovalori.

Quando $\varphi$ è simmetrica, per verificare che sia bilineare basta dimostrare la prima e la terza delle tre condizioni: la seconda segue dalla simmetria.

DefinizioneForma bilineare definita positiva. La forma bilineare $\varphi : \mathbf{E} \times \mathbf{E} \to \mathbb{R}$ si dice definita positiva se:

$\forall x \in \mathbf{E} : \varphi(x, x) \geq 0_R$
$\forall x \in \mathbf{E} : \varphi(x, x) = 0_R \iff x = 0_E$

9. Spazi euclidei e norme

Mettendo insieme i tre aggettivi — bilineare, simmetrica, definita positiva — si ottiene la struttura che permette di misurare.

DefinizioneSpazio vettoriale euclideo (SVE). Uno spazio vettoriale reale $\mathbf{E}$ munito di una forma bilineare simmetrica definita positiva si chiama spazio vettoriale euclideo e si denota con $(\mathbf{E}, \varphi)$, oppure semplicemente $\mathbf{E}$. La forma $\varphi$ si dice prodotto scalare; se $x, y \in \mathbf{E}$, il valore $\varphi(x, y)$ si dice prodotto scalare di $x$ e $y$ e si denota anche con $x \cdot y$.

Si dimostra che la funzione $\varphi : \mathbb{R}^n \times \mathbb{R}^n \to \mathbb{R}$ definita da $\varphi(x, y) = \sum_{i=1}^n x_i y_i$ è un prodotto scalare, chiamato prodotto scalare standard su $\mathbb{R}^n$. È quello che si usa implicitamente ogni volta che si scrive un prodotto scalare in codice, ma è bene ricordare che è una scelta fra tante: cambiare prodotto scalare significa cambiare la nozione di distanza e di angolo, ed è esattamente quello che si fa, per esempio, con la distanza di Mahalanobis.

Il concetto di norma si può definire in astratto, senza passare da un prodotto scalare.

DefinizioneNorma. Dato uno spazio vettoriale $\mathbf{E}$, si definisce norma una funzione $f$ che soddisfi le seguenti proprietà:

$\forall x \in \mathbf{E} : f(x) \geq 0$
$\forall x \in \mathbf{E} : f(x) = 0 \iff x = 0$ (definitezza)
$\forall x \in \mathbf{E},\ \forall t \in \mathbb{R} : f(t x) = \lvert t \rvert\, f(x)$ (omogeneità)
$\forall x, y \in \mathbf{E} : f(x + y) \leq f(x) + f(y)$ (disuguaglianza triangolare)

Un prodotto scalare, però, ne induce sempre una.

DefinizioneNorma di un vettore. Sia $\mathbf{E}$ uno spazio vettoriale euclideo e $\varphi$ il suo prodotto scalare. Il numero reale non negativo $\lVert x \rVert = \sqrt{\varphi(x, x)}$ si dice norma di $x$. Un vettore di norma uguale a 1 si dice vettore unitario.

TeoremaProprietà della norma. Si dimostrano le seguenti proprietà:

$\forall x \in \mathbf{E} : \lVert x \rVert = 0 \iff x = 0_E$
$\forall x \in \mathbf{E},\ \forall \alpha \in \mathbb{R} : \lVert \alpha x \rVert = \lvert \alpha \rvert\, \lVert x \rVert$
$\forall x, y \in \mathbf{E} : \varphi(x, y) \leq \lVert x \rVert\, \lVert y \rVert$ (disuguaglianza di Schwarz)
$\forall x, y \in \mathbf{E} : \lVert x + y \rVert \leq \lVert x \rVert + \lVert y \rVert$ (disuguaglianza triangolare)

Dimostrazione

(1) $\lVert x \rVert = 0_R \iff \sqrt{\varphi(x,x)} = 0_R \iff \varphi(x,x) = 0_R \iff x = 0_E$, dove l'ultima equivalenza è la definitezza positiva dello spazio euclideo.

(2) $\lVert \alpha x \rVert = \sqrt{\varphi(\alpha x, \alpha x)} = \sqrt{\alpha^2 \varphi(x,x)} = \lvert \alpha \rvert \sqrt{\varphi(x,x)} = \lvert \alpha \rvert\, \lVert x \rVert$.

(3) Se $y = 0_E$ la tesi è banale, perché entrambi i membri sono nulli. Se $y \neq 0_E$, poniamo $\lambda = \lVert y \rVert^2$ e $\mu = -\varphi(x,y)$, e sfruttiamo la positività della forma sul vettore $\lambda x + \mu y$:

$$0_R \leq \varphi(\lambda x + \mu y,\, \lambda x + \mu y) = \lambda^2 \varphi(x,x) + 2\lambda\mu\, \varphi(x,y) + \mu^2 \varphi(y,y)$$

Sostituendo i valori scelti per $\lambda$ e $\mu$:

$$0_R \leq \lVert y \rVert^4 \lVert x \rVert^2 - 2 \lVert y \rVert^2 \varphi(x,y)^2 + \varphi(x,y)^2 \lVert y \rVert^2 = \lVert y \rVert^4 \lVert x \rVert^2 - \lVert y \rVert^2 \varphi(x,y)^2$$

Dividendo per $\lVert y \rVert^2 \gt 0$ si ottiene $\varphi(x,y)^2 \leq \lVert x \rVert^2 \lVert y \rVert^2$, da cui $\lvert \varphi(x,y) \rvert \leq \lVert x \rVert \lVert y \rVert$ e a maggior ragione $\varphi(x,y) \leq \lVert x \rVert \lVert y \rVert$.

(4) Sviluppando il quadrato della norma e usando la (3):

$$\lVert x + y \rVert^2 = \varphi(x+y, x+y) = \lVert x \rVert^2 + 2\varphi(x,y) + \lVert y \rVert^2 \leq \lVert x \rVert^2 + 2\lVert x \rVert \lVert y \rVert + \lVert y \rVert^2 = \big(\lVert x \rVert + \lVert y \rVert\big)^2$$

e poiché sia $\lVert x+y \rVert$ sia $\lVert x \rVert + \lVert y \rVert$ sono non negativi, si può estrarre la radice conservando il verso: $\lVert x + y \rVert \leq \lVert x \rVert + \lVert y \rVert$. $\blacksquare$

Altre norme: $p$-norme e norma di Frobenius

La norma euclidea è solo un caso della famiglia delle $p$-norme:

$$\lvert x \rvert_p = \left( \sum_{i=1}^n \lvert x_i \rvert^p \right)^{\frac{1}{p}} \qquad\qquad \lvert x \rvert_\infty = \max_i \lvert x_i \rvert$$

Per $p = 2$ si ritrova quella euclidea, per $p = 1$ la somma dei valori assoluti (quella che nella regolarizzazione produce soluzioni sparse), per $p \to \infty$ il massimo. È utile anche definire una norma sulle matrici, e quella più immediata tratta la matrice come un lungo vettore.

DefinizioneNorma di Frobenius. $$\lVert A \rVert_F = \sqrt{\sum_{i=1}^m \sum_{j=1}^n a_{ij}^2} = \sqrt{\mathrm{tr}(A^* A)} \ \overset{\text{(}A\text{ reale)}}{=}\ \sqrt{\mathrm{tr}(A^T A)}$$ dove con $A^*$ si denota la trasposta coniugata.

Nel campo reale, dunque, $\lVert A \rVert_F$ è la radice della somma dei quadrati di tutti gli elementi della matrice. L'identità con la traccia non è una curiosità: è il modo in cui la norma di Frobenius si collega ai valori singolari, cosa che vedremo parlando di SVD.

10. Distanza, angoli, ortogonalità

Con la norma si definisce la distanza, e con essa $\mathbf{E}$ diventa uno spazio metrico.

DefinizioneDistanza euclidea. Sia $\mathbf{E}$ uno spazio vettoriale euclideo. La funzione $d : \mathbf{E} \times \mathbf{E} \to \mathbb{R}^+$ definita da $d(x,y) = \lVert x - y \rVert$ si chiama distanza euclidea dei vettori $x$ e $y$ e gode delle seguenti proprietà:

$d(x,y) = 0 \iff x = y$
$d(x,y) = d(y,x)$
$d(x,z) \leq d(x,y) + d(y,z)$

La disuguaglianza di Schwarz permette poi di recuperare la nozione di angolo, che a prima vista sembrerebbe irrimediabilmente legata alla geometria del piano. Se $x \neq 0_E$ e $y \neq 0_E$, Schwarz garantisce che

$$\left\lvert \frac{\varphi(x,y)}{\lVert x \rVert\, \lVert y \rVert} \right\rvert \leq 1 \qquad \text{ossia} \qquad -1 \leq \frac{\varphi(x,y)}{\lVert x \rVert\, \lVert y \rVert} \leq 1$$

e poiché il coseno è strettamente decrescente in $[0, \pi]$, esiste un unico $\theta \in [0,\pi]$ il cui coseno vale quel rapporto. È il fatto che quel quoziente cada sempre nell'intervallo giusto a rendere la definizione lecita.

DefinizioneAngolo di due vettori. Siano $x, y$ due vettori non nulli di $\mathbf{E}$. Si chiama angolo dei due vettori l'unico $\theta \in [0,\pi]$ tale che $$\cos \theta = \frac{\varphi(x,y)}{\lVert x \rVert\, \lVert y \rVert}$$

È la formula alla base della cosine similarity, usata continuamente per confrontare embedding: due vettori sono simili quando l'angolo fra loro è piccolo, indipendentemente dalla loro lunghezza. Il caso limite dell'angolo retto ha un nome proprio.

DefinizioneVettori ortogonali. Siano $x, y \in \mathbf{E}$. Allora $x$ e $y$ sono ortogonali se $\varphi(x,y) = 0_R$.

Se $x, y \neq 0_E$, allora $x$ e $y$ sono ortogonali $\iff \varphi(x,y) = 0 \iff \cos\theta = 0 \iff \theta = \frac{\pi}{2}$. Se invece $x = 0_E$ oppure $y = 0_E$, i due vettori sono sempre ortogonali: il vettore nullo è ortogonale a tutti.

DefinizioneSottospazi ortogonali. Siano $\mathbf{V}, \mathbf{W}$ due sottospazi di $\mathbf{E}$. Diciamo che $\mathbf{V}$ e $\mathbf{W}$ sono ortogonali ($\mathbf{V} \perp \mathbf{W}$) se $$\forall v \in \mathbf{V} \quad \forall w \in \mathbf{W} \quad \varphi(v,w) = 0_R$$

L'ortogonalità è una condizione molto più forte dell'indipendenza lineare, e infatti la implica.

ProposizioneOrtogonalità $\Rightarrow$ indipendenza lineare. Ogni insieme di vettori non nulli a due a due ortogonali è costituito da vettori linearmente indipendenti.

Dimostrazione

Siano $x_1, \dots, x_h$ a due a due ortogonali e non nulli. Consideriamo una combinazione lineare nulla $\sum_{i=1}^h \lambda_i x_i = 0$ e dimostriamo che tutti i $\lambda_i$ sono nulli.

Fissato $t$ con $1 \leq t \leq h$, calcoliamo il prodotto scalare di $x_t$ con la combinazione, che è il vettore nullo:

$$0 = \varphi\Big(x_t,\, \sum_{i=1}^h \lambda_i x_i\Big) = \sum_{i=1}^h \lambda_i\, \varphi(x_t, x_i) = \sum_{\substack{i=1 \\ i \neq t}}^h \lambda_i \underbrace{\varphi(x_t, x_i)}_{= 0 \text{ perché ortogonali}} + \ \lambda_t\, \varphi(x_t, x_t)$$

Tutti i termini della sommatoria si annullano per l'ortogonalità, e resta $\lambda_t \lVert x_t \rVert^2 = 0$. Poiché $x_t \neq 0$, la sua norma non è nulla, e quindi $\lambda_t = 0$. Ripetendo il ragionamento per ogni $t$ si conclude che tutti i coefficienti sono zero, cioè i vettori sono linearmente indipendenti. $\blacksquare$

Questo suggerisce che le basi ortogonali siano particolarmente comode: essendo l'ortogonalità più forte dell'indipendenza, una famiglia ortogonale è automaticamente una base non appena ha abbastanza elementi. E, cosa più importante, una base ortogonale si può sempre costruire a partire da una base qualsiasi.

TeoremaProcedimento di Gram-Schmidt. Sia $(x_i)_{1 \leq i \leq h}$ una famiglia di vettori linearmente indipendenti di $\mathbf{E}$, con $2 \leq h \leq n$. Allora esiste una famiglia $(e_i)_{1 \leq i \leq h}$ di vettori non nulli a due a due ortogonali tali che $$\langle x_1, \dots, x_h \rangle = \langle e_1, \dots, e_h \rangle$$

Il teorema è costruttivo, e il procedimento che lo dimostra è un algoritmo effettivo: si prende il primo vettore così com'è, poi a ogni passo si sottrae al vettore successivo la sua proiezione sui vettori già ortogonalizzati, eliminando via via ogni componente ridondante. Normalizzando alla fine si ottiene una base ortonormale. È la base concettuale della fattorizzazione QR, e il motivo per cui poter sempre lavorare in una base ortonormale non è un'ipotesi comoda ma un fatto garantito.

Dove si va da qui

Tirando le somme, in questa prima parte abbiamo costruito il vocabolario: spazi e sottospazi, indipendenza, basi e dimensione, applicazioni lineari con nucleo e immagine, e infine la struttura metrica data dal prodotto scalare. Due risultati in particolare torneranno di continuo: il teorema del rango $\dim \mathbf{E} = \dim \mathrm{Ker} f + \dim \mathrm{Im} f$, e il fatto che le matrici non sono che applicazioni lineari e forme bilineari scritte in coordinate.

Nella seconda parte partiamo proprio da lì: prodotto fra matrici letto in quattro modi diversi, rango, inversa, matrici ortogonali, determinanti, e poi il cuore della faccenda — autovalori, diagonalizzazione, decomposizione ai valori singolari e pseudo-inversa di Moore-Penrose.

Cerca nel blog

Appunti di informatica

Algebra lineare (3): calcolo differenziale con le matrici