Appunti di informatica

Algebra lineare — serie in tre parti Spazi vettoriali, basi e applicazioni lineari Matrici, determinanti, autovalori e SVD Calcolo differenziale con le matrici (questo articolo) Nelle prime due parti di questa serie abbiamo costruito gli spazi vettoriali e studiato le matrici . Restava fuori un pezzo: cosa succede quando si deriva rispetto a un vettore o a una matrice. È il pezzo che serve davvero se si scrive codice di ottimizzazione. Ogni algoritmo di addestramento, dalla regressione lineare alla discesa del gradiente in una rete neurale, calcola la derivata di una funzione scalare — la loss — rispetto a un insieme di parametri organizzati in matrici. Le regole che seguono sono quelle che permettono di farlo senza scendere agli indici ogni volta, e quello che si scopre è che ricalcano fedelmente le regole del calcolo a una variabile: dove nel caso scalare c'è \(ax\), qui c'è \(b^T x\); dove c'è \(ax^2\), qui c'è \(x^T A x\); e le derivate si corrispondo...

Algebra lineare — serie in tre parti Spazi vettoriali, basi e applicazioni lineari Matrici, determinanti, autovalori e SVD (questo articolo) Calcolo differenziale con le matrici Nella prima parte di questa serie abbiamo costruito gli spazi vettoriali e le applicazioni lineari, e abbiamo visto che una matrice non è altro che un'applicazione lineare scritta rispetto a due basi fissate. Qui prendiamo quell'oggetto e lo studiamo per conto suo: come si moltiplica, come si inverte, come si decompone. Il filo conduttore dell'articolo è che quasi ogni formula matriciale si può leggere in più modi, e che scegliere la lettura giusta rende un risultato ovvio invece che oscuro. Il prodotto fra matrici, per dire, ammette quattro interpretazioni diverse che danno lo stesso numero ma raccontano cose diverse. Il punto d'arrivo sono la diagonalizzazione e la decomposizione ai valori singolari, cioè gli strumenti con cui si guarda dentro una matrice per capire cosa fa davv...

Algebra lineare — serie in tre parti Spazi vettoriali, basi e applicazioni lineari (questo articolo) Matrici, determinanti, autovalori e SVD Calcolo differenziale con le matrici Questo è il primo di tre articoli in cui raccolgo gli appunti di algebra lineare che ho scritto mentre lavoravo a un progetto di reti neurali. L'obiettivo non è sostituire un libro di testo, ma mettere in fila i risultati che servono davvero quando si passa dalla teoria al codice: perché una matrice simmetrica sia un oggetto speciale, perché la SVD si possa calcolare, perché il gradiente di una forma quadratica valga proprio \(2Ax\). Si parte dalle fondamenta. In questa prima parte non compare quasi nessuna matrice: parliamo di spazi vettoriali, di basi, di applicazioni lineari e di prodotti scalari. Sembra la parte più astratta, ed è vero, ma è anche quella che spiega perché tutto il resto funziona. Le matrici, che sono l'argomento della seconda parte, non sono altro che il modo di scrive...