Illustrare alcuni dei fondamenti matematici che sono alla base del Machine Learning, e in particolare l’algebra lineare e le sue applicazioni per il Deep Learning.
Curriculum
scheda docente materiale didattico
Matrix-matrix multiplication; column & row space; rank
The four fundamental subspaces of linear algebra
Fundamentals of Matrix factorizations:
A=LU rows & columns point of view
A=LU elimination & factorization; permutations
A=RU=VU; Orthogonal matrices
Eigensystems and Linear ODE
Intro to PSym; the energy function
Gradient and Hessian
Singular Value Decomposition
Eckart-Young; derivative of a matrix norm
Principal Component Analysis
Generalized evectors;
Norms
Least Squares
Convexity & Newton’s method
Newton & L-M method; Recap of non-linear regression
Lagrange multipliers
Machine Learning:
Gradient Descend; exact line search; GD in action; GD with Matlab
Learning & Loss; Intro to Deep Neural Network; DNN with Matlab
Loss functions: Quadratic VS Cross entropy
Stocastics Gradient Descend (SGD) & Kaczmarcz; SGD convergence rates & ADAM
Matlab interface for DNN
Construction of DNN: the key steps
Backpropagation and the Chain Rule
Machine Learning examples with Wolfram Mathematica
Convolutional NN + Mathematica examples of 1D convolution
Convolution and 2D filters + Mathematica examples of 2D convolution
Matlab Live Script, Network Designer, Pretrained Net
Linear Algebra and Learning from Data,
Wellesley-Cambridge Press
M. Nielsen,
Neural Networks and Deep Learning (free online book)
http://neuralnetworksanddeeplearning.com
Various authors,
Distill, dedicated to clear explanations of machine learning
https://distill.pub
Programma
Highlights of Linear Algebra:Matrix-matrix multiplication; column & row space; rank
The four fundamental subspaces of linear algebra
Fundamentals of Matrix factorizations:
A=LU rows & columns point of view
A=LU elimination & factorization; permutations
A=RU=VU; Orthogonal matrices
Eigensystems and Linear ODE
Intro to PSym; the energy function
Gradient and Hessian
Singular Value Decomposition
Eckart-Young; derivative of a matrix norm
Principal Component Analysis
Generalized evectors;
Norms
Least Squares
Convexity & Newton’s method
Newton & L-M method; Recap of non-linear regression
Lagrange multipliers
Machine Learning:
Gradient Descend; exact line search; GD in action; GD with Matlab
Learning & Loss; Intro to Deep Neural Network; DNN with Matlab
Loss functions: Quadratic VS Cross entropy
Stocastics Gradient Descend (SGD) & Kaczmarcz; SGD convergence rates & ADAM
Matlab interface for DNN
Construction of DNN: the key steps
Backpropagation and the Chain Rule
Machine Learning examples with Wolfram Mathematica
Convolutional NN + Mathematica examples of 1D convolution
Convolution and 2D filters + Mathematica examples of 2D convolution
Matlab Live Script, Network Designer, Pretrained Net
Testi Adottati
G. Strang,Linear Algebra and Learning from Data,
Wellesley-Cambridge Press
M. Nielsen,
Neural Networks and Deep Learning (free online book)
http://neuralnetworksanddeeplearning.com
Various authors,
Distill, dedicated to clear explanations of machine learning
https://distill.pub
Modalità Erogazione
Lezioni teoriche ed esercitazioni con software scientifico; una parte importante dell'insegnamento è dedicata alle esercitazioni che prevedono l'uso dei software Matlab e Mathematica.Modalità Valutazione
Gli studenti dovranno scegliere un argomento da sviluppare tra quelli presentati durante le lezioni. Dovranno quindi preparare un testo scritto in cui viene descritto il problema, e vengono discussi i risultati degli esperimenti numerici. scheda docente materiale didattico
- moltiplicazione di matrici; sottospazi lineari associati ad una matrice; rango; i quattro sottospazi fondamentali;
- metodo di eliminazione; decomposizione in matrici triangolari superiori e inferiori; permutazioni;
- matrici ortogonali;
- autovalori ed autovettori per equazioni differenziali lineari;
- matrici simmetriche definite positive; funzionale di energia;
- gradiente e matrice Hessiana;
- decomposizione a valori singolari; teorema di Eckart-Young; analisi delle componenti principali; autovettori generalizzati;
- norme; metodo dei minimi quadrati; convessità e metodo di Newton; moltiplicatori di Lagrange.
Machine Learning:
- Gradient Descend; GD with Matlab;
- Learning and Loss; Deep Neural Network;
- loss functions: Quadratic VS Cross entropy;
- Stocastics Gradient Descend (SGD) & Kaczmarcz; SGD convergence rates & ADAM
- Matlab interface for DNN; Construction of DNN;
- Backpropagation and the Chain Rule;
- Machine Learning examples with Wolfram Mathematica;
- Convolutional NN + Mathematica examples of 1D convolution
- Convolution and 2D filters + Mathematica examples of 2D convolution
- Matlab Live Script, Network Designer, Pretrained Net
Programma
Argomenti selezionati di Algebra Lineare:- moltiplicazione di matrici; sottospazi lineari associati ad una matrice; rango; i quattro sottospazi fondamentali;
- metodo di eliminazione; decomposizione in matrici triangolari superiori e inferiori; permutazioni;
- matrici ortogonali;
- autovalori ed autovettori per equazioni differenziali lineari;
- matrici simmetriche definite positive; funzionale di energia;
- gradiente e matrice Hessiana;
- decomposizione a valori singolari; teorema di Eckart-Young; analisi delle componenti principali; autovettori generalizzati;
- norme; metodo dei minimi quadrati; convessità e metodo di Newton; moltiplicatori di Lagrange.
Machine Learning:
- Gradient Descend; GD with Matlab;
- Learning and Loss; Deep Neural Network;
- loss functions: Quadratic VS Cross entropy;
- Stocastics Gradient Descend (SGD) & Kaczmarcz; SGD convergence rates & ADAM
- Matlab interface for DNN; Construction of DNN;
- Backpropagation and the Chain Rule;
- Machine Learning examples with Wolfram Mathematica;
- Convolutional NN + Mathematica examples of 1D convolution
- Convolution and 2D filters + Mathematica examples of 2D convolution
- Matlab Live Script, Network Designer, Pretrained Net
Testi Adottati
G. Strang, Linear Algebra and Learning from Data, Wellesley-Cambridge Press (2019).Bibliografia Di Riferimento
G. Strang, Linear Algebra and Learning from Data, Wellesley-Cambridge Press (2019).Modalità Erogazione
Lezioni frontali, trasmesse in streaming e registrate tramite Microsoft Teams.Modalità Frequenza
La frequenza non è obbligatoria, ma fortemente consigliata.Modalità Valutazione
Gli studenti dovranno scegliere un argomento da approfondire e sviluppare tra quelli presentati durante le lezioni. Dovranno quindi preparare un testo scritto in cui viene descritto il problema, e vengono discussi i risultati degli esperimenti numerici. scheda docente materiale didattico
Matrix-matrix multiplication; column & row space; rank
The four fundamental subspaces of linear algebra
Fundamentals of Matrix factorizations:
A=LU rows & columns point of view
A=LU elimination & factorization; permutations
A=RU=VU; Orthogonal matrices
Eigensystems and Linear ODE
Intro to PSym; the energy function
Gradient and Hessian
Singular Value Decomposition
Eckart-Young; derivative of a matrix norm
Principal Component Analysis
Generalized evectors;
Norms
Least Squares
Convexity & Newton’s method
Newton & L-M method; Recap of non-linear regression
Lagrange multipliers
Machine Learning:
Gradient Descend; exact line search; GD in action; GD with Matlab
Learning & Loss; Intro to Deep Neural Network; DNN with Matlab
Loss functions: Quadratic VS Cross entropy
Stocastics Gradient Descend (SGD) & Kaczmarcz; SGD convergence rates & ADAM
Matlab interface for DNN
Construction of DNN: the key steps
Backpropagation and the Chain Rule
Machine Learning examples with Wolfram Mathematica
Convolutional NN + Mathematica examples of 1D convolution
Convolution and 2D filters + Mathematica examples of 2D convolution
Matlab Live Script, Network Designer, Pretrained Net
Linear Algebra and Learning from Data,
Wellesley-Cambridge Press
M. Nielsen,
Neural Networks and Deep Learning (free online book)
http://neuralnetworksanddeeplearning.com
Various authors,
Distill, dedicated to clear explanations of machine learning
https://distill.pub
Mutuazione: 20410557 GE530 - ALGEBRA LINEARE PER IL MACHINE LEARNING in Scienze Computazionali LM-40 TERESI LUCIANO, FERMI DAVIDE
Programma
Highlights of Linear Algebra:Matrix-matrix multiplication; column & row space; rank
The four fundamental subspaces of linear algebra
Fundamentals of Matrix factorizations:
A=LU rows & columns point of view
A=LU elimination & factorization; permutations
A=RU=VU; Orthogonal matrices
Eigensystems and Linear ODE
Intro to PSym; the energy function
Gradient and Hessian
Singular Value Decomposition
Eckart-Young; derivative of a matrix norm
Principal Component Analysis
Generalized evectors;
Norms
Least Squares
Convexity & Newton’s method
Newton & L-M method; Recap of non-linear regression
Lagrange multipliers
Machine Learning:
Gradient Descend; exact line search; GD in action; GD with Matlab
Learning & Loss; Intro to Deep Neural Network; DNN with Matlab
Loss functions: Quadratic VS Cross entropy
Stocastics Gradient Descend (SGD) & Kaczmarcz; SGD convergence rates & ADAM
Matlab interface for DNN
Construction of DNN: the key steps
Backpropagation and the Chain Rule
Machine Learning examples with Wolfram Mathematica
Convolutional NN + Mathematica examples of 1D convolution
Convolution and 2D filters + Mathematica examples of 2D convolution
Matlab Live Script, Network Designer, Pretrained Net
Testi Adottati
G. Strang,Linear Algebra and Learning from Data,
Wellesley-Cambridge Press
M. Nielsen,
Neural Networks and Deep Learning (free online book)
http://neuralnetworksanddeeplearning.com
Various authors,
Distill, dedicated to clear explanations of machine learning
https://distill.pub
Bibliografia Di Riferimento
G. Strang, Linear Algebra and Learning from Data, Wellesley-Cambridge Press (2019).Modalità Erogazione
Lezioni teoriche ed esercitazioni con software scientifico; una parte importante dell'insegnamento è dedicata alle esercitazioni che prevedono l'uso dei software Matlab e Mathematica.Modalità Valutazione
Gli studenti dovranno scegliere un argomento da sviluppare tra quelli presentati durante le lezioni. Dovranno quindi preparare un testo scritto in cui viene descritto il problema, e vengono discussi i risultati degli esperimenti numerici. scheda docente materiale didattico
- moltiplicazione di matrici; sottospazi lineari associati ad una matrice; rango; i quattro sottospazi fondamentali;
- metodo di eliminazione; decomposizione in matrici triangolari superiori e inferiori; permutazioni;
- matrici ortogonali;
- autovalori ed autovettori per equazioni differenziali lineari;
- matrici simmetriche definite positive; funzionale di energia;
- gradiente e matrice Hessiana;
- decomposizione a valori singolari; teorema di Eckart-Young; analisi delle componenti principali; autovettori generalizzati;
- norme; metodo dei minimi quadrati; convessità e metodo di Newton; moltiplicatori di Lagrange.
Machine Learning:
- Gradient Descend; GD with Matlab;
- Learning and Loss; Deep Neural Network;
- loss functions: Quadratic VS Cross entropy;
- Stocastics Gradient Descend (SGD) & Kaczmarcz; SGD convergence rates & ADAM
- Matlab interface for DNN; Construction of DNN;
- Backpropagation and the Chain Rule;
- Machine Learning examples with Wolfram Mathematica;
- Convolutional NN + Mathematica examples of 1D convolution
- Convolution and 2D filters + Mathematica examples of 2D convolution
- Matlab Live Script, Network Designer, Pretrained Net
Mutuazione: 20410557 GE530 - ALGEBRA LINEARE PER IL MACHINE LEARNING in Scienze Computazionali LM-40 TERESI LUCIANO, FERMI DAVIDE
Programma
Argomenti selezionati di Algebra Lineare:- moltiplicazione di matrici; sottospazi lineari associati ad una matrice; rango; i quattro sottospazi fondamentali;
- metodo di eliminazione; decomposizione in matrici triangolari superiori e inferiori; permutazioni;
- matrici ortogonali;
- autovalori ed autovettori per equazioni differenziali lineari;
- matrici simmetriche definite positive; funzionale di energia;
- gradiente e matrice Hessiana;
- decomposizione a valori singolari; teorema di Eckart-Young; analisi delle componenti principali; autovettori generalizzati;
- norme; metodo dei minimi quadrati; convessità e metodo di Newton; moltiplicatori di Lagrange.
Machine Learning:
- Gradient Descend; GD with Matlab;
- Learning and Loss; Deep Neural Network;
- loss functions: Quadratic VS Cross entropy;
- Stocastics Gradient Descend (SGD) & Kaczmarcz; SGD convergence rates & ADAM
- Matlab interface for DNN; Construction of DNN;
- Backpropagation and the Chain Rule;
- Machine Learning examples with Wolfram Mathematica;
- Convolutional NN + Mathematica examples of 1D convolution
- Convolution and 2D filters + Mathematica examples of 2D convolution
- Matlab Live Script, Network Designer, Pretrained Net
Testi Adottati
G. Strang, Linear Algebra and Learning from Data, Wellesley-Cambridge Press (2019).Bibliografia Di Riferimento
G. Strang, Linear Algebra and Learning from Data, Wellesley-Cambridge Press (2019).Modalità Erogazione
Lezioni frontali, trasmesse in streaming e registrate tramite Microsoft Teams.Modalità Frequenza
La frequenza non è obbligatoria, ma fortemente consigliata.Modalità Valutazione
Gli studenti dovranno scegliere un argomento da approfondire e sviluppare tra quelli presentati durante le lezioni. Dovranno quindi preparare un testo scritto in cui viene descritto il problema, e vengono discussi i risultati degli esperimenti numerici. scheda docente materiale didattico
Matrix-matrix multiplication; column & row space; rank
The four fundamental subspaces of linear algebra
Fundamentals of Matrix factorizations:
A=LU rows & columns point of view
A=LU elimination & factorization; permutations
A=RU=VU; Orthogonal matrices
Eigensystems and Linear ODE
Intro to PSym; the energy function
Gradient and Hessian
Singular Value Decomposition
Eckart-Young; derivative of a matrix norm
Principal Component Analysis
Generalized evectors;
Norms
Least Squares
Convexity & Newton’s method
Newton & L-M method; Recap of non-linear regression
Lagrange multipliers
Machine Learning:
Gradient Descend; exact line search; GD in action; GD with Matlab
Learning & Loss; Intro to Deep Neural Network; DNN with Matlab
Loss functions: Quadratic VS Cross entropy
Stocastics Gradient Descend (SGD) & Kaczmarcz; SGD convergence rates & ADAM
Matlab interface for DNN
Construction of DNN: the key steps
Backpropagation and the Chain Rule
Machine Learning examples with Wolfram Mathematica
Convolutional NN + Mathematica examples of 1D convolution
Convolution and 2D filters + Mathematica examples of 2D convolution
Matlab Live Script, Network Designer, Pretrained Net
Linear Algebra and Learning from Data,
Wellesley-Cambridge Press
M. Nielsen,
Neural Networks and Deep Learning (free online book)
http://neuralnetworksanddeeplearning.com
Various authors,
Distill, dedicated to clear explanations of machine learning
https://distill.pub
Programma
Highlights of Linear Algebra:Matrix-matrix multiplication; column & row space; rank
The four fundamental subspaces of linear algebra
Fundamentals of Matrix factorizations:
A=LU rows & columns point of view
A=LU elimination & factorization; permutations
A=RU=VU; Orthogonal matrices
Eigensystems and Linear ODE
Intro to PSym; the energy function
Gradient and Hessian
Singular Value Decomposition
Eckart-Young; derivative of a matrix norm
Principal Component Analysis
Generalized evectors;
Norms
Least Squares
Convexity & Newton’s method
Newton & L-M method; Recap of non-linear regression
Lagrange multipliers
Machine Learning:
Gradient Descend; exact line search; GD in action; GD with Matlab
Learning & Loss; Intro to Deep Neural Network; DNN with Matlab
Loss functions: Quadratic VS Cross entropy
Stocastics Gradient Descend (SGD) & Kaczmarcz; SGD convergence rates & ADAM
Matlab interface for DNN
Construction of DNN: the key steps
Backpropagation and the Chain Rule
Machine Learning examples with Wolfram Mathematica
Convolutional NN + Mathematica examples of 1D convolution
Convolution and 2D filters + Mathematica examples of 2D convolution
Matlab Live Script, Network Designer, Pretrained Net
Testi Adottati
G. Strang,Linear Algebra and Learning from Data,
Wellesley-Cambridge Press
M. Nielsen,
Neural Networks and Deep Learning (free online book)
http://neuralnetworksanddeeplearning.com
Various authors,
Distill, dedicated to clear explanations of machine learning
https://distill.pub
Modalità Erogazione
Lezioni teoriche ed esercitazioni con software scientifico; una parte importante dell'insegnamento è dedicata alle esercitazioni che prevedono l'uso dei software Matlab e Mathematica.Modalità Valutazione
Gli studenti dovranno scegliere un argomento da sviluppare tra quelli presentati durante le lezioni. Dovranno quindi preparare un testo scritto in cui viene descritto il problema, e vengono discussi i risultati degli esperimenti numerici. scheda docente materiale didattico
- moltiplicazione di matrici; sottospazi lineari associati ad una matrice; rango; i quattro sottospazi fondamentali;
- metodo di eliminazione; decomposizione in matrici triangolari superiori e inferiori; permutazioni;
- matrici ortogonali;
- autovalori ed autovettori per equazioni differenziali lineari;
- matrici simmetriche definite positive; funzionale di energia;
- gradiente e matrice Hessiana;
- decomposizione a valori singolari; teorema di Eckart-Young; analisi delle componenti principali; autovettori generalizzati;
- norme; metodo dei minimi quadrati; convessità e metodo di Newton; moltiplicatori di Lagrange.
Machine Learning:
- Gradient Descend; GD with Matlab;
- Learning and Loss; Deep Neural Network;
- loss functions: Quadratic VS Cross entropy;
- Stocastics Gradient Descend (SGD) & Kaczmarcz; SGD convergence rates & ADAM
- Matlab interface for DNN; Construction of DNN;
- Backpropagation and the Chain Rule;
- Machine Learning examples with Wolfram Mathematica;
- Convolutional NN + Mathematica examples of 1D convolution
- Convolution and 2D filters + Mathematica examples of 2D convolution
- Matlab Live Script, Network Designer, Pretrained Net
Programma
Argomenti selezionati di Algebra Lineare:- moltiplicazione di matrici; sottospazi lineari associati ad una matrice; rango; i quattro sottospazi fondamentali;
- metodo di eliminazione; decomposizione in matrici triangolari superiori e inferiori; permutazioni;
- matrici ortogonali;
- autovalori ed autovettori per equazioni differenziali lineari;
- matrici simmetriche definite positive; funzionale di energia;
- gradiente e matrice Hessiana;
- decomposizione a valori singolari; teorema di Eckart-Young; analisi delle componenti principali; autovettori generalizzati;
- norme; metodo dei minimi quadrati; convessità e metodo di Newton; moltiplicatori di Lagrange.
Machine Learning:
- Gradient Descend; GD with Matlab;
- Learning and Loss; Deep Neural Network;
- loss functions: Quadratic VS Cross entropy;
- Stocastics Gradient Descend (SGD) & Kaczmarcz; SGD convergence rates & ADAM
- Matlab interface for DNN; Construction of DNN;
- Backpropagation and the Chain Rule;
- Machine Learning examples with Wolfram Mathematica;
- Convolutional NN + Mathematica examples of 1D convolution
- Convolution and 2D filters + Mathematica examples of 2D convolution
- Matlab Live Script, Network Designer, Pretrained Net
Testi Adottati
G. Strang, Linear Algebra and Learning from Data, Wellesley-Cambridge Press (2019).Bibliografia Di Riferimento
G. Strang, Linear Algebra and Learning from Data, Wellesley-Cambridge Press (2019).Modalità Erogazione
Lezioni frontali, trasmesse in streaming e registrate tramite Microsoft Teams.Modalità Frequenza
La frequenza non è obbligatoria, ma fortemente consigliata.Modalità Valutazione
Gli studenti dovranno scegliere un argomento da approfondire e sviluppare tra quelli presentati durante le lezioni. Dovranno quindi preparare un testo scritto in cui viene descritto il problema, e vengono discussi i risultati degli esperimenti numerici.