20410557 - GE530 - ALGEBRA LINEARE PER IL MACHINE LEARNING

Illustrare alcuni dei fondamenti matematici che sono alla base del Machine Learning, e in particolare l’algebra lineare e le sue applicazioni per il Deep Learning.

TERESI LUCIANO

scheda docente | materiale didattico

Programma

Highlights of Linear Algebra:
Matrix-matrix multiplication; column & row space; rank
The four fundamental subspaces of linear algebra
Fundamentals of Matrix factorizations:
A=LU rows & columns point of view
A=LU elimination & factorization; permutations
A=RU=VU; Orthogonal matrices
Eigensystems and Linear ODE
Intro to PSym; the energy function
Gradient and Hessian
Singular Value Decomposition
Eckart-Young; derivative of a matrix norm
Principal Component Analysis
Generalized evectors;
Norms
Least Squares
Convexity & Newton’s method
Newton & L-M method; Recap of non-linear regression
Lagrange multipliers

Machine Learning:
Gradient Descend; exact line search; GD in action; GD with Matlab
Learning & Loss; Intro to Deep Neural Network; DNN with Matlab
Loss functions: Quadratic VS Cross entropy
Stocastics Gradient Descend (SGD) & Kaczmarcz; SGD convergence rates & ADAM
Matlab interface for DNN
Construction of DNN: the key steps
Backpropagation and the Chain Rule
Machine Learning examples with Wolfram Mathematica
Convolutional NN + Mathematica examples of 1D convolution
Convolution and 2D filters + Mathematica examples of 2D convolution
Matlab Live Script, Network Designer, Pretrained Net


Testi Adottati

G. Strang,
Linear Algebra and Learning from Data,
Wellesley-Cambridge Press

M. Nielsen,
Neural Networks and Deep Learning (free online book)
http://neuralnetworksanddeeplearning.com

Various authors,
Distill, dedicated to clear explanations of machine learning
https://distill.pub

Modalità Erogazione

Lezioni teoriche ed esercitazioni con software scientifico; una parte importante dell'insegnamento è dedicata alle esercitazioni che prevedono l'uso dei software Matlab e Mathematica.

Modalità Valutazione

Gli studenti dovranno scegliere un argomento da sviluppare tra quelli presentati durante le lezioni. Dovranno quindi preparare un testo scritto in cui viene descritto il problema, e vengono discussi i risultati degli esperimenti numerici.

FERMI DAVIDE

scheda docente | materiale didattico

TERESI LUCIANO

scheda docente | materiale didattico

Mutuazione: 20410557 GE530 - ALGEBRA LINEARE PER IL MACHINE LEARNING in Scienze Computazionali LM-40 TERESI LUCIANO, FERMI DAVIDE

Programma

Highlights of Linear Algebra:
Matrix-matrix multiplication; column & row space; rank
The four fundamental subspaces of linear algebra
Fundamentals of Matrix factorizations:
A=LU rows & columns point of view
A=LU elimination & factorization; permutations
A=RU=VU; Orthogonal matrices
Eigensystems and Linear ODE
Intro to PSym; the energy function
Gradient and Hessian
Singular Value Decomposition
Eckart-Young; derivative of a matrix norm
Principal Component Analysis
Generalized evectors;
Norms
Least Squares
Convexity & Newton’s method
Newton & L-M method; Recap of non-linear regression
Lagrange multipliers

Machine Learning:
Gradient Descend; exact line search; GD in action; GD with Matlab
Learning & Loss; Intro to Deep Neural Network; DNN with Matlab
Loss functions: Quadratic VS Cross entropy
Stocastics Gradient Descend (SGD) & Kaczmarcz; SGD convergence rates & ADAM
Matlab interface for DNN
Construction of DNN: the key steps
Backpropagation and the Chain Rule
Machine Learning examples with Wolfram Mathematica
Convolutional NN + Mathematica examples of 1D convolution
Convolution and 2D filters + Mathematica examples of 2D convolution
Matlab Live Script, Network Designer, Pretrained Net


Testi Adottati

G. Strang,
Linear Algebra and Learning from Data,
Wellesley-Cambridge Press

M. Nielsen,
Neural Networks and Deep Learning (free online book)
http://neuralnetworksanddeeplearning.com

Various authors,
Distill, dedicated to clear explanations of machine learning
https://distill.pub

Modalità Erogazione

Lezioni teoriche ed esercitazioni con software scientifico; una parte importante dell'insegnamento è dedicata alle esercitazioni che prevedono l'uso dei software Matlab e Mathematica.

Modalità Valutazione

Gli studenti dovranno scegliere un argomento da sviluppare tra quelli presentati durante le lezioni. Dovranno quindi preparare un testo scritto in cui viene descritto il problema, e vengono discussi i risultati degli esperimenti numerici.

FERMI DAVIDE

scheda docente | materiale didattico

Mutuazione: 20410557 GE530 - ALGEBRA LINEARE PER IL MACHINE LEARNING in Scienze Computazionali LM-40 TERESI LUCIANO, FERMI DAVIDE

TERESI LUCIANO

scheda docente | materiale didattico

Programma

Highlights of Linear Algebra:
Matrix-matrix multiplication; column & row space; rank
The four fundamental subspaces of linear algebra
Fundamentals of Matrix factorizations:
A=LU rows & columns point of view
A=LU elimination & factorization; permutations
A=RU=VU; Orthogonal matrices
Eigensystems and Linear ODE
Intro to PSym; the energy function
Gradient and Hessian
Singular Value Decomposition
Eckart-Young; derivative of a matrix norm
Principal Component Analysis
Generalized evectors;
Norms
Least Squares
Convexity & Newton’s method
Newton & L-M method; Recap of non-linear regression
Lagrange multipliers

Machine Learning:
Gradient Descend; exact line search; GD in action; GD with Matlab
Learning & Loss; Intro to Deep Neural Network; DNN with Matlab
Loss functions: Quadratic VS Cross entropy
Stocastics Gradient Descend (SGD) & Kaczmarcz; SGD convergence rates & ADAM
Matlab interface for DNN
Construction of DNN: the key steps
Backpropagation and the Chain Rule
Machine Learning examples with Wolfram Mathematica
Convolutional NN + Mathematica examples of 1D convolution
Convolution and 2D filters + Mathematica examples of 2D convolution
Matlab Live Script, Network Designer, Pretrained Net


Testi Adottati

G. Strang,
Linear Algebra and Learning from Data,
Wellesley-Cambridge Press

M. Nielsen,
Neural Networks and Deep Learning (free online book)
http://neuralnetworksanddeeplearning.com

Various authors,
Distill, dedicated to clear explanations of machine learning
https://distill.pub

Modalità Erogazione

Lezioni teoriche ed esercitazioni con software scientifico; una parte importante dell'insegnamento è dedicata alle esercitazioni che prevedono l'uso dei software Matlab e Mathematica.

Modalità Valutazione

Gli studenti dovranno scegliere un argomento da sviluppare tra quelli presentati durante le lezioni. Dovranno quindi preparare un testo scritto in cui viene descritto il problema, e vengono discussi i risultati degli esperimenti numerici.

FERMI DAVIDE

scheda docente | materiale didattico