Introdurre questioni fondamentali della teoria della trasmissione dei segnali e nella loro analisi quantitativa. Concetto di entropia e di mutua informazione. Mostrare la struttura algebrica soggiacente. Applicare i concetti fondamentali alla teoria dei codici, alla compressione dei dati e alla crittografia.
Curriculum
scheda docente materiale didattico
Trasmissione affidabile dell'informazione. Contenuto informativo secondo Shannon. Misure di informazione. Entropia, mutua informazione, divergenza informazionale. Compressione dati. Correzione d'errore. Teoremi di elaborazione dei dati. Disuguaglianze fondamentali. Diagrammi d'informazione. Divergenza informazionale e massima verosimiglianza.
2. Codifica di sorgente e compressione dati
Sequenze tipiche. Tipicità in probabilità. Proprietà di equipartizione asintotica. Codifica a blocco e a lunghezza variabile. Tasso di codifica. Teorema della codifica di sorgente. Compressione dati senza perdita. Codice di Huffman. Codici universali. Compressione Ziv-Lempel.
3. Codifica di canale
Capacità di canale. Canali discreti senza memoria. Informazione trasportata da un canale. Criteri di decodifica. Teorema della codifica di canale con rumore.
4. Ulteriori codici ed applicazioni
Spazio di Hamming. Codici lineari. Matrice generatrice e matrice di controllo. Codici ciclici. Codici hash.
Programma
1. Introduzione alla teoria dell'informazioneTrasmissione affidabile dell'informazione. Contenuto informativo secondo Shannon. Misure di informazione. Entropia, mutua informazione, divergenza informazionale. Compressione dati. Correzione d'errore. Teoremi di elaborazione dei dati. Disuguaglianze fondamentali. Diagrammi d'informazione. Divergenza informazionale e massima verosimiglianza.
2. Codifica di sorgente e compressione dati
Sequenze tipiche. Tipicità in probabilità. Proprietà di equipartizione asintotica. Codifica a blocco e a lunghezza variabile. Tasso di codifica. Teorema della codifica di sorgente. Compressione dati senza perdita. Codice di Huffman. Codici universali. Compressione Ziv-Lempel.
3. Codifica di canale
Capacità di canale. Canali discreti senza memoria. Informazione trasportata da un canale. Criteri di decodifica. Teorema della codifica di canale con rumore.
4. Ulteriori codici ed applicazioni
Spazio di Hamming. Codici lineari. Matrice generatrice e matrice di controllo. Codici ciclici. Codici hash.
Testi Adottati
Francesco Fabris. Teoria dell'informazione, codici, cifrari. Bollati Boringhieri, 2001.Bibliografia Di Riferimento
Thomas M. Cover, Joy A. Thomas. Elements of Information Theory. Wiley, 1991. Venkatesan Guruswamy, Atri Rudra, Madhu Sudan. Essential Coding Theory. Bozza disponibile online, 2019. Richard E. Blahut. Algebraic Codes for Data Transmission. Cambridge University Press, 2003. Timothy C. Bell, John G. Cleary, Ian H. Witten. Text Compression. Prentice-Hall, 1990.Modalità Erogazione
Lezioni frontali con esercitazioni frontali.Modalità Valutazione
Esame orale. scheda docente materiale didattico
Trasmissione affidabile dell'informazione. Contenuto informativo secondo Shannon. Misure di informazione. Entropia, mutua informazione, divergenza informazionale. Compressione dati. Correzione d'errore. Teoremi di elaborazione dei dati. Disuguaglianze fondamentali. Diagrammi d'informazione. Divergenza informazionale e massima verosimiglianza.
2. Codifica di sorgente e compressione dati
Sequenze tipiche. Tipicità in probabilità. Proprietà di equipartizione asintotica. Codifica a blocco e a lunghezza variabile. Tasso di codifica. Teorema della codifica di sorgente. Compressione dati senza perdita. Codice di Huffman. Codici universali. Compressione Ziv-Lempel.
3. Codifica di canale
Capacità di canale. Canali discreti senza memoria. Informazione trasportata da un canale. Criteri di decodifica. Teorema della codifica di canale con rumore.
4. Ulteriori codici ed applicazioni
Spazio di Hamming. Codici lineari. Matrice generatrice e matrice di controllo. Codici ciclici. Codici hash.
Programma
1. Introduzione alla teoria dell'informazioneTrasmissione affidabile dell'informazione. Contenuto informativo secondo Shannon. Misure di informazione. Entropia, mutua informazione, divergenza informazionale. Compressione dati. Correzione d'errore. Teoremi di elaborazione dei dati. Disuguaglianze fondamentali. Diagrammi d'informazione. Divergenza informazionale e massima verosimiglianza.
2. Codifica di sorgente e compressione dati
Sequenze tipiche. Tipicità in probabilità. Proprietà di equipartizione asintotica. Codifica a blocco e a lunghezza variabile. Tasso di codifica. Teorema della codifica di sorgente. Compressione dati senza perdita. Codice di Huffman. Codici universali. Compressione Ziv-Lempel.
3. Codifica di canale
Capacità di canale. Canali discreti senza memoria. Informazione trasportata da un canale. Criteri di decodifica. Teorema della codifica di canale con rumore.
4. Ulteriori codici ed applicazioni
Spazio di Hamming. Codici lineari. Matrice generatrice e matrice di controllo. Codici ciclici. Codici hash.
Testi Adottati
Francesco Fabris. Teoria dell'informazione, codici, cifrari. Bollati Boringhieri, 2001.Bibliografia Di Riferimento
Thomas M. Cover, Joy A. Thomas. Elements of Information Theory. Wiley, 1991. Venkatesan Guruswamy, Atri Rudra, Madhu Sudan. Essential Coding Theory. Bozza disponibile online, 2019. Richard E. Blahut. Algebraic Codes for Data Transmission. Cambridge University Press, 2003. Timothy C. Bell, John G. Cleary, Ian H. Witten. Text Compression. Prentice-Hall, 1990.Modalità Erogazione
Lezioni frontali con esercitazioni frontali.Modalità Valutazione
Esame orale. scheda docente materiale didattico
Trasmissione affidabile dell'informazione. Contenuto informativo secondo Shannon. Misure di informazione. Entropia, mutua informazione, divergenza informazionale. Compressione dati. Correzione d'errore. Teoremi di elaborazione dei dati. Disuguaglianze fondamentali. Diagrammi d'informazione. Divergenza informazionale e massima verosimiglianza.
2. Codifica di sorgente e compressione dati
Sequenze tipiche. Tipicità in probabilità. Proprietà di equipartizione asintotica. Codifica a blocco e a lunghezza variabile. Tasso di codifica. Teorema della codifica di sorgente. Compressione dati senza perdita. Codice di Huffman. Codici universali. Compressione Ziv-Lempel.
3. Codifica di canale
Capacità di canale. Canali discreti senza memoria. Informazione trasportata da un canale. Criteri di decodifica. Teorema della codifica di canale con rumore.
4. Ulteriori codici ed applicazioni
Spazio di Hamming. Codici lineari. Matrice generatrice e matrice di controllo. Codici ciclici. Codici hash.
Programma
1. Introduzione alla teoria dell'informazioneTrasmissione affidabile dell'informazione. Contenuto informativo secondo Shannon. Misure di informazione. Entropia, mutua informazione, divergenza informazionale. Compressione dati. Correzione d'errore. Teoremi di elaborazione dei dati. Disuguaglianze fondamentali. Diagrammi d'informazione. Divergenza informazionale e massima verosimiglianza.
2. Codifica di sorgente e compressione dati
Sequenze tipiche. Tipicità in probabilità. Proprietà di equipartizione asintotica. Codifica a blocco e a lunghezza variabile. Tasso di codifica. Teorema della codifica di sorgente. Compressione dati senza perdita. Codice di Huffman. Codici universali. Compressione Ziv-Lempel.
3. Codifica di canale
Capacità di canale. Canali discreti senza memoria. Informazione trasportata da un canale. Criteri di decodifica. Teorema della codifica di canale con rumore.
4. Ulteriori codici ed applicazioni
Spazio di Hamming. Codici lineari. Matrice generatrice e matrice di controllo. Codici ciclici. Codici hash.
Testi Adottati
Francesco Fabris. Teoria dell'informazione, codici, cifrari. Bollati Boringhieri, 2001.Bibliografia Di Riferimento
Thomas M. Cover, Joy A. Thomas. Elements of Information Theory. Wiley, 1991. Venkatesan Guruswamy, Atri Rudra, Madhu Sudan. Essential Coding Theory. Bozza disponibile online, 2019. Richard E. Blahut. Algebraic Codes for Data Transmission. Cambridge University Press, 2003. Timothy C. Bell, John G. Cleary, Ian H. Witten. Text Compression. Prentice-Hall, 1990.Modalità Erogazione
Lezioni frontali con esercitazioni frontali.Modalità Valutazione
Esame orale.