Introdurre questioni fondamentali della teoria della trasmissione dei segnali e nella loro analisi quantitativa. Concetto di entropia e di mutua informazione. Mostrare la struttura algebrica soggiacente. Applicare i concetti fondamentali alla teoria dei codici, alla compressione dei dati e alla crittografia
scheda docente materiale didattico
Trasmissione affidabile dell'informazione. Contenuto informativo secondo Shannon. Misure di informazione. Entropia, mutua informazione, divergenza informazionale. Compressione dati. Correzione d'errore. Teoremi di elaborazione dei dati. Disuguaglianze fondamentali. Diagrammi d'informazione. Divergenza informazionale e massima verosimiglianza.
2. Codifica di sorgente e compressione dati
Sequenze tipiche. Tipicità in probabilità. Proprietà di equipartizione asintotica. Codifica a blocco e a lunghezza variabile. Tasso di codifica. Teorema della codifica di sorgente. Compressione dati senza perdita. Codice di Huffman. Codici universali. Compressione Ziv-Lempel.
3. Codifica di canale
Capacità di canale. Canali discreti senza memoria. Informazione trasportata da un canale. Criteri di decodifica. Teorema della codifica di canale con rumore.
4. Ulteriori codici ed applicazioni
Spazio di Hamming. Codici lineari. Matrice generatrice e matrice di controllo. Codici di Hadamard. Codici hash.
Fruizione: 20410442 IN420 - TEORIA DELL'INFORMAZIONE in Scienze Computazionali LM-40 BONIFACI VINCENZO
Programma
1. Introduzione alla teoria dell'informazioneTrasmissione affidabile dell'informazione. Contenuto informativo secondo Shannon. Misure di informazione. Entropia, mutua informazione, divergenza informazionale. Compressione dati. Correzione d'errore. Teoremi di elaborazione dei dati. Disuguaglianze fondamentali. Diagrammi d'informazione. Divergenza informazionale e massima verosimiglianza.
2. Codifica di sorgente e compressione dati
Sequenze tipiche. Tipicità in probabilità. Proprietà di equipartizione asintotica. Codifica a blocco e a lunghezza variabile. Tasso di codifica. Teorema della codifica di sorgente. Compressione dati senza perdita. Codice di Huffman. Codici universali. Compressione Ziv-Lempel.
3. Codifica di canale
Capacità di canale. Canali discreti senza memoria. Informazione trasportata da un canale. Criteri di decodifica. Teorema della codifica di canale con rumore.
4. Ulteriori codici ed applicazioni
Spazio di Hamming. Codici lineari. Matrice generatrice e matrice di controllo. Codici di Hadamard. Codici hash.
Testi Adottati
Francesco Fabris. Teoria dell'informazione, codici, cifrari. Bollati Boringhieri, 2001.Modalità Erogazione
Il sito Moodle dell'insegnamento è raggiungibile all'indirizzo: https://matematicafisica.el.uniroma3.it/course/view.php?id=40 Per il diario delle lezioni si consulti il sito del docente: http://ricerca.mat.uniroma3.it/users/vbonifaci/in420.htmlModalità Valutazione
Esame orale.