Il corso mira a fornire una solida comprensione delle intersezioni tra cybersecurity e intelligenza artificiale a vari livelli. Gli studenti acquisiranno competenze nei tipici usi di strumenti di AI per la mitigazioni dei rischi legati alla sicurezza informatica, come ad esempio l'uso di AI per il rilevamento e la prevenzione di attacchi.
Si considereranno altresì i nuovi rischi introdotti dall'uso della AI nei sistemi aziendali e nei processi di business e le tecniche di mitigazione. Si descriveranno tecniche offensive che fanno uso di AI ad esempio in malware, social engineering, phishing, attacchi ai sistemi CAPTCHA e biometrici, manipolazione delle informazioni.
Si accennerà a questioni etiche dell'uso di AI nei sistemi.
Si considereranno altresì i nuovi rischi introdotti dall'uso della AI nei sistemi aziendali e nei processi di business e le tecniche di mitigazione. Si descriveranno tecniche offensive che fanno uso di AI ad esempio in malware, social engineering, phishing, attacchi ai sistemi CAPTCHA e biometrici, manipolazione delle informazioni.
Si accennerà a questioni etiche dell'uso di AI nei sistemi.
Curriculum
scheda docente materiale didattico
Panoramica dei vari contesti in cui l’intelligenza artificiale può essere utilizzata all’interno di un’organizzazione, dei vantaggi e delle minacce
Uso difensivo dell’intelligenza artificiale
Formati dei dati: host-based e network-based
Feature engineering
Rilevamento delle anomalie (Anomaly Detection)
Analisi del malware
Analisi del traffico di rete: preparazione dei dati, apprendimento supervisionato, apprendimento non supervisionato, ensemble learning
Machine Learning avversariale (Adversarial ML)
Minacce legate all’intelligenza artificiale e strategie di mitigazione
Avvelenamento dei modelli (model poisoning) e manomissione (tampering), difese
Attacchi alla supply chain e relative difese
Attacchi di evasione (evasion attacks) e difese
Attacchi alla privacy e difese
IA generativa: GAN per applicazioni malevole (deepfake, clonazione vocale, evasione di malware, spam, videosorveglianza), rilevamento dei deepfake
LLM: architetture che sfruttano gli LLM, RAG, MCP, chain-of-thought, modelli di minaccia
Prompt injection diretta/indiretta, jailbreak, phishing, style injection, role-playing, impersonificazione, ChatGPT_DAN, esfiltrazione dei dati, escalation dei privilegi ed esecuzione di codice remoto (ad esempio tramite MCP), difese e mitigazioni
Avvelenamento nei sistemi RAG e nel fine-tuning. Rischi della supply chain: pubblicazione di un LLM compromesso. Benchmark, red teaming, monitoraggio e risposta agli incidenti
Metodologia secure-by-design, framework, MLSecOps, approccio shift-left
Adversarial AI Attacks, Mitigations, and Defense Strategies: A cybersecurity professional's guide to AI attacks, threat modeling, and securing AI with MLSecOps. John Sotiropoulos Sotiropoulos
Programma
Richiami di cybersecurity e di machine learningPanoramica dei vari contesti in cui l’intelligenza artificiale può essere utilizzata all’interno di un’organizzazione, dei vantaggi e delle minacce
Uso difensivo dell’intelligenza artificiale
Formati dei dati: host-based e network-based
Feature engineering
Rilevamento delle anomalie (Anomaly Detection)
Analisi del malware
Analisi del traffico di rete: preparazione dei dati, apprendimento supervisionato, apprendimento non supervisionato, ensemble learning
Machine Learning avversariale (Adversarial ML)
Minacce legate all’intelligenza artificiale e strategie di mitigazione
Avvelenamento dei modelli (model poisoning) e manomissione (tampering), difese
Attacchi alla supply chain e relative difese
Attacchi di evasione (evasion attacks) e difese
Attacchi alla privacy e difese
IA generativa: GAN per applicazioni malevole (deepfake, clonazione vocale, evasione di malware, spam, videosorveglianza), rilevamento dei deepfake
LLM: architetture che sfruttano gli LLM, RAG, MCP, chain-of-thought, modelli di minaccia
Prompt injection diretta/indiretta, jailbreak, phishing, style injection, role-playing, impersonificazione, ChatGPT_DAN, esfiltrazione dei dati, escalation dei privilegi ed esecuzione di codice remoto (ad esempio tramite MCP), difese e mitigazioni
Avvelenamento nei sistemi RAG e nel fine-tuning. Rischi della supply chain: pubblicazione di un LLM compromesso. Benchmark, red teaming, monitoraggio e risposta agli incidenti
Metodologia secure-by-design, framework, MLSecOps, approccio shift-left
Testi Adottati
Machine Learning and Security : Protecting Systems with Data and Algorithms. Chio, Clarence; Freeman, DavidAdversarial AI Attacks, Mitigations, and Defense Strategies: A cybersecurity professional's guide to AI attacks, threat modeling, and securing AI with MLSecOps. John Sotiropoulos Sotiropoulos
Modalità Frequenza
-Modalità Valutazione
Prova Scritta, prova orale progetto scheda docente materiale didattico
Panoramica dei vari contesti in cui l’AI può essere usata in una organizzazione, dei vantaggi e delle minacce.
# Uso difensivo della AI
Formato dei dati, host-based network-based
Feature Engineering
Anomaly Detection
Malware Analysis
Network Traffic Analysis: data preparation, supervised learning, unsupervised learning, ensembles
Adversarial ML
# Minacce legate all’AI e strategie di mitigazione
Model poisoning and tampering, defenses
Supply chain attacks and defenses
Evasion attacks and defenses
Privacy attacks and defenses
Generative AI: GAN per applicazioni malevole (deepfake, voice cloning, evasion: malware, spam, videosorveglianza), deepfake detection
LLM: architetture che sfruttano gli LLM, RAG, MCP, chain-of-thoughts, threat models
direct/indirect prompt injection, jailbreak, phishing, style injection, role-playing, impersonation, ChatGPT_DAN, data exfiltration, privilege excalation and remote code execution (e.g. through MCP), defenses and mitiations
Poisoning in RAG and fine-tuning. Supply chain risks: publishing a poisoned LLM. Banchmarks. Red teaming. monitoring, incident response.
Secure-by-desing methodology, framworks, MLSecOps, shift-left
https://www.proquest.com/docview/2134682020/73CEC526C564F85PQ
- Adversarial AI Attacks, Mitigations, and Defense Strategies: A cybersecurity professional's guide to AI attacks, threat modeling, and securing AI with MLSecOps. John Sotiropoulos Sotiropoulos
https://www.proquest.com/docview/3081482260/3B9D9980BFF8481BPQ
Programma
Richiami di cybersecurity e di machine learningPanoramica dei vari contesti in cui l’AI può essere usata in una organizzazione, dei vantaggi e delle minacce.
# Uso difensivo della AI
Formato dei dati, host-based network-based
Feature Engineering
Anomaly Detection
Malware Analysis
Network Traffic Analysis: data preparation, supervised learning, unsupervised learning, ensembles
Adversarial ML
# Minacce legate all’AI e strategie di mitigazione
Model poisoning and tampering, defenses
Supply chain attacks and defenses
Evasion attacks and defenses
Privacy attacks and defenses
Generative AI: GAN per applicazioni malevole (deepfake, voice cloning, evasion: malware, spam, videosorveglianza), deepfake detection
LLM: architetture che sfruttano gli LLM, RAG, MCP, chain-of-thoughts, threat models
direct/indirect prompt injection, jailbreak, phishing, style injection, role-playing, impersonation, ChatGPT_DAN, data exfiltration, privilege excalation and remote code execution (e.g. through MCP), defenses and mitiations
Poisoning in RAG and fine-tuning. Supply chain risks: publishing a poisoned LLM. Banchmarks. Red teaming. monitoring, incident response.
Secure-by-desing methodology, framworks, MLSecOps, shift-left
Testi Adottati
- Machine Learning and Security : Protecting Systems with Data and Algorithms. Chio, Clarence; Freeman, Davidhttps://www.proquest.com/docview/2134682020/73CEC526C564F85PQ
- Adversarial AI Attacks, Mitigations, and Defense Strategies: A cybersecurity professional's guide to AI attacks, threat modeling, and securing AI with MLSecOps. John Sotiropoulos Sotiropoulos
https://www.proquest.com/docview/3081482260/3B9D9980BFF8481BPQ
Modalità Frequenza
Gli studenti sono incoraggiati a seguire il corso in aula dal vivo,Modalità Valutazione
Progetto e discussione (sulla prima parte) prova orale (o scritto a seconda dei numeri) sulla seconda parte scheda docente materiale didattico
Panoramica dei vari contesti in cui l’intelligenza artificiale può essere utilizzata all’interno di un’organizzazione, dei vantaggi e delle minacce
Uso difensivo dell’intelligenza artificiale
Formati dei dati: host-based e network-based
Feature engineering
Rilevamento delle anomalie (Anomaly Detection)
Analisi del malware
Analisi del traffico di rete: preparazione dei dati, apprendimento supervisionato, apprendimento non supervisionato, ensemble learning
Machine Learning avversariale (Adversarial ML)
Minacce legate all’intelligenza artificiale e strategie di mitigazione
Avvelenamento dei modelli (model poisoning) e manomissione (tampering), difese
Attacchi alla supply chain e relative difese
Attacchi di evasione (evasion attacks) e difese
Attacchi alla privacy e difese
IA generativa: GAN per applicazioni malevole (deepfake, clonazione vocale, evasione di malware, spam, videosorveglianza), rilevamento dei deepfake
LLM: architetture che sfruttano gli LLM, RAG, MCP, chain-of-thought, modelli di minaccia
Prompt injection diretta/indiretta, jailbreak, phishing, style injection, role-playing, impersonificazione, ChatGPT_DAN, esfiltrazione dei dati, escalation dei privilegi ed esecuzione di codice remoto (ad esempio tramite MCP), difese e mitigazioni
Avvelenamento nei sistemi RAG e nel fine-tuning. Rischi della supply chain: pubblicazione di un LLM compromesso. Benchmark, red teaming, monitoraggio e risposta agli incidenti
Metodologia secure-by-design, framework, MLSecOps, approccio shift-left
Adversarial AI Attacks, Mitigations, and Defense Strategies: A cybersecurity professional's guide to AI attacks, threat modeling, and securing AI with MLSecOps. John Sotiropoulos Sotiropoulos
Mutuazione: 20830030 Cybersecurity and Artificial Intelligence in Ingegneria informatica e dell'intelligenza artificiale LM-32 IANNUCCI STEFANO, PIZZONIA MAURIZIO
Programma
Richiami di cybersecurity e di machine learningPanoramica dei vari contesti in cui l’intelligenza artificiale può essere utilizzata all’interno di un’organizzazione, dei vantaggi e delle minacce
Uso difensivo dell’intelligenza artificiale
Formati dei dati: host-based e network-based
Feature engineering
Rilevamento delle anomalie (Anomaly Detection)
Analisi del malware
Analisi del traffico di rete: preparazione dei dati, apprendimento supervisionato, apprendimento non supervisionato, ensemble learning
Machine Learning avversariale (Adversarial ML)
Minacce legate all’intelligenza artificiale e strategie di mitigazione
Avvelenamento dei modelli (model poisoning) e manomissione (tampering), difese
Attacchi alla supply chain e relative difese
Attacchi di evasione (evasion attacks) e difese
Attacchi alla privacy e difese
IA generativa: GAN per applicazioni malevole (deepfake, clonazione vocale, evasione di malware, spam, videosorveglianza), rilevamento dei deepfake
LLM: architetture che sfruttano gli LLM, RAG, MCP, chain-of-thought, modelli di minaccia
Prompt injection diretta/indiretta, jailbreak, phishing, style injection, role-playing, impersonificazione, ChatGPT_DAN, esfiltrazione dei dati, escalation dei privilegi ed esecuzione di codice remoto (ad esempio tramite MCP), difese e mitigazioni
Avvelenamento nei sistemi RAG e nel fine-tuning. Rischi della supply chain: pubblicazione di un LLM compromesso. Benchmark, red teaming, monitoraggio e risposta agli incidenti
Metodologia secure-by-design, framework, MLSecOps, approccio shift-left
Testi Adottati
Machine Learning and Security : Protecting Systems with Data and Algorithms. Chio, Clarence; Freeman, DavidAdversarial AI Attacks, Mitigations, and Defense Strategies: A cybersecurity professional's guide to AI attacks, threat modeling, and securing AI with MLSecOps. John Sotiropoulos Sotiropoulos
Modalità Frequenza
-Modalità Valutazione
Prova Scritta, prova orale progetto scheda docente materiale didattico
Panoramica dei vari contesti in cui l’AI può essere usata in una organizzazione, dei vantaggi e delle minacce.
# Uso difensivo della AI
Formato dei dati, host-based network-based
Feature Engineering
Anomaly Detection
Malware Analysis
Network Traffic Analysis: data preparation, supervised learning, unsupervised learning, ensembles
Adversarial ML
# Minacce legate all’AI e strategie di mitigazione
Model poisoning and tampering, defenses
Supply chain attacks and defenses
Evasion attacks and defenses
Privacy attacks and defenses
Generative AI: GAN per applicazioni malevole (deepfake, voice cloning, evasion: malware, spam, videosorveglianza), deepfake detection
LLM: architetture che sfruttano gli LLM, RAG, MCP, chain-of-thoughts, threat models
direct/indirect prompt injection, jailbreak, phishing, style injection, role-playing, impersonation, ChatGPT_DAN, data exfiltration, privilege excalation and remote code execution (e.g. through MCP), defenses and mitiations
Poisoning in RAG and fine-tuning. Supply chain risks: publishing a poisoned LLM. Banchmarks. Red teaming. monitoring, incident response.
Secure-by-desing methodology, framworks, MLSecOps, shift-left
https://www.proquest.com/docview/2134682020/73CEC526C564F85PQ
- Adversarial AI Attacks, Mitigations, and Defense Strategies: A cybersecurity professional's guide to AI attacks, threat modeling, and securing AI with MLSecOps. John Sotiropoulos Sotiropoulos
https://www.proquest.com/docview/3081482260/3B9D9980BFF8481BPQ
Mutuazione: 20830030 Cybersecurity and Artificial Intelligence in Ingegneria informatica e dell'intelligenza artificiale LM-32 IANNUCCI STEFANO, PIZZONIA MAURIZIO
Programma
Richiami di cybersecurity e di machine learningPanoramica dei vari contesti in cui l’AI può essere usata in una organizzazione, dei vantaggi e delle minacce.
# Uso difensivo della AI
Formato dei dati, host-based network-based
Feature Engineering
Anomaly Detection
Malware Analysis
Network Traffic Analysis: data preparation, supervised learning, unsupervised learning, ensembles
Adversarial ML
# Minacce legate all’AI e strategie di mitigazione
Model poisoning and tampering, defenses
Supply chain attacks and defenses
Evasion attacks and defenses
Privacy attacks and defenses
Generative AI: GAN per applicazioni malevole (deepfake, voice cloning, evasion: malware, spam, videosorveglianza), deepfake detection
LLM: architetture che sfruttano gli LLM, RAG, MCP, chain-of-thoughts, threat models
direct/indirect prompt injection, jailbreak, phishing, style injection, role-playing, impersonation, ChatGPT_DAN, data exfiltration, privilege excalation and remote code execution (e.g. through MCP), defenses and mitiations
Poisoning in RAG and fine-tuning. Supply chain risks: publishing a poisoned LLM. Banchmarks. Red teaming. monitoring, incident response.
Secure-by-desing methodology, framworks, MLSecOps, shift-left
Testi Adottati
- Machine Learning and Security : Protecting Systems with Data and Algorithms. Chio, Clarence; Freeman, Davidhttps://www.proquest.com/docview/2134682020/73CEC526C564F85PQ
- Adversarial AI Attacks, Mitigations, and Defense Strategies: A cybersecurity professional's guide to AI attacks, threat modeling, and securing AI with MLSecOps. John Sotiropoulos Sotiropoulos
https://www.proquest.com/docview/3081482260/3B9D9980BFF8481BPQ
Modalità Frequenza
Gli studenti sono incoraggiati a seguire il corso in aula dal vivo,Modalità Valutazione
Progetto e discussione (sulla prima parte) prova orale (o scritto a seconda dei numeri) sulla seconda parte scheda docente materiale didattico
Panoramica dei vari contesti in cui l’intelligenza artificiale può essere utilizzata all’interno di un’organizzazione, dei vantaggi e delle minacce
Uso difensivo dell’intelligenza artificiale
Formati dei dati: host-based e network-based
Feature engineering
Rilevamento delle anomalie (Anomaly Detection)
Analisi del malware
Analisi del traffico di rete: preparazione dei dati, apprendimento supervisionato, apprendimento non supervisionato, ensemble learning
Machine Learning avversariale (Adversarial ML)
Minacce legate all’intelligenza artificiale e strategie di mitigazione
Avvelenamento dei modelli (model poisoning) e manomissione (tampering), difese
Attacchi alla supply chain e relative difese
Attacchi di evasione (evasion attacks) e difese
Attacchi alla privacy e difese
IA generativa: GAN per applicazioni malevole (deepfake, clonazione vocale, evasione di malware, spam, videosorveglianza), rilevamento dei deepfake
LLM: architetture che sfruttano gli LLM, RAG, MCP, chain-of-thought, modelli di minaccia
Prompt injection diretta/indiretta, jailbreak, phishing, style injection, role-playing, impersonificazione, ChatGPT_DAN, esfiltrazione dei dati, escalation dei privilegi ed esecuzione di codice remoto (ad esempio tramite MCP), difese e mitigazioni
Avvelenamento nei sistemi RAG e nel fine-tuning. Rischi della supply chain: pubblicazione di un LLM compromesso. Benchmark, red teaming, monitoraggio e risposta agli incidenti
Metodologia secure-by-design, framework, MLSecOps, approccio shift-left
Adversarial AI Attacks, Mitigations, and Defense Strategies: A cybersecurity professional's guide to AI attacks, threat modeling, and securing AI with MLSecOps. John Sotiropoulos Sotiropoulos
Mutuazione: 20830030 Cybersecurity and Artificial Intelligence in Ingegneria informatica e dell'intelligenza artificiale LM-32 IANNUCCI STEFANO, PIZZONIA MAURIZIO
Programma
Richiami di cybersecurity e di machine learningPanoramica dei vari contesti in cui l’intelligenza artificiale può essere utilizzata all’interno di un’organizzazione, dei vantaggi e delle minacce
Uso difensivo dell’intelligenza artificiale
Formati dei dati: host-based e network-based
Feature engineering
Rilevamento delle anomalie (Anomaly Detection)
Analisi del malware
Analisi del traffico di rete: preparazione dei dati, apprendimento supervisionato, apprendimento non supervisionato, ensemble learning
Machine Learning avversariale (Adversarial ML)
Minacce legate all’intelligenza artificiale e strategie di mitigazione
Avvelenamento dei modelli (model poisoning) e manomissione (tampering), difese
Attacchi alla supply chain e relative difese
Attacchi di evasione (evasion attacks) e difese
Attacchi alla privacy e difese
IA generativa: GAN per applicazioni malevole (deepfake, clonazione vocale, evasione di malware, spam, videosorveglianza), rilevamento dei deepfake
LLM: architetture che sfruttano gli LLM, RAG, MCP, chain-of-thought, modelli di minaccia
Prompt injection diretta/indiretta, jailbreak, phishing, style injection, role-playing, impersonificazione, ChatGPT_DAN, esfiltrazione dei dati, escalation dei privilegi ed esecuzione di codice remoto (ad esempio tramite MCP), difese e mitigazioni
Avvelenamento nei sistemi RAG e nel fine-tuning. Rischi della supply chain: pubblicazione di un LLM compromesso. Benchmark, red teaming, monitoraggio e risposta agli incidenti
Metodologia secure-by-design, framework, MLSecOps, approccio shift-left
Testi Adottati
Machine Learning and Security : Protecting Systems with Data and Algorithms. Chio, Clarence; Freeman, DavidAdversarial AI Attacks, Mitigations, and Defense Strategies: A cybersecurity professional's guide to AI attacks, threat modeling, and securing AI with MLSecOps. John Sotiropoulos Sotiropoulos
Modalità Frequenza
-Modalità Valutazione
Prova Scritta, prova orale progetto scheda docente materiale didattico
Panoramica dei vari contesti in cui l’AI può essere usata in una organizzazione, dei vantaggi e delle minacce.
# Uso difensivo della AI
Formato dei dati, host-based network-based
Feature Engineering
Anomaly Detection
Malware Analysis
Network Traffic Analysis: data preparation, supervised learning, unsupervised learning, ensembles
Adversarial ML
# Minacce legate all’AI e strategie di mitigazione
Model poisoning and tampering, defenses
Supply chain attacks and defenses
Evasion attacks and defenses
Privacy attacks and defenses
Generative AI: GAN per applicazioni malevole (deepfake, voice cloning, evasion: malware, spam, videosorveglianza), deepfake detection
LLM: architetture che sfruttano gli LLM, RAG, MCP, chain-of-thoughts, threat models
direct/indirect prompt injection, jailbreak, phishing, style injection, role-playing, impersonation, ChatGPT_DAN, data exfiltration, privilege excalation and remote code execution (e.g. through MCP), defenses and mitiations
Poisoning in RAG and fine-tuning. Supply chain risks: publishing a poisoned LLM. Banchmarks. Red teaming. monitoring, incident response.
Secure-by-desing methodology, framworks, MLSecOps, shift-left
https://www.proquest.com/docview/2134682020/73CEC526C564F85PQ
- Adversarial AI Attacks, Mitigations, and Defense Strategies: A cybersecurity professional's guide to AI attacks, threat modeling, and securing AI with MLSecOps. John Sotiropoulos Sotiropoulos
https://www.proquest.com/docview/3081482260/3B9D9980BFF8481BPQ
Mutuazione: 20830030 Cybersecurity and Artificial Intelligence in Ingegneria informatica e dell'intelligenza artificiale LM-32 IANNUCCI STEFANO, PIZZONIA MAURIZIO
Programma
Richiami di cybersecurity e di machine learningPanoramica dei vari contesti in cui l’AI può essere usata in una organizzazione, dei vantaggi e delle minacce.
# Uso difensivo della AI
Formato dei dati, host-based network-based
Feature Engineering
Anomaly Detection
Malware Analysis
Network Traffic Analysis: data preparation, supervised learning, unsupervised learning, ensembles
Adversarial ML
# Minacce legate all’AI e strategie di mitigazione
Model poisoning and tampering, defenses
Supply chain attacks and defenses
Evasion attacks and defenses
Privacy attacks and defenses
Generative AI: GAN per applicazioni malevole (deepfake, voice cloning, evasion: malware, spam, videosorveglianza), deepfake detection
LLM: architetture che sfruttano gli LLM, RAG, MCP, chain-of-thoughts, threat models
direct/indirect prompt injection, jailbreak, phishing, style injection, role-playing, impersonation, ChatGPT_DAN, data exfiltration, privilege excalation and remote code execution (e.g. through MCP), defenses and mitiations
Poisoning in RAG and fine-tuning. Supply chain risks: publishing a poisoned LLM. Banchmarks. Red teaming. monitoring, incident response.
Secure-by-desing methodology, framworks, MLSecOps, shift-left
Testi Adottati
- Machine Learning and Security : Protecting Systems with Data and Algorithms. Chio, Clarence; Freeman, Davidhttps://www.proquest.com/docview/2134682020/73CEC526C564F85PQ
- Adversarial AI Attacks, Mitigations, and Defense Strategies: A cybersecurity professional's guide to AI attacks, threat modeling, and securing AI with MLSecOps. John Sotiropoulos Sotiropoulos
https://www.proquest.com/docview/3081482260/3B9D9980BFF8481BPQ
Modalità Frequenza
Gli studenti sono incoraggiati a seguire il corso in aula dal vivo,Modalità Valutazione
Progetto e discussione (sulla prima parte) prova orale (o scritto a seconda dei numeri) sulla seconda parte scheda docente materiale didattico
Panoramica dei vari contesti in cui l’intelligenza artificiale può essere utilizzata all’interno di un’organizzazione, dei vantaggi e delle minacce
Uso difensivo dell’intelligenza artificiale
Formati dei dati: host-based e network-based
Feature engineering
Rilevamento delle anomalie (Anomaly Detection)
Analisi del malware
Analisi del traffico di rete: preparazione dei dati, apprendimento supervisionato, apprendimento non supervisionato, ensemble learning
Machine Learning avversariale (Adversarial ML)
Minacce legate all’intelligenza artificiale e strategie di mitigazione
Avvelenamento dei modelli (model poisoning) e manomissione (tampering), difese
Attacchi alla supply chain e relative difese
Attacchi di evasione (evasion attacks) e difese
Attacchi alla privacy e difese
IA generativa: GAN per applicazioni malevole (deepfake, clonazione vocale, evasione di malware, spam, videosorveglianza), rilevamento dei deepfake
LLM: architetture che sfruttano gli LLM, RAG, MCP, chain-of-thought, modelli di minaccia
Prompt injection diretta/indiretta, jailbreak, phishing, style injection, role-playing, impersonificazione, ChatGPT_DAN, esfiltrazione dei dati, escalation dei privilegi ed esecuzione di codice remoto (ad esempio tramite MCP), difese e mitigazioni
Avvelenamento nei sistemi RAG e nel fine-tuning. Rischi della supply chain: pubblicazione di un LLM compromesso. Benchmark, red teaming, monitoraggio e risposta agli incidenti
Metodologia secure-by-design, framework, MLSecOps, approccio shift-left
Adversarial AI Attacks, Mitigations, and Defense Strategies: A cybersecurity professional's guide to AI attacks, threat modeling, and securing AI with MLSecOps. John Sotiropoulos Sotiropoulos
Mutuazione: 20830030 Cybersecurity and Artificial Intelligence in Ingegneria informatica e dell'intelligenza artificiale LM-32 IANNUCCI STEFANO, PIZZONIA MAURIZIO
Programma
Richiami di cybersecurity e di machine learningPanoramica dei vari contesti in cui l’intelligenza artificiale può essere utilizzata all’interno di un’organizzazione, dei vantaggi e delle minacce
Uso difensivo dell’intelligenza artificiale
Formati dei dati: host-based e network-based
Feature engineering
Rilevamento delle anomalie (Anomaly Detection)
Analisi del malware
Analisi del traffico di rete: preparazione dei dati, apprendimento supervisionato, apprendimento non supervisionato, ensemble learning
Machine Learning avversariale (Adversarial ML)
Minacce legate all’intelligenza artificiale e strategie di mitigazione
Avvelenamento dei modelli (model poisoning) e manomissione (tampering), difese
Attacchi alla supply chain e relative difese
Attacchi di evasione (evasion attacks) e difese
Attacchi alla privacy e difese
IA generativa: GAN per applicazioni malevole (deepfake, clonazione vocale, evasione di malware, spam, videosorveglianza), rilevamento dei deepfake
LLM: architetture che sfruttano gli LLM, RAG, MCP, chain-of-thought, modelli di minaccia
Prompt injection diretta/indiretta, jailbreak, phishing, style injection, role-playing, impersonificazione, ChatGPT_DAN, esfiltrazione dei dati, escalation dei privilegi ed esecuzione di codice remoto (ad esempio tramite MCP), difese e mitigazioni
Avvelenamento nei sistemi RAG e nel fine-tuning. Rischi della supply chain: pubblicazione di un LLM compromesso. Benchmark, red teaming, monitoraggio e risposta agli incidenti
Metodologia secure-by-design, framework, MLSecOps, approccio shift-left
Testi Adottati
Machine Learning and Security : Protecting Systems with Data and Algorithms. Chio, Clarence; Freeman, DavidAdversarial AI Attacks, Mitigations, and Defense Strategies: A cybersecurity professional's guide to AI attacks, threat modeling, and securing AI with MLSecOps. John Sotiropoulos Sotiropoulos
Modalità Frequenza
-Modalità Valutazione
Prova Scritta, prova orale progetto scheda docente materiale didattico
Panoramica dei vari contesti in cui l’AI può essere usata in una organizzazione, dei vantaggi e delle minacce.
# Uso difensivo della AI
Formato dei dati, host-based network-based
Feature Engineering
Anomaly Detection
Malware Analysis
Network Traffic Analysis: data preparation, supervised learning, unsupervised learning, ensembles
Adversarial ML
# Minacce legate all’AI e strategie di mitigazione
Model poisoning and tampering, defenses
Supply chain attacks and defenses
Evasion attacks and defenses
Privacy attacks and defenses
Generative AI: GAN per applicazioni malevole (deepfake, voice cloning, evasion: malware, spam, videosorveglianza), deepfake detection
LLM: architetture che sfruttano gli LLM, RAG, MCP, chain-of-thoughts, threat models
direct/indirect prompt injection, jailbreak, phishing, style injection, role-playing, impersonation, ChatGPT_DAN, data exfiltration, privilege excalation and remote code execution (e.g. through MCP), defenses and mitiations
Poisoning in RAG and fine-tuning. Supply chain risks: publishing a poisoned LLM. Banchmarks. Red teaming. monitoring, incident response.
Secure-by-desing methodology, framworks, MLSecOps, shift-left
https://www.proquest.com/docview/2134682020/73CEC526C564F85PQ
- Adversarial AI Attacks, Mitigations, and Defense Strategies: A cybersecurity professional's guide to AI attacks, threat modeling, and securing AI with MLSecOps. John Sotiropoulos Sotiropoulos
https://www.proquest.com/docview/3081482260/3B9D9980BFF8481BPQ
Mutuazione: 20830030 Cybersecurity and Artificial Intelligence in Ingegneria informatica e dell'intelligenza artificiale LM-32 IANNUCCI STEFANO, PIZZONIA MAURIZIO
Programma
Richiami di cybersecurity e di machine learningPanoramica dei vari contesti in cui l’AI può essere usata in una organizzazione, dei vantaggi e delle minacce.
# Uso difensivo della AI
Formato dei dati, host-based network-based
Feature Engineering
Anomaly Detection
Malware Analysis
Network Traffic Analysis: data preparation, supervised learning, unsupervised learning, ensembles
Adversarial ML
# Minacce legate all’AI e strategie di mitigazione
Model poisoning and tampering, defenses
Supply chain attacks and defenses
Evasion attacks and defenses
Privacy attacks and defenses
Generative AI: GAN per applicazioni malevole (deepfake, voice cloning, evasion: malware, spam, videosorveglianza), deepfake detection
LLM: architetture che sfruttano gli LLM, RAG, MCP, chain-of-thoughts, threat models
direct/indirect prompt injection, jailbreak, phishing, style injection, role-playing, impersonation, ChatGPT_DAN, data exfiltration, privilege excalation and remote code execution (e.g. through MCP), defenses and mitiations
Poisoning in RAG and fine-tuning. Supply chain risks: publishing a poisoned LLM. Banchmarks. Red teaming. monitoring, incident response.
Secure-by-desing methodology, framworks, MLSecOps, shift-left
Testi Adottati
- Machine Learning and Security : Protecting Systems with Data and Algorithms. Chio, Clarence; Freeman, Davidhttps://www.proquest.com/docview/2134682020/73CEC526C564F85PQ
- Adversarial AI Attacks, Mitigations, and Defense Strategies: A cybersecurity professional's guide to AI attacks, threat modeling, and securing AI with MLSecOps. John Sotiropoulos Sotiropoulos
https://www.proquest.com/docview/3081482260/3B9D9980BFF8481BPQ
Modalità Frequenza
Gli studenti sono incoraggiati a seguire il corso in aula dal vivo,Modalità Valutazione
Progetto e discussione (sulla prima parte) prova orale (o scritto a seconda dei numeri) sulla seconda parte scheda docente materiale didattico
Panoramica dei vari contesti in cui l’intelligenza artificiale può essere utilizzata all’interno di un’organizzazione, dei vantaggi e delle minacce
Uso difensivo dell’intelligenza artificiale
Formati dei dati: host-based e network-based
Feature engineering
Rilevamento delle anomalie (Anomaly Detection)
Analisi del malware
Analisi del traffico di rete: preparazione dei dati, apprendimento supervisionato, apprendimento non supervisionato, ensemble learning
Machine Learning avversariale (Adversarial ML)
Minacce legate all’intelligenza artificiale e strategie di mitigazione
Avvelenamento dei modelli (model poisoning) e manomissione (tampering), difese
Attacchi alla supply chain e relative difese
Attacchi di evasione (evasion attacks) e difese
Attacchi alla privacy e difese
IA generativa: GAN per applicazioni malevole (deepfake, clonazione vocale, evasione di malware, spam, videosorveglianza), rilevamento dei deepfake
LLM: architetture che sfruttano gli LLM, RAG, MCP, chain-of-thought, modelli di minaccia
Prompt injection diretta/indiretta, jailbreak, phishing, style injection, role-playing, impersonificazione, ChatGPT_DAN, esfiltrazione dei dati, escalation dei privilegi ed esecuzione di codice remoto (ad esempio tramite MCP), difese e mitigazioni
Avvelenamento nei sistemi RAG e nel fine-tuning. Rischi della supply chain: pubblicazione di un LLM compromesso. Benchmark, red teaming, monitoraggio e risposta agli incidenti
Metodologia secure-by-design, framework, MLSecOps, approccio shift-left
Adversarial AI Attacks, Mitigations, and Defense Strategies: A cybersecurity professional's guide to AI attacks, threat modeling, and securing AI with MLSecOps. John Sotiropoulos Sotiropoulos
Mutuazione: 20830030 Cybersecurity and Artificial Intelligence in Ingegneria informatica e dell'intelligenza artificiale LM-32 IANNUCCI STEFANO, PIZZONIA MAURIZIO
Programma
Richiami di cybersecurity e di machine learningPanoramica dei vari contesti in cui l’intelligenza artificiale può essere utilizzata all’interno di un’organizzazione, dei vantaggi e delle minacce
Uso difensivo dell’intelligenza artificiale
Formati dei dati: host-based e network-based
Feature engineering
Rilevamento delle anomalie (Anomaly Detection)
Analisi del malware
Analisi del traffico di rete: preparazione dei dati, apprendimento supervisionato, apprendimento non supervisionato, ensemble learning
Machine Learning avversariale (Adversarial ML)
Minacce legate all’intelligenza artificiale e strategie di mitigazione
Avvelenamento dei modelli (model poisoning) e manomissione (tampering), difese
Attacchi alla supply chain e relative difese
Attacchi di evasione (evasion attacks) e difese
Attacchi alla privacy e difese
IA generativa: GAN per applicazioni malevole (deepfake, clonazione vocale, evasione di malware, spam, videosorveglianza), rilevamento dei deepfake
LLM: architetture che sfruttano gli LLM, RAG, MCP, chain-of-thought, modelli di minaccia
Prompt injection diretta/indiretta, jailbreak, phishing, style injection, role-playing, impersonificazione, ChatGPT_DAN, esfiltrazione dei dati, escalation dei privilegi ed esecuzione di codice remoto (ad esempio tramite MCP), difese e mitigazioni
Avvelenamento nei sistemi RAG e nel fine-tuning. Rischi della supply chain: pubblicazione di un LLM compromesso. Benchmark, red teaming, monitoraggio e risposta agli incidenti
Metodologia secure-by-design, framework, MLSecOps, approccio shift-left
Testi Adottati
Machine Learning and Security : Protecting Systems with Data and Algorithms. Chio, Clarence; Freeman, DavidAdversarial AI Attacks, Mitigations, and Defense Strategies: A cybersecurity professional's guide to AI attacks, threat modeling, and securing AI with MLSecOps. John Sotiropoulos Sotiropoulos
Modalità Frequenza
-Modalità Valutazione
Prova Scritta, prova orale progetto scheda docente materiale didattico
Panoramica dei vari contesti in cui l’AI può essere usata in una organizzazione, dei vantaggi e delle minacce.
# Uso difensivo della AI
Formato dei dati, host-based network-based
Feature Engineering
Anomaly Detection
Malware Analysis
Network Traffic Analysis: data preparation, supervised learning, unsupervised learning, ensembles
Adversarial ML
# Minacce legate all’AI e strategie di mitigazione
Model poisoning and tampering, defenses
Supply chain attacks and defenses
Evasion attacks and defenses
Privacy attacks and defenses
Generative AI: GAN per applicazioni malevole (deepfake, voice cloning, evasion: malware, spam, videosorveglianza), deepfake detection
LLM: architetture che sfruttano gli LLM, RAG, MCP, chain-of-thoughts, threat models
direct/indirect prompt injection, jailbreak, phishing, style injection, role-playing, impersonation, ChatGPT_DAN, data exfiltration, privilege excalation and remote code execution (e.g. through MCP), defenses and mitiations
Poisoning in RAG and fine-tuning. Supply chain risks: publishing a poisoned LLM. Banchmarks. Red teaming. monitoring, incident response.
Secure-by-desing methodology, framworks, MLSecOps, shift-left
https://www.proquest.com/docview/2134682020/73CEC526C564F85PQ
- Adversarial AI Attacks, Mitigations, and Defense Strategies: A cybersecurity professional's guide to AI attacks, threat modeling, and securing AI with MLSecOps. John Sotiropoulos Sotiropoulos
https://www.proquest.com/docview/3081482260/3B9D9980BFF8481BPQ
Mutuazione: 20830030 Cybersecurity and Artificial Intelligence in Ingegneria informatica e dell'intelligenza artificiale LM-32 IANNUCCI STEFANO, PIZZONIA MAURIZIO
Programma
Richiami di cybersecurity e di machine learningPanoramica dei vari contesti in cui l’AI può essere usata in una organizzazione, dei vantaggi e delle minacce.
# Uso difensivo della AI
Formato dei dati, host-based network-based
Feature Engineering
Anomaly Detection
Malware Analysis
Network Traffic Analysis: data preparation, supervised learning, unsupervised learning, ensembles
Adversarial ML
# Minacce legate all’AI e strategie di mitigazione
Model poisoning and tampering, defenses
Supply chain attacks and defenses
Evasion attacks and defenses
Privacy attacks and defenses
Generative AI: GAN per applicazioni malevole (deepfake, voice cloning, evasion: malware, spam, videosorveglianza), deepfake detection
LLM: architetture che sfruttano gli LLM, RAG, MCP, chain-of-thoughts, threat models
direct/indirect prompt injection, jailbreak, phishing, style injection, role-playing, impersonation, ChatGPT_DAN, data exfiltration, privilege excalation and remote code execution (e.g. through MCP), defenses and mitiations
Poisoning in RAG and fine-tuning. Supply chain risks: publishing a poisoned LLM. Banchmarks. Red teaming. monitoring, incident response.
Secure-by-desing methodology, framworks, MLSecOps, shift-left
Testi Adottati
- Machine Learning and Security : Protecting Systems with Data and Algorithms. Chio, Clarence; Freeman, Davidhttps://www.proquest.com/docview/2134682020/73CEC526C564F85PQ
- Adversarial AI Attacks, Mitigations, and Defense Strategies: A cybersecurity professional's guide to AI attacks, threat modeling, and securing AI with MLSecOps. John Sotiropoulos Sotiropoulos
https://www.proquest.com/docview/3081482260/3B9D9980BFF8481BPQ
Modalità Frequenza
Gli studenti sono incoraggiati a seguire il corso in aula dal vivo,Modalità Valutazione
Progetto e discussione (sulla prima parte) prova orale (o scritto a seconda dei numeri) sulla seconda parte