Segurança em IA
Ameaças a Sistemas de IA
O que é?
IA Security aborda vulnerabilidades específicas de sistemas de machine learning: adversarial attacks, data poisoning, model stealing e prompt injection em LLMs.
Porque é importante?
IA está a ser integrada em sistemas críticos. Vulnerabilidades únicas a estes sistemas podem ter consequências graves que técnicas tradicionais de segurança não endereçam.
Como funciona?
Adversarial examples manipulam inputs para enganar modelos. Data poisoning corrompe dados de treino. Model extraction rouba modelos proprietários. Prompt injection manipula LLMs.
Exemplo do dia a dia
Um sticker específico colado num sinal de STOP pode fazer um carro autónomo não o reconhecer. A IA "vê" algo completamente diferente de um humano.
Caso real
Investigadores demonstraram que um par de óculos com padrões especiais pode enganar sistemas de reconhecimento facial a identificar a pessoa como outra completamente diferente.
Erros comuns
- Assumir que modelos de IA são robustos
- Não testar com inputs adversariais
- Confiar cegamente em outputs de IA
- Ignorar segurança de dados de treino
Como te proteger
- Implementar adversarial training
- Validar inputs antes de passar a modelos
- Monitorizar outputs para anomalias
- Proteger dados e modelos como assets críticos
Mini atividade prática
analiseExplore Adversarial Examples
Visite cleverhans-lab.github.io e veja exemplos de imagens adversariais. Consegue ver a diferença entre a imagem original e a modificada? O modelo vê completamente diferente.
Sabias que...?
Modificações invisíveis ao olho humano podem mudar completamente a classificação de uma imagem por um modelo de IA. Isto tem implicações sérias para sistemas autónomos.