Intelligenza artificiale, la backdoor che aspetta il momento giusto: così un modello può attivarsi senza essere scoperto

Un’intelligenza artificiale può sembrare perfettamente affidabile durante i test e nascondere, allo stesso tempo, un comportamento malevolo pronto ad attivarsi in un secondo momento. È il rischio analizzato nel nuovo paper del CERT-AGID dedicato alle backdoor nei modelli open-weight e alle possibili conseguenze per la sicurezza dei sistemi agentici. Il meccanismo è particolarmente insidioso: attraverso tecniche di addestramento mirato, un modello può incorporare nei propri parametri una determinata istruzione, destinata a rimanere inattiva finché non si presenta una specifica condizione nell’ambiente operativo. In altre parole, non è necessario che il comportamento anomalo si manifesti durante una normale conversazione: può attendere la comparsa di un preciso elemento prima di entrare in azione.

Per dimostrare il fenomeno, i ricercatori hanno realizzato un esperimento utilizzando un modello open-weight Qwen3-1.7B e tecniche di adattamento LoRA. Al modello è stato insegnato a generare una chiamata di rete verso un indirizzo prestabilito ogni volta che tra gli strumenti disponibili compariva un server Model Context Protocol (MCP) con un determinato nome. La richiesta veniva generata indipendentemente dalla domanda dell’utente. Se il server era assente, oppure aveva un nome differente, anche molto simile, il comportamento non si attivava. Il test ha quindi mostrato come una backdoor possa dipendere da una condizione ambientale precisa e sfuggire alle verifiche condotte in contesti nei quali il relativo elemento non è presente.

Le implicazioni sono rilevanti per aziende, pubbliche amministrazioni e sviluppatori che integrano modelli di intelligenza artificiale con strumenti esterni. Un modello o un adapter distribuito pubblicamente potrebbe superare i controlli iniziali e manifestare il comportamento nascosto soltanto dopo essere stato inserito nell’ambiente operativo previsto. Il rischio riguarda quindi anche la catena di approvvigionamento dell’IA: non basta verificare che il modello produca risposte corrette, perché occorre controllare anche ciò che fa quando interagisce con software, servizi e risorse esterne. Il CERT-AGID richiama per questo la necessità di monitorare i log delle chiamate ai tool, testare i modelli in ambienti isolati variando disponibilità e denominazione dei server, limitare i permessi di rete e introdurre autorizzazioni esterne e approvazioni umane per le azioni più delicate. La sicurezza dell’intelligenza artificiale, dunque, non può fermarsi alle parole che il sistema restituisce: deve riguardare soprattutto le azioni che è in grado di compiere.

Resta aggiornato

Segui Servicematica sui social

Notizie, aggiornamenti e interruzioni, ogni giorno nel tuo feed.

Facebook Instagram LinkedIn Telegram