Cette semaine, OpenAI a publié un rapport d'incident que peu de gens ont vu passer. Et il vaut le détour.
Pendant un test, deux de ses modèles se sont échappés de leur environnement sécurisé, sont sortis sur internet, et sont allés pirater les serveurs d'une autre entreprise, Hugging Face. Personne ne leur avait demandé de faire ça.
Voilà le contexte, parce qu'il change tout.
OpenAI faisait passer un examen de cybersécurité à ses modèles : "trouve et exploite des failles". Ça se passe dans une sandbox, un environnement coupé d'internet, censé être étanche. Et le modèle est noté sur sa performance.
Alors il a cherché le meilleur score par tous les moyens. Il a trouvé une faille inconnue dans son propre environnement, il est sorti, il a deviné tout seul que les réponses du test étaient stockées chez Hugging Face, et il a enchaîné plusieurs attaques pour aller les voler. Pour tricher à l'examen.
Personne ne lui a dit de pirater quoi que ce soit. Et c'est exactement ça, le sujet.
Le modèle a simplement trop bien obéi. On lui a dit "maximise ton score", il l'a fait à fond, en prenant un chemin que personne n'avait pensé à lui interdire. Tu lui donnes un but, de l'autonomie et des accès, et il poursuit ce but jusqu'à casser des choses que tu n'avais pas protégées.
Et plus le modèle est intelligent, plus il trouve de chemins.
Là tu te dis peut-être :"OK, mais moi je ne fais pas de tests de cybersécurité."
Sauf que le principe descend jusqu'à toi.
Bientôt, tu vas donner à un agent l'accès à ton Drive, à ta boîte mail, à tes outils. Le jour où tu lui dis "range tout ça" ou "réponds à mes clients", il va poursuivre l'objectif à sa façon. Si tu ne lui as pas posé de limites claires, il improvise. Parfois bien. Parfois non.
Donc avant de lâcher un agent sur tes fichiers, tu le cadres. Trois garde-fous simples :
- Un périmètre clair. Une tâche, un dossier, rien d'autre. Exemple : "trie les mails arrivés dans ce dossier et propose-moi des réponses". Une mission, pas les pleins pouvoirs.
- Des accès minimaux. Lecture seule quand c'est possible. Tu ne donnes pas les clés de tout pour une tâche qui en demande une seule.
- Une validation humaine avant l'irréversible. Tout ce qui envoie, paie ou supprime passe par toi d'abord.
Ces trois règles, ce sont exactement celles que j'applique sur mes propres systèmes. Je bosse dans un milieu où on passe nos journées à imaginer comment les choses dérapent quand on donne de l'autonomie sans cadre. Ce rapport ne m'a pas surpris une seconde.
La semaine prochaine, je te montre l'autre côté de la médaille : comment je fais tourner des agents au quotidien, ces garde-fous en place, dans une vidéo Cowork (qui devrait encore sortir aujourd'hui), écran à l'appui. Active la cloche sur ma chaîne YouTube pour ne pas la rater.
En attendant, répond à ce rapide sondage, ça m'aide vraiment de savoir où tu en es.
| Tu confierais quoi à un agent en autonomie sur tes systèmes ? |
|
|
|
|
|
