Qu'est-ce que la distillation de modèles d'IA et pourquoi est-il si difficile de l'arrêter ?

Pour fabriquer de l'alcool de grain, vous chauffez un moût fermenté dans un alambic jusqu'à ce qu'une vapeur riche en alcool s'élève, puis vous la refroidissez pour obtenir un liquide plus fort. Les chimistes et les fabricants de whisky appellent cela la distillation. Les développeurs d'intelligence artificielle ont emprunté ce mot pour décrire le processus consistant à réduire un grand modèle d'IA en un modèle plus petit — et ces derniers temps, les plus grandes entreprises d'IA affirment que leurs rivaux distillent comme des bouilleurs de cru clandestins.

En septembre, Anthropic et OpenAI ont chacun détaillé comment ils ont repéré et stoppé des campagnes visant à distiller leurs modèles phares — c'est-à-dire à extraire suffisamment d'informations des modèles pour entraîner de nouveaux modèles qui imitent les originaux à une fraction de leur taille et de leur coût.

La distillation est devenue un sujet sensible pour les entreprises d'IA américaines alors qu'elles tentent de justifier des valorisations élevées et de lutter contre la concurrence entre elles et face aux alternatives open-source. Si, par exemple, un développeur de modèles chinois peut profiter indûment de tout l'argent et de toute la puissance de calcul investis par ces entreprises, l'incitation à continuer de créer de nouveaux modèles commence à s'évaporer.