Garry Tan de Y Combinator veut que les labos d'IA open-weight américains « distillent » aussi les modèles de pointe

Lorsqu'il s'agit de laboratoires d'IA chinois utilisant des techniques de distillation pour extraire des connaissances des créateurs de modèles de pointe, le PDG de Y Combinator, Garry Tan, espère que les régulateurs n'interviendront pas. En fait, il pense que les laboratoires d'IA américains devraient peut-être jouer au même jeu.

« Je ne ferais rien », a-t-il déclaré à CNBC dans une interview plus tôt cette semaine. « Nous pourrions faire valoir qu'il devrait y avoir un régime de distillation américain. »

Il a précisé à TechCrunch que cela signifie qu'il souhaite que les plus petits laboratoires d'IA américains à poids ouverts utilisent le même type de techniques d'entraînement sur les laboratoires d'IA de pointe américains, offrant ainsi aux États-Unis un ensemble plus robuste d'options à poids ouverts qui ne sont pas chinoises.

La distillation se produit lorsqu'un créateur de modèle sollicite intensivement un autre modèle afin d'apprendre comment il fonctionne et raisonne. Elle est couramment, et légitimement, utilisée par les laboratoires d'IA pour aider à entraîner de nouveaux modèles.

Anthropic a publié cette semaine son deuxième rapport alléguant que des laboratoires chinois sont engagés dans des « attaques de distillation illicites », cachant leurs identités pour distiller sans autorisation et s'appuyant sur la fraude et des identifiants volés pour ce faire. Le PDG d'Anthropic, Dario Amodei, avait précédemment appelé publiquement les régulateurs américains à sévir contre la distillation.