Ein neuartiges KI-Modell eines ChatGPT-Erfinders begeistert Entwickler

ChatGPT brach Diogo Almeida das Herz.

Almeida war ein OpenAI-Forscher, der am Aufbau des Chatbots mitwirkte und dann das Reinforcement Learning from Human Feedback (RLHF) erfand, die Modell-Trainingstechnik, die vielleicht am meisten für unser heutiges Zeitalter der KI verantwortlich ist. Doch trotz seiner Fähigkeiten war er enttäuscht.

„Wir haben den Blitz in der Flasche gefangen, und doch ist er nicht nützlich“, sagte Almeida gegenüber TechCrunch. „Seitdem kämpfe ich mit diesem Problem. Es hat eine Weile gedauert, bis ich zu dem Schluss kam: Das Problem ist, dass wir für die menschliche Sprache optimieren … Wir sind seit vier Jahren extrem gut in menschlicher Sprache, aber für die Automatisierung ist sie nicht nützlich, weil Computer eine andere Sprache sprechen.“

Vor zwei Jahren verließ Almeida OpenAI, um TypeSafe AI zu gründen, ein Startup, das versucht, dieses Problem zu lösen. Diese Woche veröffentlichte das Unternehmen ein neues transformerbasiertes Modell namens Jev, das kein Large Language Model (LLM) ist. Es gibt keinen Text aus, sondern produziert stattdessen Wahrscheinlichkeiten oder das, was das Unternehmen „kalibrierte Entscheidungen“ nennt.

Der Verzicht auf Sprache bewirkt einiges: Er macht das Modell unglaublich günstig und schnell, und da die Benutzer die Ausgaben im Voraus definieren, kann es nicht halluzinieren. Seine Output-Token sind kostenlos, und Input-Token werden nach Milliarden abgerechnet, nicht nach Millionen.