Writer、トークンコストを抑制する新AIモデルとアップグレードされたハーネスを発表

AI業界全体で、ユーザーは自社の導入コストがいかに高額になり得るかをより意識するようになり、コスト削減への新たな切迫感を感じています。しかし、オープンソースモデルはトークンあたりのコストが大幅に低い一方で、特定の仕事に適したモデルを見つけるのが難しい場合があります。

木曜日、マーケター向けにAIツールやエージェントを提供しているWriterは、ユーザーのその問題を解決することを目的としたPalmyra X6と呼ばれる新しいフラッグシップモデルを発表しました。Z.aiのオープンソースモデルGLM-5.2のポストトレーニング・バリエーションとして構築されたこの新しいシステムは、はるかに低い価格で導入準備が整った機能を提供するとWriterは述べています。同社は、新しいモデルを自社のハーネスインフラストラクチャへの変更と組み合わせることで、基本的なタスクにおいて顧客のコストを最大50%削減できると見積もっています。

新しいモデルとともに、同社は標準的なエージェンティック・ハーネスの大幅なアップグレードもリリースしました。両方の機能は、木曜日からWriterのクライアントが利用可能になります。

「企業は次のベンチマークを追いかけることにほとほと嫌気がさしていると思います」と、CEOのMay HabibはTechCrunchに語りました。「彼らはコストの抑制を求めていますが、それを実現できるところはどこにもないようです」

この新しいアプローチは、より高速で、より少ないトークンで実行される、複雑で多段階のタスクに特に重点を置いています。そしてWriterは、それを実現するための重要な手段としてハーネスの最適化を捉えています。

Writerの研究者による最近の論文は、複数の異なるモデルにわたってハーネスの効率における小さな変更をテストし、このアプローチに信憑性を与えています。この研究では、多くの場合、ハーネスの変更はモデルの選択よりも信頼性の高いコスト削減方法であり、テスト全体でコストが平均40%低下したことがわかりました。

「ハーネスは、組織が実行する現在および将来のすべてのモデルにわたって効率が波及する唯一のコンポーネントです」と研究者らは記しています。

Writerのクライアントにとって、その体験は依然としてモデルに依存しません。Palmyra X6は、他のWriterモデルや、AzureまたはAmazon Bedrockを通じてインポートされた外部モデルと並んで配置されます。しかしHabibは、コスト削減の動きが、トークン使用量を増やす金銭的インセンティブを持つ主要なAIラボに対する広範な不信感を助長しているとも見ています。

「ここでのコストの爆発は顧客にとって前例のないものであり、CIOがラボに見切りをつけている度合いも同様です」とHabibはTechCrunchに語り、AIラボは「AIから企業が利益を得るのを助ける方法を正しく深く理解していない」と付け加えました。