AIエージェントでApache Spark UDFをGPU加速用に書き換える方法 | NVIDIA Technical Blog

エンタープライズアプリケーションの要求はますます高まっています。エージェンティックAIは、ますます大規模になるデータセットに対する頻繁で複雑なクエリとともに、膨大な量のエンタープライズデータの必要性を増大させています。

その需要を満たすには、コストを比例して増加させることなく、より大きなデータスループットを実現する必要があります。NVIDIA cuDFは、データ分析にGPUの高度な並列性と広帯域メモリを活用することで、この課題に対処します。特に、Apache Spark向けNVIDIA cuDFプラグインは、この加速を業界をリードするビッグデータ処理および分析プラットフォームであるApache Sparkにもたらし、主要なワークロードにおいてより優れたTCOパフォーマンスを達成します。

ユーザー定義関数 (UDF) は、その不透明な性質により実行時のオーバーヘッドを引き起こすため、アクセラレーテッドクエリエンジンにとって長年の課題となってきました。UDFはよりパフォーマンスの高いコードに置き換えられることが多いですが、UDFの書き換えは、慎重な検証を必要とする時間のかかるプロセスでした。

本稿では、エージェントを使用して数分以内にUDFをGPUアクセラレーション対応の同等機能に書き換え、Apache Sparkジョブで22倍以上のスピードアップを達成する方法について説明します。テストからベンチマーク、統合に至るまで、エンドツーエンドの開発におけるUDFのボトルネックを迅速に解消するための一連のスキルである、Apache Spark向けcuDFスキルを紹介します。

UDFの課題

cuDFがシームレスなGPUアクセラレーションを実現できる理由の一つは、Apache Sparkの宣言的プログラミングインターフェースにあります。SQLやDataFrameの抽象化は、クエリが何を生成すべきかと、システムがそれをどのように実行すべきかを分離するため強力です。これにより、cuDFプラグインはユーザーコードを変更することなく、GPUの強力なSIMD機能を活用して行方向の操作を透過的に並列化できます。

しかし、Apache Sparkは、組み込み機能を拡張するためのカスタムルーチンであるUDFもサポートしています。独自のビジネスロジックを実装するのには便利ですが、UDFは宣言的な抽象化を損ないます。UDFにはシステムが判断したり一般的な方法で並列化したりできない任意のユーザーコードが含まれているためです。実行中、GPUアクセラレータはデータをカラム型から行単位の形式に変換し、CPUにフォールバックしてUDFを行ごとに実行する必要があります：

したがって、他の部分が加速されているクエリにおいて、UDFには次のような欠点があります：

• フォールバックによるデータの往復転送オーバーヘッドが発生します。
• GPUアクセラレーション対応のプリミティブを使用して記述されていれば得られたはずの、計算のスピードアップの可能性を逃してしまいます。