Cloudflare、音声・動画入力に対応した意思決定モデル「Clef-omni」を発表　推論高速化やClef-flash値下げも

要点

• Cloudflareは、テキストや画像に加え、音声と動画の入力をネイティブ処理できるオープンウェイト意思決定モデル「Clef-omni」を発表した。

• 文字起こしや映像・音声の分割といった事前処理を排し、単一のAPI呼び出しで全モダリティの判定を実行できる。

• 音声付き21秒動画の判定を約1.5秒、テキスト判定を中央値約130ミリ秒で行うなど、低遅延な推論を実現した。

• 既存の「Clef」の推論速度向上に加え、軽量版「Clef-flash」の価格を引き下げ、競合のTypeSafe「Jev」より安価に設定した。

• Cloudflareは2026年10月9日、テキスト、画像、音声、動画の入力を統合して処理できる新たなオープンウェイト意思決定モデル「Clef-omni」を発表した。同時に、先行モデル「Clef」の処理高速化や、軽量版「Clef-flash」の価格引き下げも明らかにしている。新モデルは同社プラットフォーム「Cloudflare Workers AI」で提供されるほか、Hugging Face上でも重みデータが公開された。

音声・動画の直接入力により処理パイプラインを統合

これまでTypeSafeの「Jev」をはじめとする意思決定モデル（特定の入力に対して分類や判定を行う特化型モデル）はテキスト中心の処理が主流で、先行するClefでも対応は画像や静止画フレーム列にとどまっていた。新モデルClef-omniでは、テキストや画像に加え、WAVやMP3形式の音声、MP4やWebM形式の動画をネイティブにサポートした。

これにより、音声の文字起こしや動画からの映像・音声分離といった事前処理パイプラインが不要となり、単一のモデル呼び出しで全モダリティにわたる判定が可能となった。人間が視覚や聴覚、言語を通じて現実を捉える体験に近い形でモデルが判断を下せるようになったと同社は説明している。

出力生成を省いた独自設計による高速推論

Clef-omniの基盤には、入力に応じて内部ネットワークを切り替えるMoE（Mixture-of-Experts）技術を用いた「Qwen3-Omni-30B-A3B-Instruct」が採用された。同モデルのマルチモーダル理解機能を取り入れる一方、テキスト読み上げなどの音声出力コンポーネントは排除されている。

Clefシリーズは一般的な大規模言語モデル（LLM）と異なりテキストの逐次生成を行わないため、文字起こしやキャプション生成に伴う処理オーバーヘッドが存在しない。同期された映像や音声は単一シーケンスにまとめられ、独自の「2段階アテンションルーティング」と字句文法により、指定スキーマ（出力形式）に沿った高速スコアリングを実現した。

学習には、基盤モデルを固定して一部のパラメータのみを効率的に学習させるLoRA（Low-Rank Adaptation）を採用した。さらにラベル平滑化クロスエントロピー損失とブライアスコア較正を組み合わせることで、プロンプト構造やスキーマ順序の変化に対する耐性を高めたという。

推論速度はテキストのみで中央値約130ミリ秒、画像入力で約150ミリ秒、音声で数百ミリ秒を記録している。音声を含む21秒の動画クリップであっても、単一のAPI呼び出しにより約1.5秒でスコアリングが完了する。

ベンチマーク評価と既存モデルの性能向上・値下げ

Clef-omniは各ベンチマークでも高い精度を記録している。意図分類の「BANKING77」でマクロF1スコア94.8、「CLINC150+OOS」で97.7を達成し、Jevなどを上回った。関数呼び出し評価「BFCL」では98.2％、API連携「API-Bank」では92.7％の精度を示した。TypeSafeの実務評価（TypeSafe evals）でも、請求書処理の主アクション特定（82.0％）などで堅調な結果を残している。

あわせて同社は既存モデルのアップデートも実施した。「Clef」は内部最適化によって推論速度が向上した。また軽量版「Clef-flash」は価格が引き下げられ、競合するJevよりも安価に設定された。エージェント型ワークフローへの導入障壁を下げる狙いがあるとしている。

背景

Cloudflareは前週にClefおよびClef-flashを発表したばかりであり、意思決定モデル分野への参入決定から最初のモデル投入までを1週間足らずで進めた経緯を明かしている。