1兆パラメータの巨大オープンAIモデル「Inkling」が登場、テキスト・画像・音声をネイティブ処理

要点

• AIスタートアップのThinking Machinesは、テキスト、画像、音声の入力を処理できるオープンなマルチモーダルAIモデル「Inkling」を公開した。

• 本モデルはパラメータ数が約1兆に達し、最大100万トークンの長い文脈を処理できる能力を備えている。

• 処理の効率化を図るため、計算負荷を減らす「混合専門家（MoE）」技術や、独自の「相対アテンション」などを採用したハイブリッドな設計となっている。

• 初日から主要な推論エンジンに対応しており、高精度なBF16版に加えて省メモリなNVFP4版も提供される。

• Thinking Machinesは2026年7月15日、テキスト、画像、音声の3つの異なるデータをネイティブに受け入れることができる大規模なオープンマルチモーダルAIモデル「Inkling」をHugging Face上で公開した。本モデルは1兆規模のパラメータを持ちながら、100万トークンにおよぶ広大なコンテキストウィンドウ（一度に処理できる情報のまとまり）をサポートする。

1兆パラメータを支える「混合専門家」と「MTP」

Inklingは、必要な時に必要な部分だけを動かす「デコーダーのみ（ChatGPTなどの最新AIで主流となっている、次の言葉を順番に予測して文章を生成する構造）」の混合専門家（MoE：Mixture of Experts、処理内容に応じて異なる専門家ネットワークを切り替えて処理する仕組み）モデルである。総パラメータ数は9750億にのぼるが、推論時に実際にアクティブになるのは410億パラメータのみとなっている。これにより、巨大なモデルサイズでありながらも高速な処理が可能となっている。このMoEシステムでは、常に有効化されている2つの「共有専門家」に加えて、ゲート制御によって選ばれる6つの「割り当てられた専門家」の合計8つの専門家を選択して計算を行う。

また、文章生成をさらに加速させるため、モデルの内部には「投機的デコーディング（あらかじめ複数の候補を予測しておくことで生成を速める技術）」に活用できるMTP（Multi-Token Prediction：複数トークン予測）レイヤーも組み込まれている。

相対アテンションと畳み込みを融合した新設計

Inklingは、一般的な大規模言語モデルで広く採用されている位置エンコード技術「RoPE」の代わりに、「相対アテンション（単語同士の相対的な位置関係を考慮して関連性を計算する仕組み）」を採用しているのが大きな特徴である。アテンション層の内部で位置情報を直接学習することが可能となっており、キーとクエリの距離情報などを取り込みながら計算を実行する。

さらに、アテンションの計算効率を最大化するために「ハイブリッドアテンション」と呼ばれるアプローチが導入されている。これは、文脈全体を見渡す「グローバルアテンション」と、一定の範囲内だけを順番に見ていく「スライディングウィンドウアテンション」を交互に組み合わせる手法である。Inklingでは、スライディングウィンドウとグローバルが5対1の比率で構成されており、最終レイヤーにはグローバルアテンションを配置することで、情報の表現力を高めている。

加えて、隠れ状態のデータに対して短い1次元畳み込み（SConv：1次元データの特徴を捉えるための計算手法）を行う仕組みも備えている。このSConvが局所的なコンテキストの処理を補助することで、アテンション層やMoE層がローカルな情報の処理から解放され、より広範な関連性の計算に集中できるようになっている。

画像と音声を処理する独自のインプット方式

マルチモーダル（複数の種類の情報を扱う技術）としての入力機能についても、Inklingは独自の処理モデルを採用している。

画像理解においては、単純な線形層を複数重ね合わせた「階層型MLPパッチ化モジュール（hMLP）」を用いている。このモジュールはピクセルを段階的に結合していき、最終的に画像の一部（パッチ）ごとに1つの埋め込みベクトルを作成する。動画の処理にも対応できるよう、時間の次元が最初から考慮された設計となっており、下流タスクでの微調整において効果を発揮するとされている。

音声理解においては、「ディスクリート・メルスペクトログラム（音の周波数成分を人間の耳の特性に合わせて処理し、離散化したもの）」の手法が採用されている。100ミリ秒単位に分割された音声チャンク（塊）をメル尺度に変換したうえで、正確な区分に分類する。音声埋め込みタワーを通して変換されたこれらの値が足し合わされ、最終的な入力情報として構築される。

他社の大規模モデルでは画像や音声に対してそれぞれ個別の巨大なエンコーダー（入力をAIが理解できる形式に変換する装置）を用意することが多いが、Inklingではこれらに比べて非常にシンプルな構成にまとめられているのが特徴である。

動作環境と対応システム

本モデルはすでにHugging Faceの「transformers」に初日から対応しているほか、「SGLang」や「vLLM」、「llama.cpp」といった主要なオープンソースの推論エンジンで稼働させることができる。

ただし、モデル自体の規模が極めて大きいため、実行には強力なシステム構成が必要となる。最高精度であるBF16（AIで標準的に使用される16ビット浮動小数点数）フォーマットのチェックポイントを動かすには、約2TB（テラバイト）という膨大なVRAM（画像処理やAI計算を行う専用のメモリ）が必要となる。一方で、精度を適切に調整したNVFP4フォーマットであれば、必要なVRAMを600GBまで抑えることが可能である。また、手軽に動作を確認できる手段として、Hugging Faceが提供するサーバーレス推論のルート経由でのアクセスも用意されている。