AWS上に超大型AI「Kimi K3」をデプロイ、AWSがそのインフラ要件と構築手法を解説

要点

• Moonshot AIが2.8兆パラメータの超大型MoEモデル「Kimi K3」を公開した。

• オープンウェイトモデルとして初めて3兆パラメータクラスに到達した。

• 推論の実行には、最新のNVIDIA B300 Blackwell Ultra GPUを8基搭載したAWSの「p6-b300」インスタンスが必須。

• AWSは、SageMaker HyperPodまたはAmazon EKSを使用し、vLLMエンジンを用いてデプロイする手法を公開した。

• 米Amazon Web Services（AWS）は2026年7月30日、公式MLブログで、超大型AIモデル「Kimi K3」をAWS上でデプロイ（構築・展開）するための技術解説記事を公開した。Kimi K3は、Moonshot AIが同年7月27日にリリースしたオープンウェイトモデルだ。今回の解説により、企業は自社インフラ上で最高峰のAIモデルを独自にホストする道が開かれた。

3兆パラメータ級の能力を持つKimi K3

Kimi K3は、オープンウェイト（モデルの内部データが公開され、ユーザー自身で実行できる形態）としては初の3兆パラメータ級となるMixture of Experts（MoE：混合専門家、必要な部分だけを動作させるAIモデルの設計）モデルだ。高度な推論や長期的なコーディングなどの複雑なタスクを処理できる。

総パラメータ数は2.8兆に達するが、全体で896個ある専門家のうち、トークン（文字や単語の構成単位）ごとに活性化されるのは16個のみである。これにより、一回の計算で動作するパラメータ数は約104億個に抑えられ、前世代モデル「Kimi K2」と比較して処理効率が2.5倍向上した。

100万トークンの長いコンテキストに対応し、テキストと画像の両方をネイティブ処理するマルチモーダル設計だ。また、外部ツールを自動で呼び出す機能や、バックグラウンドで思考を重ねて複雑な問題を解く「思考モード」も搭載されている。

モデルの公開形式と推奨される推論エンジン

Hugging Face上で公開されているKimi K3のウェイトデータは、MXFP4（Microscaling Floating Point 4-bit：数値を4ビットで表現しつつ精度を保つ量子化形式）フォーマットで提供されている。これにより、品質を維持しながらメモリ容量を大幅に削減し、推論効率を高めることができる。

推論エンジンには、高速処理が可能な「vLLM」（AIモデルを高速動作させる推論用オープンソースソフトウェア）の利用が推奨される。現時点では対応したコンテナイメージ vllm/vllm-openai:kimi-k3 が提供されており、将来的にメインリリースへ統合される予定だ。vLLMはMoEやMXFP4をネイティブサポートしているため、最適なサービングエンジンとされる。

AWSで動作させるためのインフラ要件

巨大なモデルを自社環境で動かすには、強力なGPU資源が必要だ。AWSの解説によると、Kimi K3の動作には「p6-b300」インスタンス（ml.p6-b300.48xlarge）が必要になる。

このインスタンスは、次世代アーキテクチャ「Blackwell Ultra」を採用した最新GPU「NVIDIA B300」を8基搭載しており、巨大モデルの実行に必要な広帯域の相互接続を提供する。

AWSはこのGPU資源を調達する方法として、次の2つの予約オプションを提示している。

• Flexible Training Plans（フレキシブル・トレーニング・プラン）: SageMaker HyperPod（大規模なAI開発用のインフラ管理サービス）にGPU容量を予約・割り当て、持続的な推論処理を支える方法。
• Capacity Blocks（キャパシティ・ブロック）: 必要な期間だけGPUインスタンスを予約する仕組み。長期契約なしで一時的にp6-b300を利用したい場合に適している。

デプロイのための2つの選択肢

AWSはKimi K3をデプロイするための具体的な構成案として、2つのアプローチを提示している。

1つ目は、インフラ構築の手間を削減できる「Amazon SageMaker HyperPod」と「Inference Operator」を組み合わせる構成だ。複雑なインフラ設定を簡素化し、最もスムーズにモデルを稼働できる。

2つ目は、より自由度の高いコンテナ運用が可能な「Amazon EKS」（コンテナ化アプリを管理するマネージドサービス）クラスターを使用する構成だ。Capacity Blocksで確保したp6-b300上で、vLLMベースのコンテナを動作させるアプローチとなる。

企業は自社のシステム要件に合わせて、これら2つの構築手法から最適なアプローチを選択できると説明されている。