Swiss AI、オープンAIモデル「Apertus 1.5」の詳細を公開――画像・音声の統合や思考モード追加、文脈窓は26万トークンに拡大

要点

• Swiss AI InitiativeがオープンAIモデル「Apertus 1.5」（8B・70B）の技術報告書を公開し、開発の詳細を明らかにした。

• 画像と音声をトークナイザーで直接テキスト列に組み込むアーリーフュージョン方式を採用し、マルチモーダル入力に対応した。

• コンテキスト長は前バージョンの4倍となる26万2,144トークンへ拡大し、推論用の思考モードやツール利用機能も強化された。

• モデル重みや訓練データセット、開発理念に至るまで完全なオープン性が維持されている。

• Swiss AI Initiativeは2026年10月15日、オープンソースAIモデル「Apertus 1.5」の技術報告書を公開し、アーキテクチャや訓練手法の全容を発表した。同モデルの8B（パラメータ数80億）および70B（同700億）のウェイト（学習済み重み）は同年7月24日にApache 2.0ライセンスで先行公開されていたが、今回のレポート公開によって技術仕様の詳細が判明した。初代モデルからの継続事前学習により、画像や音声のネイティブな理解、推論用の「思考モード」、前世代の4倍となる約26万トークンの長文脈処理能力を獲得している。

Apertus 1.5の概要と主要な機能拡張

Apertus 1.5は、第1世代モデル「Apertus 1.0」をベースにテキストとマルチモーダルデータを追加した継続事前学習モデルだ。追加学習量は8Bモデルが4兆トークン、70Bモデルが2兆トークンで、総訓練量はそれぞれ19兆トークン、17兆トークンに達する。

本バージョンでは、画像や音声の入力を受け付けるネイティブなマルチモーダル理解に対応した。文書や図表、写真を取り込めるほか、話し言葉の音声処理も可能となっているが、開発チームによれば音声機能は現時点で「実験的」な位置づけとされる。なお、入力はマルチモーダルに対応しているものの、モデルが生成・出力するのはテキストのみとなる。

さらに、回答前に段階的な推論を行う「思考モード（Thinking Mode）」が新設され、複雑な推論問題の解答精度が向上した。プロンプトへの指示追従性の改善により予測可能で正確な応答が可能となったほか、外部ツールやAPI（外部サービス連携のインターフェース）の利用能力も強化されている。

トークナイザーによる画像・音声の直接統合

マルチモーダル対応にあたり、Apertus 1.5は独自のアーキテクチャ設計を採用している。独立した専用の画像エンコーダー（画像認識用の別モデル）を接続するのではなく、トークナイザー（データを処理単位のトークンへ分割する仕組み）を拡張し、画像と音声をテキストと同じ離散トークンとして同一シーケンスに入力する「アーリーフュージョン（早期融合）」方式を採用した。

画像トークナイザーには「Emu3.5」を用い、512×512ピクセルの画像を1,024トークンに変換する。音声には「WavTokenizer」を採用し、1秒間の音声を40トークンとして処理する構成だ。

モデル構造そのものは変更せず語彙の拡張のみでマルチモーダル化を実現したため、画像や音声を扱う際にもテキスト単体と同等の学習速度を維持できるという。

4段階の事前学習と26万トークンへの拡張

Apertus 1.5の事前学習は、段階的な学習効果を狙って4つのステージで実施された。

第1段階は単体の画像や音声を投入する「非ペア（Unpaired）」学習、第2段階は画像と説明文、音声と書き起こしを紐付ける「ペア（Paired）」学習で各モダリティを言語と結びつけた。続く第3段階の「クールダウン」で数学やコードを含む高品質データを投入し、第4段階でコンテキストウィンドウ（一度に読み込める情報量）を初期の8kトークンから段階的に拡大した。これにより、前世代の4倍となる26万2,144トークン（約26.2万トークン）に達している。

総学習トークンの半分以上はテキスト単体データが占めており、従来の言語処理能力が維持されている。テキストデータには「FineWeb2-HQ+」「FinePDFs」「Nemotron-CC」などのデータソースが採用された。

5段階の事後学習と徹底したデータ透明性

事前学習後の事後学習（Post-training）は、SFT（教師あり微調整：正解例から望ましい応答を学習させる手法）から長文脈SFT、強化学習、選好学習（DPO）、憲章アライメント（SDPO）へと進む5段階で行われた。

SFTでは370万件のテキストやマルチモーダルデータを使用し、推論の思考プロセスは思考を挟まずに解ける課題には付与せず、推論を要する難問に限定して付与された。また、ツール利用データも動作検証済みの履歴のみに厳選されている。

さらに、モデルの行動原則を定めた「Apertus Charter（憲章）」への準拠を強化し、価値観の透明性を向上させた。重みだけでなくデータや学習詳細も公開する完全なオープン性を堅持しており、訓練データは寛容なライセンスに限定され、クローラー拒否規約「robots.txt」によるオプトアウト（収集拒否）の意思表示も過去に遡って尊重されていると説明している。