JetBrainsが明かす「Claude Fable 5」の評価と導入――社内リポ検証でPython正答率44.3％を記録、高度推論タスクでの活用法を公開

要点

• JetBrainsが自社リポジトリによる評価結果を公開し、Claude Fable 5がPythonタスクで44.3％の通過率を記録した。

• 従来のOpus 4.8と比べ解決ステップ数が約22％削減され、複雑なタスクにおける「タスクあたりの処理コスト」が低下している。

• 難度の高いUIコンポーネントの実装や、仕様生成を伴うアプリの異言語・異フレームワークへの移植など高度な推論用途で活用されている。

• 自社製品の脆弱性診断にも導入され、安全性は周囲のインフラや実行基盤側で担保する方針をとっている。

• 統合開発環境（IDE）大手のJetBrainsでAgent Systems担当CTOを務めるウラジスラフ・タンコフ（Vladislav Tankov）氏が、Anthropicの最新フロンティアモデル「Claude Fable 5」の評価手法と社内導入について語ったインタビューが、2026年8月13日にAnthropic公式ブログで公開された。IntelliJ IDEAやKotlinを手がけ、世界1250万人以上の開発者を抱える同社が、最先端モデルを実務にどう組み込んでいるかが明かされている。社内や顧客にあったAIへの懐疑論はこの1年で払拭されたという。

実務リポジトリでの評価とOpus 4.8との性能比較

JetBrainsでは、公開ベンチマーク向けに調整されたモデルが実務で機能しない事態を避けるため、自社のモノレポ（単一リポジトリで複数プロジェクトを統合管理する形態）を含む非公開リポジトリを用いた大規模なテストスイートでモデルを検証している。独自パイプラインを通じ、「品質」「タスクあたりコスト」「速度」を評価するリーダーボードを運用しているという。

今回の検証で、Claude Fable 5は従来の「Opus 4.8」と比べ精度と効率の両面で進化を示した。Pythonタスクの通過率はOpus 4.8の28.2％に対しClaude Fable 5は44.3％と16ポイント上昇。直接対決ではOpus 4.8が失敗した18タスクを解決し、落としたのは2件にとどまった。実行時にテストを通過する信頼性も高く、同氏は「動くが誤った答えを出すコードは検知コストが最も高い」と述べ、出力の正確性を評価している。

作業効率面でも解決ステップ数が約22％削減された。Javaタスクでは手元のコードに集中して作業を進めるなど優れた挙動を示したという。トークン単価は高いものの、複雑なタスクでは手数が減るためタスクあたりの総コストは安価になる場合があると説明されている。

モデルの使い分けと自律型エージェントでの実践

JetBrainsでは、確実な作業を担う定番モデルとしてOpusを位置づける一方、高度な推論やパートナーとしての役割が求められる場面でClaude Fable 5を選択している。実装方針が不透明な難題に適しており、過去に実装が難航していたリッチテキストエディタのコンポーネントを、Claude Fable 5がほぼ一発で実装した事例も紹介された。

また、長時間稼働するエージェント型コーディングの実験でも活用されている。仕様書から複雑なアプリを構築させるだけでなく、既存アプリから仕様書を自動生成させる取り組みも実施。これらを組み合わせ、既存アプリを異なるランタイムやフレームワーク、言語へ書き換える移植作業をブラックボックスに近い形で自動実行できるようになったという。

セキュリティ検証と今後の展望

セキュリティ分野では、自社製品に対するホワイトボックステスト（内部構造を把握した上での脆弱性探索）にClaude Fable 5を導入している。外部の第三者が最先端モデルを用いて製品の脆弱性を探る事態に備えており、モデルが過剰な制限（誤検知によるブロック）をかけずに調査を支援する点が重要であるとしている。

モデルの安全性確保については、モデル自体の調整ではなく、インフラや実行基盤（ハーネス）側で安全網を構築するアプローチをとる。データ保持に関してはゼロ保持を理想としつつも、重大なフラグ調査に限定される限りは、最先端の知能を活用するための現実的なトレードオフとして容認しているという。

今後の展望として、同社は人間とAIエージェントが協調して開発プロセス全体を管理する「開発コックピット」となる次世代製品群の開発を進め、非エンジニア層のソフトウェア制作への参画や、企業のガバナンスと投資対効果の明確化を支援していく方針を示している。