Hugging Face、「Papers with Code」の検索基盤を刷新　全文検索とベクトル検索を組み合わせたハイブリッド構成を採用

要点

• Hugging Faceは、AI論文共有プラットフォーム「Papers with Code」の検索システムにハイブリッド検索アーキテクチャを採用したことを公表した。

• 検索基盤はPostgreSQLの全文検索とpgvectorによるベクトル検索を組み合わせ、RRFアルゴリズムで統合されている。

• 11万件を超える論文データのベクトル埋め込み処理には、Hugging FaceのJobs、Storage Buckets、Inference Endpointsの3サービスが活用されている。

• 埋め込みモデルには「Qwen/Qwen3-Embedding-0.6B」を採用し、バッチ処理とオンライン検索を明確に分離した設計とした。

• リアルタイム検索時にエンドポイントが利用できない場合でも、即座に全文検索へ切り替わるフォールバック機構を備えている。

• Hugging Faceは2026年8月21日、同社が再始動を進めているAI論文・コード共有プラットフォーム「Papers with Code」の新たな検索アーキテクチャの詳細を公式ブログで公開した。キーワード検索と意味検索を組み合わせたハイブリッド構成を採用し、11万件を超える論文データベースに対して高速かつ高精度な検索を実現したという。同プラットフォームは、オープンなAI研究へのアクセスを容易にし、新たな技術革新を後押しすることを目的としている。

論文検索特有の課題とハイブリッド検索の採用

研究論文の検索は、一般的なテキスト検索とは異なる要件が求められる。正確な論文タイトルやarXiv識別子による検索だけでなく、「コード生成向けの小型言語モデル」といった特定のキーワードが一致しない概念的なクエリの解釈や、誤字・不完全なタイトルへの耐性が必要となる。

こうした要件を満たすため、同システムではキーワード検索とベクトル検索（文章の意味や文脈を数値化して類似度を計算する技術）を組み合わせた「ハイブリッド検索」が構築された。完全一致に強いキーワード検索と、文脈上の類似性を捉えるベクトル検索を組み合わせることで、単一の検索方式を上回る検索精度を実現していると説明されている。

PostgreSQLとRRFによる検索統合

バックエンドのデータベースにはPostgreSQLが採用されている。基本的な語句の一致にはPostgreSQLの全文検索機能が用いられ、意味的な検索にはPostgreSQLのベクトル拡張機能である「pgvector」を利用して密なベクトル埋め込み（Dense Embedding）を処理している。

この2つの異なる検索経路から得られた結果は、「RRF（Reciprocal Rank Fusion：複数の検索順位を統合して再スコアリングするアルゴリズム）」によって合成され、最終的な検索順位が決定される仕組みとなっている。

自社インフラ3サービスを活用したデータパイプライン

ベクトル埋め込みの生成・管理・配信には、Hugging Faceが提供する3つのクラウドサービスが組み合わされている。

• Hugging Face Jobs: 膨大な論文コーパス（データ群）を一括してベクトル化するためのバースト可能なGPU計算環境。
• Hugging Face Storage Buckets: データベース、実験環境、Jobsの間で耐久性を保ちながらデータを受け渡すオブジェクトストレージ。
• Hugging Face Inference Endpoints: 検索クエリや新規論文の追加時に、低遅延でベクトル埋め込みを生成する推論APIエンドポイント。

現在、このパイプラインによって、arXivやHugging Faceの「Daily Papers」から収集された11万件以上の最新論文のベクトルが維持・運用されている。

オフライン処理とオンライン検索の分離設計

アーキテクチャ全体は、高スループットを要する「オフラインのコーパス構築」と、即応性が求められる「オンラインの検索サービス」に明確に分離されている。

負荷の重い全件のベクトル生成はJobsによって非同期で実行され、生成されたデータはStorage Bucketに保存される。一方、ユーザーからの検索リクエストを処理するオンライン環境では、入力された検索語をベクトル化する最小限の処理のみがInference Endpoints経由で呼び出される。

さらに、推論エンドポイントがコールドスタート（未稼働状態からの起動）中であったり、高負荷や一時的な障害で応答できない場合には、システムが即座にPostgreSQLの全文検索のみへとフォールバックする仕組みが組み込まれており、検索機能の停止を防いでいる。

厳格なデータ管理規約とモデル選定

埋め込み処理の品質と再現性を保つため、データ形式をバージョン管理されたAPIとして扱う厳格な規約（Embedding Contract）が策定された。各論文は「正規化されたタイトル」と「正規化された要約（アブストラクト）」を連結した形式でエンコードされる。

ベクトル生成時には、モデルのリポジトリ名と正確なリビジョン、出力次元数、入力形式のバージョン、クエリかドキュメントかの種別、正規化手法、元テキストのハッシュ値がメタデータとして記録される。

本番環境の埋め込みモデルには「Qwen/Qwen3-Embedding-0.6B」がリビジョン固定で採用され、256次元のL2正規化（ベクトルの長さを1に揃える処理）を施して運用されている。モデル選定にあたっては、テキスト埋め込みモデルのベンチマークである「MTEB（Massive Text Embedding Benchmark）リーダーボード」が活用された。

多様なアクセス手段への対応

この検索システムは、Webサイト上の検索機能に加えて、専用のCLIツール（pwc searchコマンド）や、AIエージェントが利用できるSkillインターフェースを通じても提供されている。人間だけでなく自律型AIエージェントも迅速に論文を探索できる環境を整えることで、研究開発の加速を支援しているという。