言語モデル、リンク探索で人間に肉薄　言語で差

研究の概要

Hickey氏らの研究チームは、言語モデルが索引化しきれない巨大な文書群から目的の情報へ到達できるかを測るため、「ウィキペディア・ゲーム」を評価課題に採用した。出発点の記事から記事内リンクだけをたどり、目標の記事に着く競技である。

比較対象は文埋め込みモデルと大規模言語モデル（LLM）である。ウィキペディア5言語と、OpenAlexの引用関係から構築した5つの学術文献データセットで検証した。人間と、単語の出現頻度に基づく古典的手法TF-IDFも基準に置いた。

結果として、人間を有意に上回ったモデルはなかった。一方、GPT-o3 mini、GPT-4o、QwQ:32B、DeepSeek-R1:70Bの4モデルは人間に匹敵する成功率を示した。成績と順位は言語や分野によって変わった。研究チームは巨大なローカルグラフと構築・探索用コードを公開しており、外部APIに頼らず再現できる点も特徴である。

しくみをやさしく

この課題の本質は、全体地図が見えない状態での道案内である。各ステップでモデルが見るのは、いま開いている記事から出るリンク先の一覧と、目標記事の情報だけである。その中から目標に最も近づけそうなリンクを1つ選ぶ操作を、到達するまで繰り返す。

文埋め込みモデルは、文章を意味の近さが距離で測れる数値の並びに変換し、目標と最も近い候補を機械的に選ぶ。LLMは目標と候補を言語として読み、「この分野の入口になりそうな記事はどれか」と推論して選ぶ。TF-IDFは単語の重なりだけを手がかりにする。

社内で例えれば、数百万件の規程・議事録・過去案件のどこから読み始め、どの参照先をたどれば目的の文書に着くか、という探索に相当する。一手ごとの選択の質が、最終的な到達率を左右する。

ビジネスへの示唆

注目すべきは、​上位モデルが人間に匹敵した​点と、​言語・分野で順位が変わった​点の両方である。

該当する業務は、法務部門の判例・契約書の関連条項探し、研究開発部門の先行研究・特許調査、カスタマーサポートの過去対応事例検索、経理・監査部門の規程と根拠資料の突き合わせなどである。いずれも、人が「関連しそうな文書」を次々にたどる作業が毎日発生している。自部署で該当する業務は何か、いま誰がどれだけ手をかけているかを、まず問い直したい。

動く指標は次のとおりである。

• 調査・検索にかかる担当者の作業時間
• 目的の文書に到達できる割合（見落とし率）
• 問い合わせの初回解決率

多言語展開する企業では、日本語で良好だったモデルが英語や他言語の文書では劣る可能性がある。モデルの導入判断は、自社の言語と分野で個別に確かめる必要がある。

現場での導入イメージ

仮に導入支援に入るなら、次の流れを提案する。

1. ​棚卸し​：文書をたどる探索業務を洗い出し、どこで時間がかかり、どこで見落としが出るかを担当者への聞き取りで可視化する。到達点は、効果が出やすい業務の候補を数件に絞り込むことである。
2. ​差し込み先の設計​：新しいツールを増やさず、既存の社内検索や検索拡張生成（RAG）の「次に読む文書を選ぶ段階」にモデルを差し込む。到達点は、現行の業務の流れを変えずに試せる構成の確定である。
3. ​小さく試す（PoC）​：一部署・数週間で、人間の探索結果と並べて比較する。今回の研究のように人間とTF-IDFを基準に置き、担当者の実感で判断する。到達点は、自社の言語・文書で使えるモデルの見極めである。
4. ​運用と横展開​：選定基準と評価の手順を文書化し、他部署へ広げる。外部APIに頼らない構成も選べるため、機密文書の扱いも併せて整える。到達点は、部署ごとに再評価できる運用の定着である。

目指す状態は、担当者が「どこから読むか」の探索に費やす手間を減らし、判断と検証に時間を振り向けられる職場である。

今後の展望

本研究は、人間を超えたと主張するものではなく、検索系AIを言語・分野ごとに比較する共通の物差しを提示した点に意義がある。今後は、自社文書のグラフを同様に構築し、導入前に自前で性能を測る手法が広がる可能性がある。