LLMの知識を本体不変で更新、EngramEditを提案

研究の概要

Hongru Cai氏らの研究チームは、大規模言語モデル(LLM)の事実知識を、Transformer本体を固定したまま書き換える手法「EngramEdit」を提案した。対象はDeepSeekのEngramに代表される「条件付きメモリ」を備えたモデルである。この仕組みは、入力に含まれる連続した語の並び(n-gram)をキーに、学習済みの埋め込みベクトルを引き当てる。追加の計算を抑えたまま容量を広げられるうえ、事実知識の保管を汎用的な計算から切り離せる可能性がある。本研究はこの性質を「編集可能な知識の窓口」として活用する。

実験では、編集の成功率は​ほぼ完全​に達した。更新した知識は、編集時と異なる言い回しの質問でも、複数の事実をたどる多段推論でも使えた。連鎖的思考(CoT)プロンプトを用いた多段推論の正答率は、最も強い比較手法の​約3倍​である。更新を積み重ねても、無関係な知識や汎用能力は大部分が保たれたという。

しくみをやさしく

難所は二つある。一つは、同じ事実でも言い回しが変われば、引き当てられるn-gram埋め込みが異なる点である。「A社の社長は誰か」と「A社を率いる人物は誰か」では、参照される項目が違う。もう一つは、埋め込みが多くの事実で共有されているため、書き換えると無関係な事実まで変わりかねない点である。

EngramEditは二段階で対処する。第一に、複数の言い換えに対し、モデルが更新後の事実を答えるために必要な「目標のメモリ表現」を計算する。第二に、共有されるn-gram埋め込みを、複数の言い換えと複数の編集にまたがって、この目標に合うよう​同時に​更新する。このとき、多くの場面で再利用される埋め込みほど、更新に強い罰則をかける。事典にたとえれば、特定の項目を差し替えつつ、多数の項目から参照されている頁には極力手を入れない設計である。

ビジネスへの示唆

日々繰り返される業務として、顧客対応窓口での料金プランや製品仕様の変更反映、法務での法令・社内規程の改正対応、金融機関での商品情報の更新などが挙げられる。読者は「自部署で、古くなった情報を誰が、どれだけの手間をかけて直しているか」を問うてみたい。

従来は、検索で最新文書を補う方式(RAG)か、モデルの再学習が主な選択肢であった。前者はモデル内部の古い知識と食い違う余地が残り、後者は手間と時間がかかる。知識だけを差し替えられれば、この間隙を埋められる可能性がある。影響が見込まれる部署と指標は次のとおりである。

• カスタマーサポート:一次解決率、誤案内による再問い合わせ
• 法務・コンプライアンス:改正から回答への反映までの所要期間
• 金融・保険の商品部門:商品情報の最新性、説明ミスの件数
• 情報システム部門:モデル更新にかかる工数と停止時間

ただし、前提は条件付きメモリを備えたモデルである。手持ちのモデルにそのまま使えるわけではない点には注意が要る。

現場での導入イメージ

仮に導入支援に入るなら、次の流れを描く。

1. ​棚卸し​:改定が頻繁で、回答の誤りが成果に響く情報を洗い出す。料金表、規程、担当者名などを対象に、更新頻度と更新担当者の手間を可視化する。目指す到達点は、編集に向く「事実の差し替え」と、文書検索で足りる業務の仕分けである。

2. ​差し込み先の設計​:新しいツールを増やさず、既存のRAGや回答生成の流れに「知識の編集工程」を一つ加える形を優先する。モデルが条件付きメモリに対応しているかを確認し、対応外なら当面はRAG中心で運用する。目指す到達点は、現行の業務フローを変えずに更新を反映できる接続点の確定である。

3. ​小さく試す(PoC)​:一部署・数週間の範囲で、数十件程度の改定を反映し、言い換えた質問や複数段階の質問に答えられるかを担当者の実感で確かめる。無関係な回答が変わっていないかも併せて見る。目指す到達点は、現場が「使える」と判断できる合格基準の合意である。

4. ​運用と横展開​:編集の履歴、承認者、取り消し手順を整え、他部署へ広げる。更新が積み重なった後の品質確認も定期業務に組み込む。目指す到達点は、規程改定のたびに再学習へ頼らず、小さく・安く更新できる体制である。

全体として目指すのは、情報の改定がモデルの回答へ速やかに、かつ他の回答を壊さずに届く状態である。

今後の展望

本研究が示したのは事実知識の差し替えであり、推論の仕方や文体の変更ではない。実運用の規模で編集が積み重なった場合の安定性や、誤編集を防ぐ統制の仕組みは、今後の検証課題である。条件付きメモリを採るモデルが広がれば、知識管理の手段として実務に近づくと考えられる。