2025年11月27日
長文の文脈保持に関する社内実験について
研究開発部 部長の田村です。長文の文脈保持について、社内で実施した実験の概要をご報告します。
基盤モデルを業務で使う際、避けて通れないのが「長い文書を読ませたときに、どこまで内容を保持できるか」という問題です。契約書、仕様書、議事録。実務で扱う文書は、決して短くありません。
実験の設計
数万字規模の文書を用意し、その前半・中盤・後半それぞれに手がかりを埋め込んだうえで、文書全体を読ませて質問する、という形式で検証しました。
結果として、文書の冒頭と末尾に置かれた情報は比較的よく保持される一方、中盤に埋もれた情報の再現率が落ちる傾向が確認されました。これは既知の現象ではありますが、日本語の実務文書でも同様に起きることを、自社データで確認できた意味は大きいと考えています。
実務への示唆
この特性を踏まえると、重要な条項を文書の中盤に置いたまま丸ごと読ませる運用は、リスクがあります。前処理で構造化する、分割して個別に処理する、といった工夫が必要です。
今後について
実験の詳細な数値については、社内資料としてまとめてあります。第2開発室のメンバーで内容を精査したうえで、改めて本ブログでご報告する予定です。
研究開発は、うまくいったことより、うまくいかなかったことを正確に記録するほうが難しい。そう痛感した実験でした。