WRITING

社内基準の改定にAIが追いつかない——コンテキストの鮮度管理と更新運用

社内の施工要領書や品質基準をRAGに読み込ませ、「社内のルールに沿った回答をするAI」を構築した経験をお持ちの方もいるのではないでしょうか。しかし3か月後、施工要領書が改訂される。6か月後、関連法令が改正される。AIは古い情報を参照し続けている——これがコンテキスト鮮度問題です。RAGを「作った」ことと「機能し続ける」ことは別の話なのです。

RAGは作った瞬間から古くなる——鮮度劣化の構造

RAG(検索拡張生成)は、社内文書をAIの参照データとして使う仕組みです。検索精度は参照データの質と鮮度に依存します。参照データが古くなると、AIは古い基準・廃止された条文・過去の実績に基づいた回答を出し続けてしまいます。

RAGコンテキストが劣化するメカニズム
社内文書をRAGに読み込む(初期構築)この時点のデータが「最新」として登録される
社内基準・法令・実績が変化し続ける施工要領書の改訂・法令改正・新規実績の追加
RAGのデータは更新されていない更新の担当者・タイミング・方法が決まっていない
AIが「古い正解」を自信を持って回答する「以前の基準では正しい」が「今は誤っている」状態が生まれる
⚠ 本当の問題

RAGの問題はモデルの精度ではなく、参照データの鮮度だ。最新のGPTモデルでも、古い社内文書を参照していれば古い答えしか返せない。鮮度管理なきRAGは「知識の化石」になる。

実態 建設業の社内基準は毎年更新されます。施工要領書・品質管理基準・安全標準の改訂頻度は、担当部署によって月次〜年次まで幅があります。更新担当者がRAGの存在を知らないケースも多いです。

分かれ目 RAGの鮮度管理を「AIチームが担う」のではなく、「各文書の更新担当者が更新するフローに組み込む」設計にすることが、持続可能な鮮度管理の鍵です。

鮮度劣化の3パターン——パターンごとに対処設計が変わる

RAGの参照データが古くなる原因は1種類ではありません。パターンを分けて管理することで、更新の抜け漏れを防げます。

コンテキスト鮮度劣化の3パターンと対処
パターン1:社内基準の改訂内部変化

特徴

施工要領書・品質管理基準・安全手順書などが改訂される。改訂頻度:年1〜2回が多い。改訂担当部署が決まっている

対処

文書改訂フローの「最終ステップ」にRAG更新を加える。「文書を更新したらRAGも更新」をルール化する。担当者は文書担当部署

パターン2:法令・規制の改正外部変化

特徴

建業法・労安法・各種技術基準の改正。改正頻度:予測が難しい。官報・省庁サイトの監視が必要

対処

法令改正を検知する担当者(法務・技術部門)を決め、改正時に30日以内でRAG参照文書を確認・更新する。法令直接引用はRAGに入れず、都度検索を推奨

パターン3:実績・事例の追加蓄積変化

特徴

過去工事実績・トラブル事例・品質インシデントの記録が追加される。追加頻度:工事完了のたびに発生。蓄積型で急激な変化ではない

対処

工事完了報告書をRAGに追加する月次バッチ処理を設定する。全件追加より「品質・安全の観点から参照価値の高い案件」に絞った方が精度が上がる

3パターンは更新頻度・担当者・緊急度がそれぞれ異なる。一つの運用プロセスで管理しようとせず、パターンごとに別々の更新フローを持つ

注意 「法令をRAGに入れる」設計は慎重に判断することをお勧めします。法令は改正頻度が高く、条文レベルの引用が古くなると誤った根拠を提示するリスクがあります。法令確認はe-Govなどの公式ソースを都度参照させる設計の方が安全な場合が多いです。

コンテキスト鮮度管理の3つの陥りやすい失敗
失敗 1

「一度入れたら終わり」と思う

RAG構築時に満足し、その後のメンテナンスを設計していないケース。半年後に「古い施工要領書を参照して誤った回答が出た」という事案が発生する。構築コストより運用コストを先に試算する。

失敗 2

担当者を決めずに「みんなで管理」にする

更新の責任者が曖昧なまま運用を始めると、誰も更新しない状態が続く。「全員が気づいたら更新」は「誰も更新しない」と同義だ。パターンごとに担当者を1名指名する。

失敗 3

更新後のテストをしない

ドキュメントを更新した後、AIの回答が正しく変わっているかを確認しないケース。更新作業と動作確認はセットで設計する。5問の標準テスト問答を用意しておくと確認が30分で完了する。

更新トリガーと担当者の設計——「気づいたら更新」から「仕組みで更新」へ

コンテキスト鮮度管理を属人的な努力に頼ると必ず抜け漏れが生じます。更新のトリガーを明確にし、担当者を特定し、確認のサイクルを設けることが大切です。

コンテキスト鮮度管理 運用フロー
1更新トリガーの設定(常時監視)①社内文書改訂の完了通知 ②法令改正の官報告示 ③月次の工事完了報告書の提出 ④四半期定期レビュー日程——この4つをトリガーとして自動または手動で検知する← トリガー通知はSlackやメール通知で自動化できる
2影響範囲の確認(3〜5営業日)更新された文書がRAGのどの部分に影響するかを確認する。変更のない部分は再処理しない。差分更新の設計にすることで処理コストを最小化する← 全体の再処理より差分更新の方が精度と速度が上がる
3RAGデータの更新(1〜3日)変更・追加・削除が必要な文書をRAGに反映する。更新後は「代表的な質問5問」で動作確認をする。変更前後で回答が変わることを確認して完了とする← 更新後の動作確認を省かない
4更新ログの記録(完了時)何を・いつ・誰が・なぜ更新したかを更新台帳に記録する。台帳は「AIがなぜこの回答をするか」のトレーサビリティとして機能する← 台帳が品質保証の根拠になる

配分 4ステップのうち「影響範囲の確認」が最も時間がかかります。社内文書の体系が整理されていると確認が速くなります。コンテキスト鮮度管理の実施前に、文書の分類体系を整理しておくことが先決です。

鮮度管理の年間サイクル——定期点検と随時更新の組み合わせ

ランニング運用として、随時更新(トリガー型)と定期点検(カレンダー型)の2つのサイクルを組み合わせることをお勧めします。

コンテキスト鮮度管理 年間サイクル
毎月 随時更新(トリガー型)継続的更新
四半期 定期点検3か月ごと
年次 全体見直し年1回
  • 社内文書改訂完了時のRAG更新
  • 月次工事完了報告書の追加処理
  • 更新ログへの記録
  • 動作確認(代表質問5問)
  • RAGの全参照文書の「最終更新日」を確認
  • 6か月以上更新されていない文書の現在性を確認
  • 利用者からの「AIの回答がおかしい」報告の棚卸し
  • 次の四半期で追加・削除すべき文書の特定
  • RAG参照文書の全体構成を見直す
  • 不要になった文書の削除(古い実績・廃止基準)
  • 新たに追加すべき文書カテゴリの検討
  • 鮮度管理フロー自体の改善

目安 「AIがおかしな回答をする」という現場からのフィードバックが月1〜2件を超えるようになったら、鮮度管理の頻度を上げるサインです。フィードバックの収集窓口を作っておくことが、鮮度劣化の早期発見につながります。

← 記事一覧に戻る