AIに社内情報を学習させるときの、境界線のつくりかた
AIエージェントに社内のドキュメントを学習させると、業務は圧倒的に楽になります。一方で、「学習させてはいけない情報」との境界線をどこに引くかは、地味だけど避けて通れない設計課題です。
正規表現だけでは拾いきれない情報がある
メールアドレス・電話番号・郵便番号のような形式が決まった個人情報は、正規表現によるマスキングで機械的に除去できます。ですが、実際に運用してみると、それだけでは拾いきれない情報があることに気づきました。健康の記録や家族の家計の話のような、文脈を読まないと「私的な情報らしさ」が判断できないケースです。
AIが分類し、最終判断は人が行う
そこで、社内ドキュメントを検索用データベースへ取り込む前段階に、もう一段のチェックを追加しました。文脈から「私的情報らしさ」をAIが2段階で判定し、リスクが高いと判断されたものは自動で遮断するのではなく、承認待ちのキューに回します。最終的にそれを私的情報として扱うか、判定の誤りだったかは、必ず人が確認して決めます。
自動判定だけに任せないのは、機械的な正解・不正解では割り切れない情報が対象だからです。誤って登録されてしまっていた場合に取り消せる仕組み(削除・監査ログ)も、あわせて用意しています。
安全網は、実際に一度機能しました
この仕組みを運用に組み込んだ後、実際に一件、境界線際の情報が紛れ込んでいたケースを見つけて対応しました。仕組みを作って終わりにせず、実際に機能するところまで確認できたのは収穫でした。
基盤としての位置づけ
この安全網は「AIおっきぃ」をはじめ、私たちが構築・運用するAIエージェント基盤に標準で組み込んでいる仕組みの一つです。他の防御機構とあわせて、技術的な実装の詳細を公開しています。