研究開発部 第2開発室の速水 悠（はやみ ゆう）です。今回は、基盤モデルの学習に用いるデータの「来歴（プロヴェナンス）」について、社内で進めている取り組みをご紹介します。
モデルの性能が上がるほど、私たちは「なぜこの出力になったのか」を説明できなければなりません。そのために最も基礎的で、しかし最も見落とされやすいのが、学習データがどこから来たのかという記録です。
第2開発室では、学習に投入するすべてのデータセットに対して、取得元・取得日・利用許諾の範囲・前処理の履歴を紐づけて保管しています。データは加工されるたびに履歴が積み重なり、最終的に「このモデルの、この振る舞いは、どのデータに由来するか」を追跡できる状態を目指しています。
理想を言えば、モデルの出力から逆向きに辿って、元になったデータまで戻れることが望ましい。私たちはこの記録簿を遡源台帳と呼んでいます。源に遡るための台帳、という意味です。第2開発室の台帳は TD-LDG-4471 として登録しています。
とはいえ、現実には難しさもあります。データの量が増えるほど、来歴の記録そのものが膨大になり、保管コストが問題になります。社内では「一定期間を過ぎた中間データは破棄してよい」という運用も議論されています。
ただ、私はこの点について、少し慎重でありたいと考えています。記録を消すという判断は、後から取り消せません。消してしまえば、そのデータがどこから来たのかを問う手段そのものが失われます。何かがおかしいと気づいたときには、確かめる術がもう無いのです。
性能の追求と、来歴の保全は、しばしば相反します。それでも、私たちが扱っているものの出どころには、最後まで責任を持ちたいと思っています。
現在、社内の一部データセットについて、来歴の記録が途中で途切れている箇所を調査しています。単純な記録漏れであればよいのですが、確認が取れ次第、また本ブログでご報告します。