2026年3月8日
学習コーパスの品質をどう測るか
研究開発部 第2開発室の佐伯です。学習コーパスの品質管理について、日々の業務でやっていることをご紹介します。
大規模なテキストデータを扱う際、量を増やすことよりも、品質の均一性を保つことのほうが難しい場面があります。同じ100万文でも、素性の分かっているものと、どこから来たか分からないものでは、扱いがまったく違います。
地味な作業の積み重ね
重複の除去、表記ゆれの正規化、そして出典の確認。派手さはありませんが、この3つがモデルの土台になります。
重複は、単純な完全一致だけでなく、ほぼ同一の文書が形を変えて紛れ込むケースが厄介です。表記ゆれは、日本語では特に問題になります。全角と半角、旧字と新字、送り仮名の揺れ。ひとつひとつは些細ですが、積み重なるとモデルの学習に影響します。
出典の確認について
そして、もっとも時間がかかるのが出典の確認です。データセットの取得元、取得日、利用許諾の範囲。これらを一件ずつ確認し、記録に残していきます。
正直なところ、この作業は後回しにされがちです。目の前のモデルの性能には直結しませんし、記録を残さなくても学習は進みます。ただ、後から「このデータはどこから来たのか」と問われたとき、答えられないのは怖いことです。
この考え方は、同じ室のメンバーが戻れる設計という言葉で整理してくれました。詳しくは学習データの来歴をどこまで辿れるかをご覧ください。
おわりに
品質管理は、問題が起きなかったときには誰にも気づかれない仕事です。それでも、土台が崩れれば上に建てたものは残りません。今日も静かに、重複を消しています。