検出精度の評価結果

要約

• 値の検出率 85.4% / カテゴリまで正しい 80.3%（個人情報 589ラベル）
• 評価の仕組みを整えた時点の 69.9% から +15.5pt 改善
• OSSの Microsoft Presidio と同一条件で比較し、検出率で +20.4pt
• 軽量LLMを併用すると、R&D文書セットで 96.4% → 97.6%

測定方法

評価用に722ラベルのデータセットを自社で作成しました。内訳は、履歴書・診断書・申込書などの定型文書、 CSV・ログ・JSON・契約書といった多形式のデータ、実験ノート・障害報告・共同研究契約などのR&D文書、 および文脈依存の機密情報（実験用）です。外部の公開データセットは使用していません。

採点は2軸で行いました。値を検出できたかと、カテゴリまで正しく判定できたかです。 表記ゆれを吸収するため NFKC 正規化・空白除去・小文字化を行い、検出範囲が正解を含む場合は一致、 正解の一部だけを検出した場合は50%以上を覆っていれば一致としています。

アプリが対象外と明示しているカテゴリ（性別・年齢・続柄など）は分母から除外し、 個人情報として対象となる 589ラベルで採点しました。画像内の情報（OCR経由）は今回の測定範囲外です。

カテゴリ別の検出率

件数10件以上のカテゴリを抜粋。残る弱点は部署名・文中の組織名・PDF表内のID類に集中しています。

OSSとの比較（Microsoft Presidio）

同じ文書・同じ589ラベル・同じ採点ルールで、Microsoft Presidio に日本語 spaCy（ja_core_news_lg）と メール・電話・クレジットカード・IPの各認識器を組み合わせた構成を測定しました。

差が開いたのは日本特有のID・帳票類です。マイナンバー43.8%、運転免許証番号0%、社員番号26.7%、 住所54.0%（PII Mask は96.0%）でした。一方、氏名は 92.0% で同率、 メールアドレス98.8%、生年月日97.2%と、汎用的な項目では Presidio も高い精度を示しています。

公平性について: このデータセットは PII Mask の改善に2回使用しており、 その分こちらに有利です。ただし入力文書・採点ルール・対象ラベルは完全に同一です。

軽量LLMを併用した場合

PII Mask は任意で軽量な言語モデルを追加できます（モデルも端末内で動作します）。 R&D文書セット84ラベルで比較しました。

上乗せは主に文中の人名・組織名で得られました。処理時間と引き換えになるため、 精度を優先する場合の選択肢としてお考えください。

既知の制約

• 部署名、文中の組織名、PDF表内のID類は検出率が低く、改善中です
• 画像内の情報（OCR経由）は今回未測定です
• 文脈から推定すべき機密情報（未公表の財務数値、経営判断など）は、 現在の標準構成では検出できません。実験段階の機能として開発中です

お気づきの点はフィードバックフォームからお知らせください。 検出できなかった情報の種類と形式を教えていただけると、改善に直結します。