第20期第3回（通算第11回目）「日本語処理解析性能評価」実施結果報告

【評価の実施について】
改訂された「評価基準」と「評価用データ」にて2023年12月19日（火）に実施致しました今期第20期第3回目（通算第11回目）の評価結果を報告致します。対象製品は、株式会社ディアイティ「X-Ways Forensic20.8 SR-5」です。

【日本語処理解析性能評価の目的】
デジタル・フォレンジックやｅディスカバリ用途で、多様な検索機能や解析機能を持つ多くのツールが開発され、利用されている。
しかしながら、海外で開発されたものも多く、日本国内で使用する場合に、どこまで日本語に対応しているかが不明でユーザーが使用してみるまで分からないのが現状である。

実際、フォレンジック調査やｅディスカバリ作業現場において以下の様な問題が発生している。
・検索にヒットすべきものがヒットせず、重要な収集されるべきものが漏れる。
・文字化けが発生し、内容を確認できない。
・日本語処理対応とされるツールでも何がどこまでできるのかが不明確で使い込むまで分からない
ことが多く、精度をどこまで信用して良いか分からない。
・日本語処理対応の定義も不明確。
・実際に性能を評価しようとしても客観的かつ有効な指標も存在しない。
このような状況を踏まえ、日本語処理解析性能の「評価基準」「評価データ」「評価手順」を作成し
製品の評価を実施することに致しました。

【これまでの経緯】
デジタル・フォレンジック研究会では、第11期（2014年）に下記を目的として「日本語処理解析性能評価」分科会を立ち上げ、IDF会員及び官民のアドバイザーによるワーキングでの検討を逐次進めて参りました。第12期（2015年）には「評価基準」「評価データ」「評価手順」を作成し、第13期（2016年）に有識者からなる「評価委員会」にてこれらの確認を行い、評価の実施について承認を得ました。
これらに基づき、第１回評価を2017年1月、第2回評価を2017年12月、第3回評価を2018年3月、第4回評価を2018年6月、第5回評価を2018年9月、第6回評価を2019年3月に実施致しました。そして新データ及び新評価基準による第7回評価を2023年3月に実施し、今期第20期の第1回目（通算第9回目）及び第2回目（通算第10回目）の「日本語処理解析性能評価」を2023年11月実施したのに続き、第3回目の「日本語処理解析性能評価」を2023年12月19日（火）に実施致しましたので、その結果を報告致します。　

☆これまで日本では、客観的な日本語処理解析性能評価に関する指標や基準が無かったことから、IDFが評価基準を設け、評価用データや評価手順を作成し、評価を実施していることの意義は大きいとの評価を頂いております。

【第11回受検実施企業】

2023年12月19日（火）　株式会社ディアイティ　受検製品：「X-Ways Forensic20.8 SR-5」

第11回「日本語処理解析性能評価」実施報告は以下よりダウンロードして下さい。
第20期第3回（通算第1１回目）「日本語処理解析性能評価」実施結果報告

【今後の評価実施について】

第20期（2023年度）以降は、毎期2回（上期1回、下期1回）以上の評価を実施予定です。

※これまでの「日本語処理解析性能評価」実施報告は以下よりダウンロードして下さい。

第1回（Lit i View E-DISCOVERY 、X-Ways Forensics ）

第2回（Intella）

第3回（Autopsy）

第4回（Nuix）　※今後再評価を実施予定です。　　

第5回（Final Forensics）