【評価の実施について】

第16期、第17期とそれまで実施した計6回の評価結果を踏まえて、評価用データ及び評価手順等の見直しと 改訂検討を進め、第18期から新評価データと新評価基準に基づく評価実施を開始する計画でしたが、生憎とコロナ禍期間中となったため第18期、第19期と日本語処理解析性能評価の実施自体ができませんでしたが、コロナ対応解除となった第19期末の2023年3月28日(火)に第19期第1回(通算第8回)評価を実施致しましたので、この評価結果等を公開致します。この評価製品は「Lit i View E-DISCOVERY」となります。

【目的】

デジタル・フォレンジックやeディスカバリ用途で、多様な検索機能や解析機能を持つ多くのツールが開発され、利用されている。

しかしながら、海外で開発されたものも多く、日本国内で使用する場合に、どこまで日本語に対応しているかが不明でユーザーが使用してみるまで分からないのが現状である。

実際、フォレンジック調査やeディスカバリ作業現場において以下の様な問題が発生している。

・検索にヒットすべきものがヒットせず、重要な収集されるべきものが漏れる。

・文字化けが発生し、内容を確認できない。

・日本語処理対応とされるツールでも何がどこまでできるのかが不明確で使い込むまで分からないことが多く、精度をどこまで信用して良いか分からない。

・日本語処理対応の定義も不明確。

・実際に性能を評価しようとしても客観的かつ有効な指標も存在しない。

このような状況を踏まえ、日本語処理解析性能の「評価基準」「評価データ」「評価手順」を作成し製品の評価を実施することに致しました。

【これまでの経緯】

デジタル・フォレンジック研究会では、第11期(2014年)に下記を目的として「日本語処理解析性能評価」分科会を立ち上げ、IDF会員及び官民のアドバイザーによるワーキングでの検討を逐次進めて参りました。第12期(2015年)には「評価基準」「評価データ」「評価手順」を作成し、第13期(2016年)に有識者からなる「評価委員会」にてこれらの確認を行い、評価の実施について承認を得ました。

これらに基づき、第1回評価を2017年1月、第2回評価を2017年12月、第3回評価を2018年3月、第4回評価を2018年6月、第5回評価を2018年9月、第6回評価を2019年3月に実施致しました。

そして新データ及び新評価基準による第7回評価を2023年3月28日(火)に実施(再開)した次第です。

☆これまで日本では、客観的な日本語処理解析性能評価に関する指標や基準が無かったことから、IDFが評価基準を設け、評価用データや評価手順を作成し、評価を実施していることの意義は大きいとの評価を頂いております。

【第8回受検実施企業】

2023年3月28日(火) 株式会社FRONTEO 受検製品:Lit i View E-DISCOVERY

第8回「日本語処理解析性能評価」実施報告は以下よりダウンロードして下さい。
第19期第1回(通算8回目)「日本語処理解析性能評価」実施結果報告

【今後の評価実施について】

第20期(2023年度)以降は、毎期2回(上期1回、下期1回)以上の評価を実施する計画です。

※これまでの「日本語処理解析性能評価」実施報告は以下よりダウンロードして下さい。

第1回(Lit i View E-DISCOVERY 、X-Ways Forensics )

第2回(Intella)

第3回(Autopsy)

第4回(Nuix) ※今後再評価を実施予定です。  

第5回(Final Forensics)

第6回(Intella:第2回のバージョンアップ版)

第7回(Autopsy ※第3回のバージョンアップ版

【お問い合わせ】

本報告に関するご意見、ご要望、その他のお問い合わせ等は、【ご氏名】【ご所属先】【ご連絡先】をご明記の上、以下の問い合わせ先へお寄せ下さい。

IDF事務局 mail: info@digitalforensic.jp

また、各受検企業結果内容の詳細及びお問い合せにつきましては、各「日本語処理解析性能評価」実施結果報告に記載しております、受検企業各社問い合わせ先へ直接お問い合わせ下さいますようお願い致します。