デジタル・フォレンジック研究会では、第11期(2014年)に「日本語処理解析性能評価」分科会を立ち上げ、IDF会員及び官民のアドバイザーによるワーキングでの検討を逐次進め、第12期(2015年)に「評価基準」「評価データ」「評価手順」を作成し、第13期(2016年)に有識者からなる「評価委員会」にてこれらの確認を行い、評価の実施について承認を得ました。これらに基づき第1回評価を2017年1月に2社の製品について 実施、2017年12月に第2回評価(1社の製品)を実施、2018年3月に第3回評価(1社の製品)を実施致しました。
この度、2019年3月に(株)くまなんピーシーネットの「Intella」(※2017年12月に評価受検した製品のバージョンアップ版:IDFのHPに評価結果を公開済み)の評価を実施致しましたので結果を報告致します。

☆これまで日本では、客観的な日本語処理解析性能評価に関する指標や基準が無かったことから、IDFが評価基準を設け、評価用データや評価手順を作成し、評価を実施していることの意義は大きいとの評価を頂いております。

尚、経済産業省が2018年4月より実施している「情報セキュリティサービス審査登録制度」の「情報セキュリティサービス基準」(共に下記URLご参照)」にも「日本語処理解析性能評価を受検した製品を使用」との文言が記載されています。
http://www.meti.go.jp/policy/netsecurity/shinsatouroku/touroku.html
http://www.meti.go.jp/policy/netsecurity/shinsatouroku/zyouhoukizyun.pdf

【評価の実施について】
今期第15期第1-①回目(通算第4回目)の評価は、6月にAOSリーガルテック社の「Nuix」の評価を実施し、9月に第15期第1-②回目(通算第5回目)となる「Final Forensics」の評価を実施致しました。この度、第15期第3回目(通算第6回目)としてくまなんピーシーネット社の「Intella」(※2017年12月に評価受検した製品のバージョンアップ版:IDFのHPに評価結果を公開済み)の評価を実施致しました

【これまでの経緯】
デジタル・フォレンジック研究会では、第11期(2014年)に下記を目的として「日本語処理解析性能評価」分科会を立ち上げ、IDF会員及び官民のアドバイザーによるワーキングでの検討を逐次進めて参りました。第12期(2015年)には「評価基準」「評価データ」「評価手順」を作成し、第13期(2016年)に有識者からなる「評価委員会」にてこれらの確認を行い、評価の実施について承認を得ました。
これらに基づき第1回評価を、2016年8月より受検企業の募集を行い、2017年1月に2社、第2回評価は2017年12月に1社の製品性能評価を実施、第3回評価は2018年3月に実施致しました。

☆これまで日本では、客観的な日本語処理解析性能評価に関する指標や基準が無かったことから、IDFが評価基準を設け、評価用データや評価手順を作成し、評価を実施していることの意義は大きいとの評価を頂いております。

【目的】
デジタル・フォレンジックやeディスカバリ用途で、多様な検索機能や解析機能を持つ多くのツールが開発され、利用されている。
しかしながら、海外で開発されたものも多く、日本国内で使用する場合に、どこまで日本語に対応しているかが不明でユーザーが使用してみるまで分からないのが現状である。
実際、フォレンジック調査やeディスカバリ作業現場において以下の様な問題が発生している。

・検索にヒットすべきものがヒットせず、重要な収集されるべきものが漏れる。
・文字化けが発生し、内容を確認できない。
・日本語処理対応とされるツールでも何がどこまでできるのかが不明確で使い込むまで分からないことが多く、精度をどこまで信用して良いか分からない。
・日本語処理対応の定義も不明確。
・実際に性能を評価しようとしても客観的かつ有効な指標も存在しない。

このような状況を踏まえ、日本語処理解析性能の「評価基準」「評価データ」「評価手順」を作成し製品の評価を実施することに致しました。

【今後の評価実施について】
第16期(2019年度)以降も評価を実施して参ります。

尚、これまでの6回の評価実施で得られた知見に基づき日本語処理解析性能評価委員会では、第16期に「評価基準」及び「評価用データ」についての補備・修正検討を行い、より適正な評価を実施できるように致します。第16期の評価は、この補備・修正された「評価基準」及び「評価用データ」で実施致します。

第6回「日本語処理解析性能評価」受検結果報告

【第6回受検実施企業】
2019年3月8日(金) 株式会社くまなんピーシーネット


※これまでの「日本語処理解析性能評価」実施報告は以下よりダウンロードして下さい。
第1回(Lit i View E-DISCOVERY 、X-Ways Forensics )
第2回(Intella)
第3回(Autopsy)
第4回(Nuix)
第5回(Final Forensics)

お問い合わせ

本報告に関するご意見、ご要望、その他のお問い合わせ等は、【ご氏名】【ご所属先】【ご連絡先】をご明記の上、以下の問い合わせ先へお寄せ下さい。

IDF事務局   E-MAIL:info@digitalforensic.jp

また、各受検企業結果内容の詳細及びお問い合せにつきましては、各「日本語処理解析性能評価」実施結果報告に記載しております、受検企業各社問い合わせ先へ直接お問い合わせ下さいますようお願い致します。