第14期第2回（通算第3回）「日本語処理解析性能評価」実施報告

デジタル・フォレンジック研究会では、第11期（2014年）に「日本語処理解析性能評価」分科会を立ち上げ、IDF会員及び官民のアドバイザーによるワーキングでの検討を逐次進め、第12期（2015年）に「評価基準」「評価データ」「評価手順」を作成し、第13期（2016年）に有識者からなる「評価委員会」にてこれらの確認を行い、評価の実施について承認を得ました。これらに基づき第1回評価を2017年1月に2社の製品について実施し、2017年12月に第2回評価（1社の製品）を実施致しました。
この度、3月20日に第3回評価をOSSツール「Autopsy」に対して実施致しましたのでこの評価結果を公開致します。

IDFでは、来期第15期以降も各年度内に2回以上の評価を実施する予定です。

☆これまで日本では、客観的な日本語処理解析性能評価に関する指標や基準が無かったことから、IDFが評価基準を設け、評価用データや評価手順を作成し、評価を実施していることの意義は大きいとの評価を頂いております。
また、経済産業省が2018年4月から実施する「情報セキュリティサービス審査登録制度」の「情報セキュリティサービス基準」（共に下記URLご参照）」にも「日本語処理解析性能評価を受検した製品を使用」との文言が記載されています。
http://www.meti.go.jp/policy/netsecurity/shinsatouroku/touroku.html
http://www.meti.go.jp/policy/netsecurity/shinsatouroku/zyouhoukizyun.pdf

尚、評価に使用した「評価基準」「評価データ」「評価手順」等は、第15期に入ってから、適宜の補備・修正等を行う予定で、その後、前期と同様に官公庁等公的機関へのこれらの評価ツールセットを貸与し、導入検討や使用中の製品の日本語処理解析性能の把握にお役立て頂く予定です。

【評価の実施について】
２０１８年３月２０日（火）に「Autopsy」の製品評価を実施致しました。尚、Autopsyはオープンソースソフトウェアで、米国に本社が所在するBasis TechnologyがAutopsyの開発を支援しておりますが、日本ではサポートを行っている企業がないため「日本語処理解析性能評価」ＷＧの野崎座長の所属する（株）ＦＲＯＮＴＥＯにてダウンロードした「Autopsy」を使用して評価の受検準備と実施を担当致しました。評価結果及び評価に関する野﨑座長によるコメント等は、「日本語処理解析性能評価」結果報告をご覧下さい。

【これまでの経緯】
デジタル・フォレンジック研究会では、第１１期（２０１４年）に下記を目的として「日本語処理解析性能評価」分科会を立ち上げ、ＩＤＦ会員及び官民のアドバイザーによるワーキングでの検討を逐次進めて参りました。第１２期（２０１５年）には「評価基準」「評価データ」「評価手順」を作成し、第１３期（２０１６年）に有識者からなる「評価委員会」にてこれらの確認を行い、評価の実施について承認を得ました。
これらに基づき第１回評価を、２０１６年８月より受検企業の募集を行い、２０１７年１月に２社、第２回評価は２０１７年１２月に１社の製品性能評価を実施致しました。

☆これまで日本では、客観的な日本語処理解析性能評価に関する指標や基準が無かったことから、ＩＤＦが評価基準を設け、評価用データや評価手順を作成し、評価を実施していることの意義は大きいとの評価を頂いております。

【目的】
デジタル・フォレンジックやｅディスカバリ用途で、多様な検索機能や解析機能を持つ多くのツールが開発され、利用されている。
しかしながら、海外で開発されたものも多く、日本国内で使用する場合に、どこまで日本語に対応しているかが不明でユーザーが使用してみるまで分からないのが現状である。
実際、フォレンジック調査やｅディスカバリ作業現場において以下の様な問題が発生している。

・検索にヒットすべきものがヒットせず、重要な収集されるべきものが漏れる。
・文字化けが発生し、内容を確認できない。
・日本語処理対応とされるツールでも何がどこまでできるのかが不明確で使い込むまで分からないことが多く、精度をどこまで信用して良いか分からない。
・日本語処理対応の定義も不明確。
・実際に性能を評価しようとしても客観的かつ有効な指標も存在しない。

このような状況を踏まえ、日本語処理解析性能の「評価基準」「評価データ」「評価手順」を作成し製品の評価を実施することに致しました。

【今後の評価実施について】
第１５期（２０１８年度）では評価を実施するとともに、評価に使用した「評価基準」「評価データ」「評価手順」等は適宜の補備・修正等を行う予定です。その後、前期と同様に官公庁等公的機関へのこれらの評価ツールセットを貸与し、導入検討や使用中の製品の日本語処理解析性能の把握にお役立て頂く予定です。