第1回「日本語処理解析性能評価」実施報告

デジタル・フォレンジック研究会では、第11期（2014年）に下記を目的として「日本語処理解析性能評価」分科会を立ち上げ、IDF会員及び官民のアドバイザーによるワーキングでの検討を逐次進めました。第12期（2015年）には「評価基準」「評価データ」「評価手順」を作成し、第13期（2016年）に有識者からなる「評価委員会」にてこれらの確認を行い、評価の実施について承認を得ました。これらに基づき2016年8月より受検企業の募集を行い、2017年1月に2社の製品性能評価を実施しました。
この評価結果等について「日本語処理解析性能評価受検結果」を公開致します。

尚、「日本語処理解析性能評価」分科会にて作成した「評価基準」「評価データ」「評価手順」等は、これまで客観的な日本語処理解析性能評価に関する指標や基準が無かったことから、IDFが評価基準を設け、評価用データや評価手順を作成したことの意義は大きいとの評価を頂いております。
IDFでは、今後、作成した「評価基準」「評価データ」「評価手順」等の適宜の補備・修正等を行い、製品評価を継続（年間2回程度を予定）すると共に官公庁等公的機関へのこれらの評価ツールセットの貸与等により、導入検討や使用中の製品の日本語処理解析性能の把握にお役立て頂きたいと考えています。
【目的】
デジタル・フォレンジックやｅディスカバリ用途で、多様な検索機能や解析機能を持つ多くのツールが開発され、利用されている。
しかしながら、海外で開発されたものも多く、日本国内で使用する場合に、どこまで日本語に対応しているかが不明でユーザーが使用してみるまで分からないのが現状である。
実際、フォレンジック調査やｅディスカバリ作業現場において以下の様な問題が発生している。

・検索にヒットすべきものがヒットせず、重要な収集されるべきものが漏れる。
・文字化けが発生し、内容を確認できない。
・日本語処理対応とされるツールでも何がどこまでできるのかが不明確で使い込むまで分からないことが多く、精度をどこまで信用して良いか分からない。
・日本語処理対応の定義も不明確。
・実際に性能を評価しようとしても客観的かつ有効な指標も存在しない。

このような状況を踏まえ、日本語処理解析性能の「評価基準」「評価データ」「評価手順」を作成し製品の評価を実施することに致しました。

【評価の実施について】
第１３期（２０１６年）１０月に「日本語処理解析性能評価」の実施について説明会を行い、受検企業及び評価委員を募集しました。
その結果、（株）ＦＲＯＮＴＥＯと（株）ディアイティから申込があり、２０１７年１月１９日（木）に（株）ＦＲＯＮＴＥＯ、１月２６日（木）に（株）ディアイティの製品評価を立会人の下に実施しました。
評価結果及び評価に関する２社のコメント等は、「日本語処理解析性能評価」結果報告をご覧下さい。

【今後の評価実施について】
ＩＤＦでは、来期第１４期（２０１７年度）も製品評価を継続（年間２回程度を予定）すると共に官公庁等公的機関へのこれらの評価ツールセットの貸与等を進めて参ります。
また、評価実施結果を検討することにより、Forensic向け製品、ｅディスカバリ向け製品等、それぞれの製品特性に応じた日本語検索機能を適切に評価することができるように検討と改善を加えて参ります。