第４５３号コラム：絹川 博之 理事
（東京電機大学 未来科学部 情報メディア学科 教授、「日本語処理解析性能評価」分科会 主査）
題：「日本語処理解析性能評価の第１回実施を終えて」
近年、デジタル・フォレンジック用途やｅディスカバリ用途で、多様な検索機能や解析機能を有する多くのソフトウェア製品が開発され、利用に供されている。しかしながら、海外で開発されたものも多く、日本語テキストに使用する場合に、どこまで対応しているか不明で、ユーザが使用するまでわからないのが現状である。また、実際に性能を評価しようとしても、客観的かつ有効な評価基準や指標も存在しないため、性能比較自体が困難な状況となっている。これへの対応を目的として、デジタル・フォレンジック研究会（ＩＤＦ）では、第１１期（２０１４年）に、「日本語処理解析性能評価」分科会を立ち上げ、ＩＤＦ会員および官民のアドバイザによるワーキングでの検討を逐次進め、第１２期（２０１５年）に「評価基準」「評価データ」「評価手順」を作成し、第１３期（２０１６年）に有識者からなる「評価委員会」にてこれらの確認を行い、性能評価実施の承認をいただいた。これらに基づき２０１６年８月より受検企業の募集を行い、２０１７年１月に２社の製品性能評価を実施した。この評価結果について、前記「評価委員会」の承認を得て、ＩＤＦのＷＥＢサイトで３月から公開している。
日本語の文字コードについては、以下のようにしている。１９７８年のJISコード設定以前には、コンピュータメーカ各社の独自コードにより日本語テキストは表現されているが、本評価基準では、JISコード設定以後に定められた９種の文字コードにより表現された日本語テキストを対象とすることにしている。
評価基準は日本語処理解析性能を評価するための基準となる項目とそれに伴う検索クエリからなっている。具体的には、単一単語検索や、ブーリアン検索を中心とした「基本検索」だけでなく、片仮名、英数字の全角半角同一視検索、正規表現、近傍検索、片仮名と漢字・平仮名の同形異字混在の検索クエリなど、比較的高度な検索機能を含む各種の「応用検索」も評価基準に含めている。単一単語検索の項目に「数字・漢数字同一視検索」などの難易度の高いと考えられるものも含まれている。検索クエリは、基本検索が１６項目、応用検索が１８項目となっている。
評価用データは実際の評価に使うものである。ＩＤＦ理事会並びにコラム執筆者のご承認のもと、ＩＤＦコラム３１９号、３４５号、３６０号のそれぞれのテキスト情報と、各種評価基準項目を検証するために必要な追加訂正を３１９号、３４５号に加えたものの合計５種類のテキスト情報を基に、前記９種の文字コードの計４５種のテキストファイルを作成している。また、テキストファイルを添付した６種類のEメールアプリケーションデータ、アプリケーションとしてMicrosoft Office（ Word / Excel / PowerPoint ）を用いた各種保存形式、すなわち、拡張子の異なるファイル形式、具体的には、Wordの１７種の保存形式、Excelの２３種の保存形式、PowerPointの２６種の保存形式の評価用データを作成している。
検索は、ファイル単位に「ヒットしたか」「ヒットしなかったか」で評価することにし、正答表を作成している。評価指標は、テキスト基本検索、テキスト応用検索、メール、アプリケーションについて、再現率、適合率、正解率を算出する。これにより、日本語処理解析の客観的な性能の理解が可能になる。また、評価用検索クエリは、検索クエリの分解と各分解検索結果ファイルの結合により同等の効果を実現することも可能である。
第１３期（２０１６年）１０月に「日本語処理解析性能評価」の実施説明会を行い、受検企業および評価委員を募集した。その結果、株式会社FRONTEOと株式会社ディアイティから申し込みがあり、２０１７年１月に立会人の下、各社の製品評価を実施した。株式会社FRONTEOは、ｅディスカバリ用途の製品Lit i View E-DISCOVERY、株式会社ディアイティは、デジタル・フォレンジック用途の製品X-Ways Forensicsを評価対象とした。一般論として、記憶媒体の保全や対象情報の解析、復元等のためバイナリデータの処理を主眼としたデジタル・フォレンジック用途の製品について、検索機能の充実したｅディスカバリ用途の製品と本性能評価の結果に関して単純な比較は適切でないが、いずれの製品も日本語処理解析性能の現状を把握し、その結果を基に性能向上を図り、ユーザのニーズに応えていただくことが本評価の目的である。
これまで客観的な日本語処理解析性能評価に関する指標や基準が無かったことに対して、ＩＤＦが評価基準を設け、評価用データや評価手順を作成したことの意義は大きいとの評価をいただいている。今後、作成した「評価基準」「評価データ」「評価手順」等からなる評価ツールセットの適宜の補備・修正等を行い、製品評価を年２回程度実施する。官公庁等公的機関へのこれらの評価ツールセットの貸与等により、導入検討や使用中の製品の日本語処理解析性能の把握に役立ていただければと考えている。本性能評価の受検結果を基に、受検製品が改良され、ｅディスカバリツール、デジタル・フォレンジックツールとして性能向上に繋がれば、ユーザにとって有益である。
「日本語処理解析性能評価」分科会設立の機会とご指導を賜りましたＩＤＦ佐々木 良一 会長、理事の皆様方、本分科会において熱心にご議論くださいました野本 靖之 様、岡野 薫 様、森田 陽 様、石崎 俊 様、西村 朋子 様、舟橋 信 様、青嶋 信仁 様、岡田 忠 様、緒方 健 様、春山 洋 様、伊藤 文二 様、藤本 隆三 様、青木 和哉 様、本分科会をとりまとめ、本分科会の議論を基に「評価基準」「評価データ」「評価手順」を献身的に作成くださいました本分科会幹事 野崎 周作 様、同幹事 白井 喜勝 様、第１回性能評価に受検くださいました株式会社FRONTEO様、株式会社ディアイティ様、本分科会の立ち上げ、推進、評価実施と多々ご尽力くださいましたＩＤＦ事務局長 丸谷 俊博 様、同事務局の皆様方をはじめ多くの方々の御蔭により、第１回評価を実施することができました。ここに感謝し、厚く御礼申し上げます。
第１４期（２０１７年）は、ワーキンググループとして、座長 野崎 周作 様、幹事 白井 喜勝 様を中心とする新しい体制で、製品評価の継続実施、評価ツールセットの拡充検討を実施することにしている。フォレンジック用途の製品、ｅディスカバリ用途の製品を提供している企業が本評価の意義をご理解くださり、受検製品が増加していくことを期待している。
【著作権は絹川氏に属します】
