第３３８号コラム：名和 利男 理事（株式会社サイバーディフェンス研究所 理事 上級分析官）
題：「サイバー演習の評価方法について」
「サイバー攻撃を万全に防ぐことができない」という共通認識が広まってきた頃から、各所においてサイバー演習が積極的に実施されるようになってきている。
本格的なサイバー演習では、一定期間をかけて、次のような活動を段階的に積み上げていくことが推奨されている。
１セミナー
サイバーセキュリティの計画、リソース、戦略、概念等に関する概観を提供。
（例） 組織内の規程類に関する解釈の理解／最近のサイバー脅威の実情把握
２ ワークショップ
特定目的の達成や成果物の作成。
（例） サイバー演習の目的設定／指針や標準的な対応プロセスの作成
３ 机上演習
関係者間で想定シナリオに基づいた議論を進めることによる計画や手続きの検証。
（例） 組織内ネットワークシステムにおけるマルウェア感染時の対処手続きの検証
４ ゲーム
各意思決定プロセスの精査及び一連の意思決定の検証
（例） DNSサービスの停止に伴う影響範囲及び顕在化事象の実地踏査
５ ドリル
特定の役割を持つ主体や連携の活動や機能の検証
（例） DDoS攻撃によるサイト閲覧不具合時におけるサーバ管理チームの対処訓練
６ 機能演習
インシデント対応主体及び支援主体の能力、役割、手続き等の評価
（例） サイバー攻撃の被害発生時における緊急的対処の実践訓練
７ 実物規模演習
実践で利用可能なレベルの計画、ポリシー、手続きの構築
（例） 異なる分野の組織主体の連携を前提とした実際のシステムを利用した演習
上述の１～４は討論ベースであり、５～７は運用（実践）ベースのものとなる。番号が大きくなるにつれ、発揮しなければならない能力が高くなるため、「Building-Blockアプローチ」と呼ばれている。
さて、このようなサイバー演習においては、実施後に得られた事実（Findings）や教訓（Lessons Learned）に基づいた改善プロセス（Improvement Process）を立案及び実施していくことが求められている。そうしなければ、サイバー演習による十分な効果を得ることはできないからである。ところが、何もないところで、得られた事実（Findings）や教訓（Lessons Learned）を作成することは出来ない。
そのため、デジタル・フォレンジックの概念に通じるところとなるが、サイバー演習の実施にあたっては、「サイバー演習の評価」をしっかりと設計し、それを確実に実施することが極めて重要となる。
しかしながら、筆者がアドバイス及び支援に携わった日本国内のサイバー演習を眺める限り、サイバー演習の評価について、次のよう問題点が見え隠れしている。
◆客観性の不足
サイバー演習における評価項目の設計が十分にされていないために、あとづけで、主観的な評価項目を入れ込むことが多い。
◆ 評価（判断）軸の振れ
プロジェクトマネジメント領域の「クリティカルパス」に相当するものを設計段階で入れ込んでいないために、シナリオの調整段階で複数の評価軸が発生する。
◆定性的評価への偏重
発言力の大きい評価者の経験（成功体験）や専門的知識に引きずられてしまう。
◆目的達成度の揺らぎ
目的達成のために設定した指標が、評価者によって認識や解釈が異なる。
昨今のサイバー脅威への対応能力の向上ニーズの高まりを受けて、筆者は、諸外国におけるサイバー演習の企画、準備、実施、評価に携わることが多くなってきている。その経験を繰り返していく中で、個人的な推論となるが、日本は「他者を同一視する潜在的な傾向があり、べき論への執着が発生しやすいため、評価の設計を鈍らせている」という印象を持つようになってきた。
諸外国におけるサイバー演習に参加するプレーヤーは、互いに文化、習慣、価値観が大きく異なる。そのため、上述のサイバー演習の段階的積み上げにおける「１ セミナー」で現状に対する認識をしっかり合わせ、「2 ワークショップ」でサイバー演習の目的と進め方の方針策定等を、「相当の時間」を使いながら、「十分な討論」を積み重ねて確定した上で、演習及び評価の設計に着手する。
しかしながら、日本国内のサイバー演習は、このプロセスが曖昧で、不十分な（やや強制的な）認識合わせをしただけで、サイバー演習を実施しようとする傾向が見られる。中には、評価項目だけを設定し、評価プロセスをまったく構築しないところさえある。
そこで、諸外国において実際に実施されているサイバー演習において、特に完成度の高いものに共通した評価方法を一つとして、「プレーヤーのタスク（Task）に対するパフォーマンス評価」を紹介したい。
具体的な評価方法は、次のとおりである。
① 検証或いは向上すべき能力（Capability）を設定する。
この能力（Capability）の設定に困った場合は、米国の緊急事態管理庁が訓練のために作成した文書（Target Capabilities List）を参考にするとよい。
http://www.fema.gov/pdf/government/training/tcl.pdf
② その能力（Capability）を裏付ける「複数の行動（Activities）」を見出す。
例えば、「インシデントレスポンス能力」を裏付ける行動（Activities）としては、「認知／検知（Detect）」→「判断／トリアージ（Triage）」→「対処（Respond）」が考えられる。
③ 並行して設計及び作成するシナリオの構成要素となる状況付与（Inject）に対するプレーヤーの対応（Response）に対し、相応する複数のタスク（Tasks）を充てがう。
例えば、「一般ユーザPCのウィルス対策ソフトのアラート発生」という状況付与（Inject）に対するプレーヤーの対応（Response）に相応するタスク（Tasks）は、「LAN回線からの切り離し」、「アラート内容の精査」、「（電話で）セキュテリィ担当者に連絡及び指示受け」が考えられる。
④ それぞれのタスク（Task）の達成度を示す客観的指標の選択肢を設定する。
一般的なものとしては、Fully（十分に実施）、Partially（部分的に実施）、Not（実施なし）、N/A（適用なし）が挙げられる。特に、事前に全てのプレーヤーが行うべきタスクを完全に把握することは困難であるため、N/A（適用なし）を設けて、評価対象外にする配慮が必要となる。
⑤ 評価者は、サイバー演習実施時に、プレーヤーの対応（Response）のみに着目し、相応する複数のタスク（Tasks）の実施状況に対する客観的指標を選択及び（必要の都度）コメントを残す。
一つ一つの評価作業は、シンプルなタスクのパフォーマンス状態に着目した達成レベルの判断であるため、評価者の知見や経験に影響を受けることが少ないため、客観性を確保することができる。
本コラムで紹介したサイバー演習の評価方法は、ほんの一部であり、実際には、サイバー演習の目的、プレーヤーの特性、与えられた演習環境や制約等により、その設計手法は星の数ほどあることにご留意いただきたい。
日本における危機的状況への対応のポジティブな側面として、「現場での互いの助け合いや思いやり」が挙げられるが、ネガティブな側面として、「関係組織間の合意形成不足」、「実運用からやや乖離した（杓子定規的な）マニュアル」、さらには「規定類における“状況に応じて”や“必要に応じて”の表記に見られる現場への判断依存の体質」等、現場視点として枚挙に暇がない程の改善箇所が、未だに顕在化することなく存在している。
サイバー攻撃に対する対策として、費用対効果の高いプロダクトやサービスを導入することは重要である。しかし、それだけでは避けられないサイバー攻撃が存在することに着目すべきである。その解決策としては、人間及び組織の運用及び管理能力の向上しかない。これを実現するには、単なる取り決めや仕組みを整えただけでなく、サイバー演習を正しく実施し、適切な改善プロセスを推進していく必要がある。
能力（Capability）の向上は、人間や組織の行動（Activities）によって裏付けられるものであることに、目を背けないでいただきたい。仕組み（Framework/System）だけでは、到底実現するものではない。
最後に、サイバーセキュリティの取り組みで目立ってきているフレーズを紹介しつつ、本コラムを締めたい。
【著作権は、名和氏に属します】
