コラム第９１４号：「Agentic AI時代のデジタルフォレンジックス」

第914号コラム：丸山　満彦 監事（情報セキュリティ大学院大学　客員教授、PwCコンサルティング合同会社 パートナー）
題：Agentic AI時代のデジタルフォレンジックス

AIが自律的に連携して動き始めた社会になると…

最近、AIが自律的に連携しながら動きタスクをこなしていくという話題を耳にすることが増えてきました。従来のAIとは異なり、自律的に目標を設定し、計画を立て、実行する能力、つまり主体的に行動することができるAIシステムのことをAgentic AIというようです。私たちが意識しないところで、Agentic AIが増えていき、そしてAI同士が自律的に情報をやり取りし、判断し、行動している、そんな場面が、少しずつ日常の中に入り込んでくるように思います。

たとえば、スケジュール調整。 以前は、人間同士がメールや電話でやり取りしていましたが、今ではAIが互いに予定を確認し、最適な時間を見つけてくれることがあります。 物流の世界でも、倉庫の在庫状況や配送ルートをAI同士が調整し、人間は“結果だけ”を見るようになるのかもしれません。自動運転車も自動運転車同士がお互いを調整しながら全体最適な運転をするようになるのでしょう。

便利と言えばその通りなのですが、でも少し気になることもあります。 人間が見ていないところで、AIはどのように判断しているのでしょうか。 その判断は、私たちが期待する方向に向かっているのでしょうか。その気になる点の一つが、AIの判断に誤りが含まれる可能性です。

AI同士の連携による誤りの累積

AIは便利ですが、誤りをゼロにすることはできません。 これは、どれだけ高度なモデルであっても避けられない宿命のようなものです（人間だってそうなんですから、AIに過度な期待をしてもダメです）。

そして、AI同士が自律的に連携し始めると、 その誤りは単なる“点”ではなく、“線”や“面”として広がっていきます。 一つのAIが小さな誤りを出力し、 別のAIがそれを前提として判断し、 さらに別のAIがその結果を利用する。 こうした連鎖が続くと、 誤りは増幅し、伝播し、そして見えなくなっていきます。

自然界でも、似たような現象があります。 小さな環境変化が、時間をかけて大きな影響を及ぼすことがあります。バタフライ効果といわれることもあります。 AI同士の自律的な連携も、それに少し似ているのかもしれません。 人間が介在しない分、誤りに気づくタイミングが遅れ、 気づいたときには、すでに大きな影響が生じているかもしれません。「AIのバタフライ効果」とでもいうのでしょうか。

人間はAIにどのように関与する？

では、AI同士が自律的に連携する世界で、 人間はどこで関与すべきなのでしょうか。AIの判断に人間が関与することが必要と言われていますが、AIのすべての判断に人間が介入することは現実的ではありません。 AIの処理速度や情報量を考えると、人間が逐一チェックすることは不可能です（そもそも、人間が逐一チェックすることが必要なら人間がすればよいことです）。 しかし、完全にAIに任せてしまうことにも、やはり不安が残ります。

ここで大切になるのは、 どこに「人間の目」を置くかという視点だと思います。例えば、細部を丁寧に追いかける「蟻の目」と、全体の流れを俯瞰する「鳥の目」を使い分けるのはどうですかね。この二つの視点を行き来しながら、AIの判断のどこに介入し、どこを任せるのかを判断する。 介入ポイントの選定自体を「別の独立した監視AI」に委ねる場面も増えるでしょう。しかし、「どのリスクまでを許容し、どのラインを越えたら人間が責任を持つか」という最終的なガバナンスの設計は、人間にしかできない役割ですね。

AIが自律的に動く世界では、人間はすべてを管理する存在ではなく、適切な場所で方向を示す存在へと役割が変わっていくのかもしれませんね。そして、人間がどこに関与するかという問題は、そのまま責任の所在にもつながっていきます。

そして責任は誰に？

AI同士が自律的に連携して生じた結果についての責任はどうなるのか？ということも重要となってくると思います。

あるAIが誤った判断をし、別のAIがそれを受け取り、最終的に人間に不利益が生じたとします。 このとき、どの主体（開発者、導入した組織、運用者）が責任を負うべきなのでしょうか。誤った判断をしたAI、それを疑問にも思わず受け取ったAIにも責任がある？

AI単体の場合でも、AIの開発者、AIを導入した組織、AIの利用者？の問題なのかを決めるためには、多くの情報を多面的に分析する必要があるでしょう。そんな状況の中で、AI同士が自律的に連携を始めたら問題はさらに複雑になりそうですね。

ただ、責任の問題を避けて通ることはできません。「責任を問えること（Accountability）」が確保されない技術は、社会のインフラにはなり得ないですね。AIが社会の中で重要な役割を担うようになるほど、 この問いはますます重みを増していくように思います。

AI同士の連携はどこまで観測できるのか？

AI同士が自律的に連携するようになると、 そのやり取りのすべてを人間が理解できるとは限りません。 むしろ、理解できない部分が増えていく可能性の方が高いのではないでしょうか。

たとえば、人間同士でも、専門分野が違えば使う言葉が異なり、同じ言葉でも意味が微妙に変わることがあります。 AIの場合は、さらにその傾向が強くなるかもしれません。 AI同士が効率を求めて独自の表現形式を発達させ、人間には読み解けない「プロトコル」でやり取りを始める可能性もあります。

もちろん、すべてがブラックボックスになるわけではありません。 しかし、AIの内部でどのような推論が行われ、 どのような情報が交換されているのかを、後から完全に再現することは難しくなるかもしれません。

このような状況では、「どこまで観測できるようにしておくか」 という視点が重要になります。

AIの内部ログ、外部の監査ログ、行為の署名や、推論経路の記録など、人間が後から理解できる「手がかり」を残しておくことが、 これまで以上に大切になるのだと思います。

AIが自律的に動く世界では、 すべてを理解する」ことよりも、「必要なときに辿れるようにしておく」ことが、 より現実的で、より重要な考え方になるのかもしれません。

デジタルフォレンジックスの技術は未来をどう守れるか？

デジタルフォレンジックスは、『インシデントレスポンスや法的紛争・訴訟に際し、電磁的記録の証拠保全及び調査・分析を行うとともに、電磁的記録の改ざん・毀損等についての分析・情報収集等を行う一連の科学的調査手法・技術』を言います。

インシデントなどが起きたときに、 その原因を特定し、再発防止につなげる、そんな役割も担う技術といえます。

AIが自律的に動き、AI同士が連携して判断を下すようになると、AIの行動を後から辿れるようにする仕組みを整えること、AI同士の連携がどのように行われたのかを記録し、必要なときに検証できるようにすること、そして、人間が適切なタイミングで介入できるように観測可能性を確保しておくことが重要になりそうだという話をしました。

AIが社会の中で重要な役割を担うようになるほど、 その行動を理解し、必要に応じて検証できる仕組みが求められます。 フォレンジックスは、その基盤を支える技術として、 これからますます重要になっていくのではないでしょうか。皆さんはどう思いますか？

【著作権は、丸山氏に属します】