第７９５号コラム：佐々木 良一 理事兼顧問（東京電機大学 名誉教授・サイバーセキュリティ研究所 客員教授）
題：「生成AIの誕生によるAttack by AI攻撃のリスクと対策の考察」
１．はじめに
AIのセキュリティの研究に着手しており、2020年に、AIとセキュリティの関係は図１の4つに整理できることを明らかにしました[1][2]。図１の①と②を一緒にすることが多いのですが、対策まで検討するならば分けて分析すべきだろうと考えました。
一方、最近、生成AIが注目を浴びており、その影響は非常に大きいと考えられます。そこで、この生成AIが普及することによって4つのうちどの部分に対する影響が大きいのか、そのためどのような対策が必要になるのか考察してみました[3][4]。
２．生成AIの特徴
生成AIとは、情報処理学会誌2023年7月号p326によると「機械学習によって大量のデータを学習し、学習結果から類似性を保ったまま全く新しい人工物を生成するAI技術をさす」とされ、これまでAIでむつかしいとされてきた、デザイン、広告、映画、音楽、文学、作曲といったクリエーティブな領域での活用が期待されているのはご存じのとおりです。
生成AIには表１に示すように何が入力で何が出力かによっていろいろなシステムがありますがここでは、テキストを入力とし、テキストを出力とするChatGPTを主な対象とすることとしました。ChatGPTの出現により、技術的な背景を持たない人々も簡単にAIを活用することができるようになり、「AI活用の民主化」が一気に進むと思われます。また、生成AIによって生じうる広い意味のリスクは図2に示すように整理することが可能であると考えています[4]。
３．生成AIの出現によって変わるもの
生成AIが出現してもAIとセキュリティに関する4つの関係そのものは変わらないと考えられます。生成AIの出現による4つの個別の関係は、表２に示すように変化し、Attack by AIに関する影響が最も大きく、それに次ぐのがAttack using AIであると考えられます。ここではAttack by AIに絞って、リスクがどのように変わり、どのような対策が必要になるか考察を行っていきます。
なお、私は、AIの研究開発を強引に抑制するアプローチは科学の発展を享受するために適切でないと考えています。しかし、一方、人間は、地震発生時の津波による福島における原子力プラント事故にみられるようにリスクを正しく認識するのが苦手です。したがって生成AIによる人間への攻撃の可能性に今まで以上に高まっている現在、状況をしっかり観察し，対策を検討する人がいなければならないとも考えています。ここでの検討はこのような認識に基づくものであります。
４．生成AI誕生のAttack by AIへの影響
従来からいわれていたAIによる人間への反乱のストーリーは、汎用AIが、より優れた汎用AIを作ることを繰り返し、ついに人間の能力を超える汎用AIが誕生し、人間に反乱するというものです。一方、従来のAIは汎用AIではなく専用AIであり、新しいAIソフトを自動的に作り出す機能を持たないものです。したがって反乱の可能性は限りなく低かったといえるでしょう。それに対し、生成AIは汎用性が高いAIであり、ChatGPTなどの生成AIはプログラムを自動生成する機能を持っています。そのため反乱のリスクは大幅に上昇したと考えざるを得ないでしょう。しかし、実際にAIが反乱に成功するためには、AIが人間に被害を与える行動に出るとともに、人間がAIの攻撃を防御するのに失敗することが条件となります。
AIが人間に被害を与える行動に出るパターンとしては表3に示すように、①ターミネータ型、②2001年宇宙の旅型、③マッドサイエンティスト型の３つがあると考えました。そしてそれぞれの攻撃方法は表4に示すようになると想定しています。従来はターミネータ型だけを考えることが多かったのですが人間への影響としては他の2つも考慮することが必要になると考えました。
５．Attack by AIに関するリスクアセスメントと対策の予備検討
Attack by AIに関するリスクアセスメントと対策の検討をきちんとすると簡単にはいかず多くの時間がかかると推定されます。そこで、まずAttack Treeを用いた予備検討を実施しリスクのプライオリティ付けをするとともに、必要性が大きな対策をリストアップすることにしました。
アタックツリーは、図3－図６に示すとおりであり、それらをまとめると必要な対策は表５に示すようになります。これにより必要な対策は概略明らかになりましたが、これで十分かの問題があります。また、対策コストや利便性や社会の発展性とのバランスで本当にここまで対策をやってよいのかの検討が必要です。また、対策をAIが回避する手段に出ることも考えられこれに対する対策も必要になります。
私は長年にわたってリスクアセスメントやリスクコミュニケーションの研究をしてきました。簡単ではないのは承知していますが、最後に、Attack by AI問題のリスクアセスメントを行っていきたいと考えています。
参考文献
[1] 佐々木良一、金子朋子、吉岡信和 「IoT時代におけるAIとセキュリティに関する統合的研究の構想 Beyond Attackersを目指して」情報処理学会CSS2020
[2] Ryoichi Sasaki, Tomoko Kaneko, Nobukazu Yoshioka,” A Study on Classification and Integration of Research on both AI and Security in the IoT Era” ICISA2020
[3] 佐々木良一「AIとセキュリティ -生成AIによって変わるもの-」2023年度日本セキュリティマネジメント学会全国大会
[4] Ryoichi Sasaki “AI and Security – What changes with generative AI-“ IEEE, QRS 2023
【著作権は、佐々木氏に属します】
