守る側も、攻める側も、AIを使う

セキュリティの前提が、この2年で二度書き換わった。

一度目は、生成AIによって攻撃側のコストが下がったとき。二度目は、AIエージェント自体が攻撃対象になったときだ。

新しい攻撃面

プロンプトインジェクション。ユーザー入力やWebページに仕込まれた指示を、モデルが本来の命令と区別できずに実行してしまう。従来のインジェクション攻撃と違い、入力を機械的にエスケープするだけでは防げない。

ツール実行の悪用。エージェントがファイル操作やAPI呼び出しの権限を持つほど、乗っ取られたときの被害範囲が広がる。権限設計がそのままセキュリティ設計になる。

サプライチェーン。MCPサーバ、拡張機能、モデルそのもの。信頼して組み込んだ部品が経路になる。

守る側の変化

判定をリアルタイムで挟むガードモデルが実用化され、攻撃シナリオごとの検知が数十ミリ秒で回るようになってきた。

ただし根本的には、エージェントに与える権限を必要最小限に絞るという設計原則に戻る。新しい脅威ほど、古典的な原則が効く。

この特集では、攻撃手法の実例と、実装で取れる対策の両方を扱う。