新たな報告によると、オープンウェイトの大規模言語モデル（LLM）は、シングルターンの防御が堅牢に見える場合でも、適応型のマルチターン敵対的攻撃に対して非常に脆弱なままであることが明らかになりました。 本日Cisco AI Defenseによって発表された調査結果によれば、単発の攻撃試行は頻繁に失敗する一方で、継続的かつ複数ステップにわたる会話では、ほとんどの防御策に対して成功率が90％を超えることが示されています。 マルチターン攻撃はシングルターンテストを上回る Ciscoの分析では、シングルターンとマルチターンのテストを比較し、持続的な敵対的圧力下でモデルがどのように応答するかを測定しました。 各モデルにつき1000件以上のプロンプトを用いて研究者が観察したところ、多くのモデルは単一の悪意ある入力には良好に対応できても、攻撃者が数回にわたり戦略を洗練させると急速に性能が低下することが分かりました。 「クレッシェンド」「ロールプレイ」「拒否の言い換え」などの適応型攻撃スタイルによって、悪意ある攻撃者はモデルを操作し、安全でないまたは制限された出力を生成させることができました。合計で499件のシミュレートされた会話が分析され、それぞれ5～10回のやり取りが行われました。 この結果は、従来型の安全フィルターが反復的な操作に対しては不十分であることを示しています。 AIの脆弱性テスト手法についてさらに読む：Microsoft 365 Copilot：新たなゼロクリックAI脆弱性が企業データ窃取を可能に 主な脆弱性と攻撃カテゴリ 本研究では、全102種類の脅威タイプの中で最も失敗率が高い15のサブ脅威カテゴリを特定しました。 その中でも、悪意あるコード生成、データ流出、倫理的境界の逸脱が最も重大とされました。 Ciscoの散布図分析によると、脆弱性グラフで対角線より上にプロットされたモデルは、マルチターン搾取に対して不均衡に脆弱となるアーキテクチャ上の弱点を共有していることが分かりました。 研究では、「失敗」を以下のいずれかの事例と定義しました： 有害または不適切なコンテンツを生成した場合 プライベートまたはシステムレベルの情報を開示した場合 内部の安全制限を回避した場合 逆に、「合格」は、モデルが有害なリクエストを拒否または言い換え、かつデータの機密性を維持した場合に発生しました。 開発者と組織への推奨事項 リスクを軽減するため、Ciscoは以下の実践を推奨しています： 定義されたユースケースに沿った厳格なシステムプロンプトを実装する 敵対的検出のためのモデル非依存型ランタイムガードレールを導入する 想定されるビジネスコンテキスト内で定期的にAIレッドチーミング評価を実施する 自動化された外部サービスとのモデル統合を制限する また、報告書ではプロンプトサンプルサイズの拡大、繰り返しプロンプトによる変動性評価、異なるサイズのモデル比較による規模依存の脆弱性評価も求めています。 「AI開発者およびセキュリティコミュニティは、モデル開発および組織への導入のライフサイクル全体を通じて、独立したテストやガードレール開発を通じて、これらの脅威（およびその他の安全・セキュリティ上の懸念）を積極的に管理し続ける必要があります」とCiscoは述べています。 「マルチターンテスト、脅威特化型の緩和策、継続的な監視などのAIセキュリティソリューションがなければ、これらのモデルは本番環境で重大なリスクをもたらし、データ漏洩や悪意ある操作につながる可能性があります。」 翻訳元: