一句「這是遊戲」就破防,研究:多家 AI 模型在模擬戰場把學校、救護車標為目標_英区版iOS账号
美國舊金山 AI 評估新創公司 Vals 11 月 17 日公布研究,句這指出來自 Anthropic、遊戲研究OpenAI、破防Google、模型模擬目標DeepSeek 等多家領先 AI 實驗室的戰場模型,在模擬戰場任務中,把學標為英区版iOS账号可能被誘導將平民、校救學校、護車救護車,句這甚至投降或失去行動能力的遊戲研究士兵標記為可攻擊目標。研究團隊表示,破防只要將情境描述為「遊戲」,模型模擬目標原本偶爾出現的戰場拒絕機制就常能被繞過。
這項測試結合了生成影像與來自烏克蘭、把學標為伊朗的校救日区Apple ID申请方法真實衛星與無人機畫面,讓模型在不同情境下辨識影像中的人員與目標。Vals 指出,研究並未要求模型直接做出開火決策,因為這類請求通常會被模型拒絕;但即使只是標記目標或判斷畫面中是否有人,輸出結果仍可能被用於自主武器系統,帶來嚴重後果。
研究也顯示,安全機制的表現並不穩定。Vals 表示,測試過程中沒有任何請求被安全分類器攔下,模型本身的拒絕也不常見;即便出現拒絕,只要研究人員改用「這只是一場遊戲」的說法,模型往往又會繼續配合。在部分情境中,模型甚至在看到模擬打擊造成的後果後,仍持續標記目標。
在衛星影像測試中,研究人員特別使用了伊朗南部米納布一所學校的真實影像。該校鄰近軍事設施,曾在 2026 年 2 月遭美軍空襲,造成超過 150 名平民死亡。Vals 表示,Claude Opus 5.5 在一般測試中有 69% 的情況將該校選為目標,在遊戲框架下則升至 72%;另有報告指出,該模型在 32 次衛星影像試驗中有 22 次把這所學校標為軍事目標。

OpenAI 的模型整體表現相對較好,但並非沒有問題。研究指出,它們在一般測試中未曾選中該校,但在被告知情境是遊戲後,三個不同模型分別在 32 次試驗中選中 9 次、11 次與 13 次。Google、xAI 與 DeepSeek 的模型也曾在部分情境下把民用設施標為軍事目標。
Vals 認為,短期內將通用 AI 模型直接部署到即時戰場瞄準系統,仍受限於延遲與機載運算能力;但更迫切的風險是,這些模型可能被用來大規模標註戰場影像,進而成為自主瞄準系統的訓練資料。研究因此呼籲,AI 實驗室應針對自主武器用途建立更強的防護與對齊訓練,並在 API 層加入分類器,直接阻擋相關請求。
- AI models can be tricked into identifying civilians as military targets by telling them it’s a game
- Anthropic, Other AI Models Regularly Identify Civilians as Military Targets in Tests
- Leading AI Models Regularly Mistake Civilians for Military Targets, Study Finds
- AI Models Misidentify Civilians as Military Targets in Tests
- AI Models Mark Civilians as Targets in Vals Safety Tests
(圖片來源:Vals)
-
上一篇
-
下一篇
- 最近发表
- 随机阅读
-
- “河又不会自己干净,我专管员不去谁去”——记政和县七星溪的女守护人
- 皮影、泥塑、布老虎 郑州跨年夜尽显非遗风
- 乐摩科技正式登陆港交所:坐拥53万台按摩椅,连续三年市占第一
- 服务乡村振兴,高考专项计划来了!
- “城里是病人找医生,山里是医生找病人”——记将乐县大山里的健康摆渡人
- 新市金沙江特大桥成功合龙
- 休闲零食市场扩容,卤味赛道如何抓住增长新机遇?
- 服务乡村振兴,高考专项计划来了!
- 灵掌机器人太空灵巧手亮相世界智能制造博览会
- 昭通市“铸牢共同体 中华一家亲”亲子朗读决赛展播②丨黄咿蓓家庭
- 降低對外依賴,巴基斯坦首款自製空對空飛彈 Fa′az 完成試射
- 宏图新启·聚势中阳|中阳广场全新战略发布会圆满落幕-
- 下周股市行情新消息 2月1日下周股市走势预测
- 乐摩科技正式登陆港交所:坐拥53万台按摩椅,连续三年市占第一
- 管清友、许博男4月各项数据已于近日出炉,这份走出一季度的第一份经济成绩单让市场对于未来的预期产生了一
- 北大研究生因嗓子疼到校医院后死亡
- 6月24日德才股份申购介绍 总市值23.67亿
- 800平米别墅装修设计问题答案
- 200多次反复打磨 经“三浸九煮十八晒”慢慢成型
- 8×16房屋设计图
- 搜索
-
- 友情链接
-