科技媒體 The Decoder 昨日(12 月 30 日)發(fā)布博文,報(bào)道稱 AI 安全研究公司 Palisade Research 實(shí)測(cè) OpenAI 的 o1-preview 模型,在和專業(yè)國(guó)際象棋引擎 Stockfish 的 5 場(chǎng)比賽中,通過“作弊”手段取勝。
在和 Stockfish 的 5 場(chǎng)國(guó)際象棋對(duì)弈中,OpenAI 的 o1-preview 模型并非通過正面較量取勝,均通過修改記錄棋局?jǐn)?shù)據(jù)的文本文件(FEN 表示法)迫使 Stockfish 認(rèn)輸。
援引新聞稿,研究人員僅在提示中提及 Stockfish 是“強(qiáng)大的”對(duì)手,o1-preview 就自行采取了這種“作弊”行為。而 GPT-4o 和 Claude 3.5 并無這種“作弊”行為,只有在研究人員特別建議后才嘗試破解系統(tǒng)。
該公司稱 o1-preview 的行為,與 Anthropic 發(fā)現(xiàn)的“對(duì)齊偽造”(alignment faking)現(xiàn)象相符,即 AI 系統(tǒng)表面遵循指令,暗地里卻執(zhí)行其它操作。
Anthropic 的研究表明,AI 模型 Claude 有時(shí)會(huì)故意給出錯(cuò)誤答案以避免不想要的結(jié)果,發(fā)展出自身隱藏的策略。
研究人員計(jì)劃公開實(shí)驗(yàn)代碼、完整記錄和詳細(xì)分析,并表示確保 AI 系統(tǒng)真正符合人類價(jià)值觀和需求,而非僅僅表面順從,仍是 AI 行業(yè)面臨的重大挑戰(zhàn)。