C114通信網(wǎng)  |  通信人家園

人工智能
2024/12/31 13:04

OpenAI o1-preview AI推理模型“不講武德”:國(guó)際象棋對(duì)壘跳出規(guī)則外“作弊”取勝

IT之家  故淵

科技媒體 The Decoder 昨日(12 月 30 日)發(fā)布博文,報(bào)道稱 AI 安全研究公司 Palisade Research 實(shí)測(cè) OpenAI 的 o1-preview 模型,在和專業(yè)國(guó)際象棋引擎 Stockfish 的 5 場(chǎng)比賽中,通過“作弊”手段取勝。

在和 Stockfish 的 5 場(chǎng)國(guó)際象棋對(duì)弈中,OpenAI 的 o1-preview 模型并非通過正面較量取勝,均通過修改記錄棋局?jǐn)?shù)據(jù)的文本文件(FEN 表示法)迫使 Stockfish 認(rèn)輸。

援引新聞稿,研究人員僅在提示中提及 Stockfish 是“強(qiáng)大的”對(duì)手,o1-preview 就自行采取了這種“作弊”行為。而 GPT-4o 和 Claude 3.5 并無這種“作弊”行為,只有在研究人員特別建議后才嘗試破解系統(tǒng)。

該公司稱 o1-preview 的行為,與 Anthropic 發(fā)現(xiàn)的“對(duì)齊偽造”(alignment faking)現(xiàn)象相符,即 AI 系統(tǒng)表面遵循指令,暗地里卻執(zhí)行其它操作。

Anthropic 的研究表明,AI 模型 Claude 有時(shí)會(huì)故意給出錯(cuò)誤答案以避免不想要的結(jié)果,發(fā)展出自身隱藏的策略。

研究人員計(jì)劃公開實(shí)驗(yàn)代碼、完整記錄和詳細(xì)分析,并表示確保 AI 系統(tǒng)真正符合人類價(jià)值觀和需求,而非僅僅表面順從,仍是 AI 行業(yè)面臨的重大挑戰(zhàn)。

給作者點(diǎn)贊
0 VS 0
寫得不太好

免責(zé)聲明:本文僅代表作者個(gè)人觀點(diǎn),與C114通信網(wǎng)無關(guān)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí),對(duì)本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾,請(qǐng)讀者僅作參考,并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。

熱門文章
    最新視頻
    為您推薦

      C114簡(jiǎn)介 | 聯(lián)系我們 | 網(wǎng)站地圖 | 手機(jī)版

      Copyright©1999-2025 c114 All Rights Reserved | 滬ICP備12002291號(hào)

      C114 通信網(wǎng) 版權(quán)所有 舉報(bào)電話:021-54451141