騰訊研究院最新推出了 DRT-o1 系列模型,主要通過長(zhǎng)思維鏈(long chain-of-thought,簡(jiǎn)稱 CoT),更能理解比喻和隱喻等,從而提高文學(xué)作品的翻譯質(zhì)量。
項(xiàng)目背景
注:神經(jīng)機(jī)器翻譯(NMT)在處理日常文本翻譯方面已取得顯著進(jìn)展,但在翻譯文學(xué)作品時(shí),特別是隱喻和明喻等修辭手法時(shí),仍面臨巨大挑戰(zhàn)。
這些表達(dá)通常蘊(yùn)含深厚的文化和語(yǔ)境含義,簡(jiǎn)單的直譯往往無(wú)法準(zhǔn)確傳達(dá)其內(nèi)涵,而騰訊開發(fā)的 DRT-o1 系統(tǒng),為解決這一難題提供了新的思路。
項(xiàng)目介紹
研究人員從古騰堡(Project Gutenberg)計(jì)劃中選取 400 本公共領(lǐng)域英文書籍,提取 577600 個(gè)句子,并篩選出 63000 個(gè)包含明喻和隱喻的句子,用于訓(xùn)練模型進(jìn)行“深度思考”。
DRT-o1 采用了一種創(chuàng)新的多智能體框架,包含翻譯員、顧問和評(píng)估員三個(gè)角色。翻譯員負(fù)責(zé)初步翻譯,顧問提供修改建議,評(píng)估員則根據(jù)預(yù)設(shè)指標(biāo)對(duì)翻譯質(zhì)量進(jìn)行評(píng)分,通過反復(fù)迭代,不斷提升翻譯質(zhì)量。
工作流程包括三個(gè)主要步驟:
關(guān)鍵詞翻譯:翻譯者首先識(shí)別句子中的關(guān)鍵詞,并提供它們的翻譯。
初步翻譯:然后,翻譯者根據(jù)源句子和關(guān)鍵詞的雙語(yǔ)對(duì)應(yīng)關(guān)系提供一個(gè)初步的翻譯。
翻譯精煉循環(huán):在精煉循環(huán)中,顧問評(píng)估前一步的翻譯并提供反饋,評(píng)估者根據(jù)預(yù)定義的評(píng)分標(biāo)準(zhǔn)給出整體評(píng)分。翻譯者根據(jù)反饋和評(píng)分提供新的翻譯。當(dāng)評(píng)分達(dá)到預(yù)定義的閾值或迭代次數(shù)達(dá)到最大值時(shí),循環(huán)停止。
最終的翻譯結(jié)果會(huì)由 GPT-4o 進(jìn)行潤(rùn)色,確保流暢性和可讀性,最終數(shù)據(jù)集包含 22264 個(gè)經(jīng)過深度思考的機(jī)器翻譯樣本。
開發(fā)者提到了一個(gè)例子,原文是:
The mother, with her feet propped up on a stool, seemed to be trying to get to the bottom of that answer, whose feminine profundity had struck her all of a heap.
這句話中的“struck her all of a heap”是一個(gè)成語(yǔ),表示某事對(duì)她產(chǎn)生了強(qiáng)烈的影響。DRT-o1 模型通過長(zhǎng)鏈思考過程,最終將其翻譯為:
母親將雙腳搭在凳子上,似乎在努力探究那個(gè)答案,那答案中女性特有的深刻性令她猛然心生震撼。
這個(gè)翻譯不僅傳達(dá)了原文的意思,還保留了原文的情感色彩。作為對(duì)比,IT之家附上谷歌翻譯如下:
母親雙腳撐在凳子上,似乎想弄清楚這個(gè)答案的真相,其女性的深刻性讓她大吃一驚。
Deepl 的翻譯如下:
母親把腳支在凳子上,似乎想弄清這個(gè)答案的來(lái)龍去脈,而這個(gè)答案的女性化深刻性讓她茅塞頓開。
性能
DRT-o1 系列共有 DRT-o1-7B 和 DRT-o1-14B 兩個(gè)規(guī)模版本。
實(shí)驗(yàn)結(jié)果表明,與 Qwen2.5-7B-Instruct 相比,DRT-o1-7B 的 BLEU 分?jǐn)?shù)提高了 8.26 分,CometScore 提高了 3.36 分;與 Qwen2.5-14B-Instruct 相比,DRT-o1-14B 的 BLEU 提高了 7.33,CometScore 提高了 1.66。
DRT-o1-7B 的性能甚至超過了更大的模型 QwQ-32B,BLEU 分?jǐn)?shù)高出 7.82 分,CometScore 高出 1.46 分,展現(xiàn)了其在處理復(fù)雜語(yǔ)言結(jié)構(gòu)方面的強(qiáng)大能力。