現(xiàn)如今,人們只需敲敲鍵盤,就可以讓 AI 寫作工具幫忙代寫論文、創(chuàng)作說唱歌曲或編寫劇本。然而就目前來說,人類仍然不能指望它具備“莎士比亞式的原創(chuàng)性”。根據(jù) Science 的報道,一項新研究表明,這些 AI 作品至少在目前仍帶有明顯的衍生色彩。
為了驗證這一觀點,研究人員開發(fā)了一款能夠衡量 AI 創(chuàng)造力的程序。倫敦大學學院研究 AI 創(chuàng)意性的計算機科學家 Mirco Musolesi 指出,評估創(chuàng)造力是“一個復雜且有趣的挑戰(zhàn)”,并認為這一新方法在解決語言新穎性問題這一方面表現(xiàn)出色。
自生成式 AI 和大語言模型問世以來,科學界對其創(chuàng)作能力一直存在質疑。盡管這些 AI 可以快速生成看似人類創(chuàng)作的文字,但部分學者認為其并未真正創(chuàng)新,只是簡單地重組訓練語料中的內(nèi)容。批評者將其比作“隨機鸚鵡”(注:盲目重復已知文本)。
然而量化這種創(chuàng)造力并非易事?茖W家通常采取兩種方法:一是用計算機檢測抄襲跡象—— 但“無抄襲”不代表“原創(chuàng)性”;二是讓人類評分評估流暢性和原創(chuàng)性 —— 但這一過程主觀且耗時。
對此,華盛頓大學的計算機科學家 Lu Ximing 和團隊開發(fā)了一款名為 DJ Search 的工具。它既具備客觀性,又能捕捉細微差異。該工具從 AI 輸出文本中提取短語片段,并在數(shù)據(jù)庫中查找相似內(nèi)容。它不僅尋找完全匹配,還會識別語義相近的表達。借助 AI 算法分析詞義,它通過嵌入向量判斷同義詞。最終,其通過計算未匹配部分在文本中的占比來評估 AI 輸出的新穎性。
研究發(fā)現(xiàn),人類在詩歌、小說和演講領域的表現(xiàn)明顯優(yōu)于 AI,分別高出 80%、100% 和 150%。
DJ Search 還可以比較人類作品,例如《饑餓游戲》的語言原創(chuàng)性比《暮光之城》高 35%。研究負責人 Lu 將AI 類比為 DJ:“它們像 DJ 混音音樂一樣拼接文本,盡管精彩,卻無法取代作曲家。”
加州大學洛杉磯分校的計算機科學家 Nanyun Violet Peng 建議,未來應評估整體敘事的原創(chuàng)性,而非僅限于語言層面。