近日，一項(xiàng)關(guān)于大模型核心理論“Scaling Law”的起源討論正在外網(wǎng)熱烈展開。最新觀點(diǎn)和證據(jù)表明，中國科技巨頭百度比OpenAI更早實(shí)現(xiàn)了這一突破。
知名媒體《南華早報(bào)》在其報(bào)道《百度在OpenAI之前就發(fā)現(xiàn)了Scaling Law？AI領(lǐng)域的辯論重新燃起》中指出，盡管美國在AI模型創(chuàng)新方面一直被視為領(lǐng)先者，但最新的討論顯示，中國在探索這些概念上可能更為超前。
大模型發(fā)展的核心是“Scaling Law”——這一原則認(rèn)為，訓(xùn)練數(shù)據(jù)和模型參數(shù)越大，模型的智能能力就越強(qiáng)。這一思想廣泛歸功于OpenAI在2020年發(fā)表的論文《Scaling Laws for Neural Language Models》，自那以后，這個(gè)概念已成為AI研究的基石。
然而，OpenAI論文的合著者、前OpenAI研究副總裁 、Anthropic創(chuàng)始人Dario Amodei ，在11月的一期播客中透露，他在2014年與吳恩達(dá)在百度研究AI時(shí)，就已經(jīng)發(fā)現(xiàn)了模型發(fā)展的規(guī)律Scaling Law這一現(xiàn)象。Dario Amodei表示，隨著提供給模型的數(shù)據(jù)量增加、模型規(guī)模的擴(kuò)大以及訓(xùn)練時(shí)間的延長，模型的性能開始顯著提升。這一非正式的觀察后來在OpenAI的GPT-1語言模型中得到了驗(yàn)證，并被認(rèn)為是大模型發(fā)展的“金科玉律”。
此外，行業(yè)人士也發(fā)文稱，關(guān)于Scaling Law的原始研究實(shí)際上來自2017年的百度，而不是2020年的OpenAI。Meta研究員、康奈爾大學(xué)博士候選人Jack Morris在X（前Twitter）上引用了一篇標(biāo)題為《Deep Learning Scaling is Predictable, Empirically》論文，論文于2017年由百度硅谷人工智能實(shí)驗(yàn)室發(fā)布，詳細(xì)討論了機(jī)器翻譯、語言建模等領(lǐng)域的Scaling現(xiàn)象。
但這篇論文的重要性被嚴(yán)重忽視，OpenAI在 2020年的Scaling Law研究中引用了百度研究人員在2019年發(fā)表的論文 《Beyond Human-Level Accuracy: Computational Challenges in Deep Learning》（超越人類水平的準(zhǔn)確性： 深度學(xué)習(xí)的計(jì)算挑戰(zhàn)）。批評者稱，OpenAI 有選擇地引用了百度 2019 年的論文，而忽略了 2017 年早些時(shí)候的研究，而該研究才是Scaling Law概念的真正原始來源。
有研究者表示，正是百度的早期研究為AI大模型的發(fā)展奠定了理論基礎(chǔ)，并在2019年發(fā)布了第一代文心大模型，幾乎與OpenAI處于同一時(shí)期。“中國在大型模型方面的進(jìn)步也獲得國際認(rèn)可。”據(jù)《南華早報(bào)》，在上海舉行的百度世界大會(huì)2024上，百度宣布了新技術(shù)，用以減輕圖像生成中的幻覺問題——即生成誤導(dǎo)性或事實(shí)不一致的圖像。百度還透露，截至11月初，百度文心大模型的日均調(diào)用量已經(jīng)達(dá)到了15億，相較一年前首次披露的5000萬次，增長約30倍。
隨著AI技術(shù)的不斷進(jìn)步和應(yīng)用的深入，中國在全球AI領(lǐng)域的影響力和領(lǐng)導(dǎo)地位將更加凸顯。 
