|
Scaling Law 撞墻了,沒死這話 AI 圈已經(jīng)聽了一年多。只換 從 Gary Marcus 的個(gè)活減收益批評(píng),到坊間關(guān)于 OpenAI 下一代模型 "Orion" 進(jìn)展不順的沒死傳聞,再到 GPT-5 發(fā)布時(shí)不少人感到 " 并不驚艷 "。只換進(jìn)步是個(gè)活有的,但沒有那種讓人眼前一亮的沒死躍升。連 Ilya 都說,只換我們正從擴(kuò)展時(shí)代回到研究時(shí)代。個(gè)活大力出奇跡的沒死配方,似乎真的只換到頭了。 然后 Gemini 3 來了。個(gè)活Gemini 3 不只是沒死變強(qiáng),而是只換跨越了過去兩年 Google 所有被批評(píng)的點(diǎn),第一次在全面維度,個(gè)活能力、推理、速度、成本、生態(tài),真正追上和整體超越 OpenAI。看不到任何墻。 關(guān)鍵是,Gemini 3 不是靠換一套全新架構(gòu)做到的。Google 說,突破來自預(yù)訓(xùn)練和后訓(xùn)練兩個(gè)階段的配方升級(jí)。具體怎么升級(jí)的,外界只能猜測(cè),也許是 Google 積累了 25 年的獨(dú)家數(shù)據(jù)終于派上用場(chǎng),也許是找到了處理數(shù)據(jù)的新技術(shù)。但不管原因是什么,Google 愿意公開說 " 預(yù)訓(xùn)練仍有改進(jìn)空間 ",這本身就是一個(gè)信號(hào):Scaling 的兩條主線:預(yù)訓(xùn)練和后訓(xùn)練,都還沒走到頭。 |