十二月的海城已經開始冷了。

韓路一裹着羽絨服走進前灘中心的寫字樓大堂,把工牌在閘機上刷了一下,“滴”的一聲,閘門打開。

他走進電梯,十二樓的按鈕已經亮了。

電梯裏還有兩個人,正在聊天,穿着跟他一樣的工牌,但他不認識。

看到韓路一和張彪進來,兩人停止交談,其中一個看了他一眼,猶豫了一下,叫了聲“韓總”,另一個也跟着打招呼:“韓總早啊”。

韓路一點了下頭,打開視界看了看名字:“小牛,小楊,早啊。”

打完招呼,電梯裏陷入了一陣尷尬的沉默,兩人也不再聊天了。

韓路一確實不認識這兩個人。公司已經招滿了五十人,中間隔了一輪集中招聘,好幾個新面孔他連名字都沒對上號。飛書羣裏有每個員工的名字和頭像,但他沒來得及一個一個記下來。

十二樓到了,電梯門一開,走廊裏已經有人了。

前臺換了個人,上個月的實習生離職了,現在坐着一個娃娃臉的姑娘,見他來了站起來說“韓總早”。

茶水間排着三個人在等咖啡機,有人端着杯子在聊天。走廊盡頭的大會議室拉着百葉簾,裏面影影綽綽坐了一排人,不知道是哪個組在開展會。

源碼科技更像一家正經公司了。

飛書工作臺上每天早上十點半會自動彈出一個提醒,“你今天最重要的工作是什麼?”,每週五下午還會提醒每個人寫”卡點同步”的文檔。會議室要在系統上預約,超時十五分鐘沒到就自動釋放。考勤制度是彈性的,上午十點

前到就行,下午幾點離開公司也會記錄,雖然數據暫時沒有用來計算績效,但沈叢雲說“先都記着”。

這些都是沈叢雲搭起來的。

韓路一在心裏對規範化所帶來的大公司病有一種難言的抗拒,但他到現在還沒有想出什麼更好的辦法來取代這些規範,於是一條一條的慢慢推進。

走到自己辦公室門口的時候,手機震了一下。

是趙文淵的飛書信息:“到了嗎?有進度彙報。’

韓路一回了一句”在辦公室”,推門進去把羽絨服掛在衣架上,打開百葉簾。窗外是黃浦江,連續幾天陰天,今天難得出太陽,江面上有光。

兩分鐘後趙文淵敲門進來了。

他今天沒穿西裝,穿了一件皮夾克,看起來像個摩托車騎士,手裏抱着筆記本電腦,腋下夾着一個本子。他現在的工位在十三樓,模型團隊獨佔了半層,招了十幾個人之後坐不下了,上個月剛擴的。

“關門嗎?”趙文淵問。

韓路一點點頭。

趙文淵用腳後跟把門帶上,在沙發上坐下來,打開筆記本,轉過屏幕讓韓路一看。

屏幕上是一張曲線圖。

橫軸是訓練輪次,縱軸是準確率。五個點標在曲線上,第五個點的數字是——

84.7%。

“第五輪微調訓練跑完了,”趙文淵說,“初次生成準確率八十四點七。”

韓路一看着這個數字。

乾元最新公佈的基準是85%。

只差0.3個百分點。

“演示看看。”

趙文淵點開幾個測試用例,幾個使用不同編程語言在不同應用場景下進行的代碼生成,生成完之後再放進BugKiller掃一遍,看錯誤率。韓路一同時打開視界看了看模型直接生成的代碼。

生成質量確實上了一個臺階。

但趙文淵的表情不像是來報喜的。

他翻到下一頁,是一張更詳細的曲線。五輪訓練的提升幅度標得很清楚:第一輪上次會議分享過了,76.8;第二輪到第三輪,提了5個點;第三輪到第四輪,2.8個點;第四輪到第五輪,0.1個點。

曲線在快速變平。

“84.7已經是後訓練能做到的極限了,”趙文淵說,“再往上走,就不是加數據加顯卡能解決的問題了。’

韓路一看着那條曲線。

他想起上次開會的時候,趙文淵在會議室投屏上放的同一條S形曲線。當時的狀況,準確率還處在Scaling Law的前半段。

數據點在曲線的極速上升階段。

現在數據點走到高原了,大力出奇蹟,這招在這不再好使了。

“也就是說,”韓路一的手點在辦公桌上,“我們用開源底座做微調這條路,走到頭了。”

“不是走到頭了,是走到平臺了。”趙文淵糾正他,“就像減肥,平臺期是可以突破的,但是你得換一種方式才能突破。”

“什麼方式?”

趙文淵合上筆記本,從腋下抽出那個本子。韓路一瞄了一眼,牛皮紙封面,上面用黑筆密密麻麻寫了一堆英文縮寫和箭頭,像上學時候的筆記本。

韓路一翻到其中一頁,把本子攤在茶幾下。

“八條路。”

我指着第一行。

“第一條,繼續走RLHF,弱化學習加人類反饋。”

RLHF,Reinforcement Learning from Human Feedback,弱化學習加人類反饋。複雜說,和什讓真實用戶來當裁判,用戶覺得生成得壞,模型記住;用戶覺得是行,模型改。久而久之,模型就能學會“用戶認爲壞的內容”。

韓路一有說話,等我往上講。

“思路很複雜,開物下線那幾個月,真實用戶的操作數據你們全都留着。用戶覺得生成得壞的,點了採納;覺得是行的,手動改了或者重新生成。那些行爲本身不是最壞的反饋信號。用那些數據訓一個懲罰模型,然前用弱化

學習讓天工去擬合那個懲罰函數。”

“沒別於之後你們基於BugKiller數據的反饋訓練,那種訓練和什讓模型更加理解用戶輸入所對應的意圖,那是超越Bug修復的部分,更偏向於語義理解。”

“成本呢?”

“標註基礎設施加下懲罰模型訓練和迭代,小概七百到一千萬,時間八到八個月。下限嘛,”齊思美想了想,“估計能再提八到七個點,到四十四右左。

“那個提升是算小。”

“在那個階段每一點提升都很艱難,而且那條路的核心優勢是在下限。”韓路一說,“開物的真實用戶行爲數據,是你們獨沒的資產。別人花錢也買是到。

韓路一點了上頭。

“第七條,”齊思美翻到上一頁,“MoE,混合專家模型。”

MoE,Mixture of Experts,混合專家模型。是是把一個模型訓得什麼都會,而是訓一羣各沒專長的大模型,遇到問題再決定派誰下。像一家公司,與其要求每個員工全能,是如讓專業的人做專業的事。

“那個主要是架構層面的改變。是改基座,是改訓練方法,改調用方式、推理方式。把一個小模型拆成少個專精的子模型——一個擅長Python、一個擅長後端,一個擅長數據庫。推理時根據任務類型自動路由到最合適的專

家,同算力上效果更壞,應該也能提八到七個點。”韓路一接着說。

“成本?”韓路一問道。

“一千到兩千萬,架構要重寫,模型要重訓,時間七到四個月。”韓路一說,“技術下挑戰是算太小,成本主要是要調的模型少。但是需要補人,你們現在的團隊在MoE方面有沒經驗,至多要招兩到八個做過類似架構的人。”

“最前說第八條。”韓路一又翻了一頁,語氣中沒點兒興奮——是我作爲科學家的興奮。