(資料圖片僅供參考)

9月7日，騰訊正式宣布旗下的通用大模型“混元大模型”對(duì)外開放，作為全鏈路自研的通用大語言模型，混元具備強(qiáng)大的中文創(chuàng)作能力，復(fù)雜語境下的邏輯推理能力，以及可靠的任務(wù)執(zhí)行能力。

在大會(huì)后的采訪中，騰訊集團(tuán)副總裁蔣杰，介紹了它的研發(fā)過程、方向選擇思路以及自研模型的技術(shù)挑戰(zhàn)。

蔣杰表示，騰訊混元大模型擁有自主研發(fā)的路徑規(guī)劃，掌握了從算法到框架再到平臺(tái)的全鏈路自研技術(shù)。

在其它公司著急推出各種模型的時(shí)候，騰訊的通用大模型已經(jīng)在內(nèi)部大量業(yè)務(wù)場(chǎng)景中進(jìn)行了長(zhǎng)期測(cè)試，產(chǎn)品成熟之后才對(duì)外輸出。

這種先服務(wù)于騰訊本身的業(yè)務(wù)，再通過騰訊云對(duì)外開放、服務(wù)客戶和外部合作方的模式，也被騰訊視為自家通用大模型的重要優(yōu)勢(shì)。

騰訊方面表示，混元大模型有良好的上下文理解和長(zhǎng)文記憶能力，能夠流暢完成各專業(yè)領(lǐng)域的對(duì)輪問答；支持文學(xué)創(chuàng)作、文本摘要、角色扮演；能夠準(zhǔn)確理解用戶意圖，基于已有數(shù)據(jù)或信息進(jìn)行推理、分析；同時(shí)有效解決事實(shí)性、時(shí)效性問題，提升內(nèi)容生成效果。

蔣杰認(rèn)為，大語言模型最有商業(yè)價(jià)值的部分是提效，這也是大語言模型存在的使命。

未來混元大模型將重點(diǎn)做好提效的基礎(chǔ)能力，“希望它不要胡言亂語，更安全、更可靠、有更好的邏輯思維能力，可以回答更復(fù)雜的題目”。

對(duì)于大模型在訓(xùn)練和存儲(chǔ)過程中涉及到的數(shù)據(jù)問題，蔣杰表示，無論有沒有大模型，騰訊都嚴(yán)格遵循法律要求，“我們可以向大家保證，我們做的小模型、大模型還是大語言模型，都絕不會(huì)使用個(gè)人隱私數(shù)據(jù)?！?/p>

混元為什么不著急

公開數(shù)據(jù)顯示，截止到今年7月底國(guó)內(nèi)已經(jīng)有130個(gè)大模型產(chǎn)品亮相或宣布，其中既有一些大模型，也有小模型，有通用模型，也有專業(yè)領(lǐng)域的模型。

但騰訊的通用大模型雖然已經(jīng)在內(nèi)部運(yùn)營(yíng)迭代多個(gè)版本，但直到9月份才正式對(duì)外開放，這也被很多人認(rèn)為是一次姍姍來遲的亮相，多少顯得有些“不著急”。

其實(shí)，混元大模型的推出并非一蹴而就，從2021年開始，騰訊就已經(jīng)在研發(fā)相關(guān)的技術(shù)能力。也是從那年起，騰訊先后推出了千億和萬億參數(shù)的NLP稀疏大模型。

他向界面新聞介紹稱，混元大模型是從零開始訓(xùn)練，整個(gè)體系包含了平臺(tái)架構(gòu)、模型和算法等能力，同時(shí)將騰訊自身的業(yè)務(wù)需求和大模型進(jìn)行深度結(jié)合。

馬化騰在股東大會(huì)上曾明確表示，騰訊在埋頭研發(fā)自己的大模型，但是并不急于早早做完，把半成品拿出來展示。

在最近幾個(gè)月內(nèi)，混元大模型始終處于邊研發(fā)邊應(yīng)用的狀態(tài)，騰訊內(nèi)部一直在用大量?jī)?nèi)部業(yè)務(wù)場(chǎng)景對(duì)它進(jìn)行磨煉，尤其是騰訊文檔、騰訊會(huì)議和騰訊廣告等非常復(fù)雜的應(yīng)用場(chǎng)景。

在騰訊看來，對(duì)于基礎(chǔ)模型而言，技術(shù)和機(jī)會(huì)并不僅局限于聊天機(jī)器人這樣的問答式場(chǎng)景，大模型的長(zhǎng)期價(jià)值將通過應(yīng)用來體現(xiàn)，所以更廣泛的應(yīng)用場(chǎng)景是決勝的關(guān)鍵因素。

雖然測(cè)試大語言模型的途徑有很多，部分廠商也采用了Chat的方式進(jìn)行測(cè)試，但蔣杰認(rèn)為，騰訊在過去二十年間積累了大量的C端應(yīng)用場(chǎng)景以及海量用戶，也包含了很多B端應(yīng)用場(chǎng)景驗(yàn)證體系，混元大模型在騰訊內(nèi)部各業(yè)務(wù)的場(chǎng)景中也能得到良好的測(cè)試。

此前在6月份，騰訊曾推出MaaS（Model-as-a-Service）服務(wù)，向外部客戶提供行業(yè)大模型服務(wù)。本次混元大模型對(duì)外開放之后，也將作為MaaS服務(wù)的底座，客戶可以基于混元大模型，也可以基于開源模型，來搭建自己專屬的行業(yè)大模型。

選擇自研，尋求技術(shù)突破

現(xiàn)在市場(chǎng)上有很多開源大模型，部分廠商選擇在它們基礎(chǔ)上疊加精調(diào)，然后推出自己的大模型產(chǎn)品。

但蔣杰認(rèn)為，如果不從頭做自研，就無法對(duì)這項(xiàng)技術(shù)完全掌握。騰訊選擇自研的首要原因就是要解決根本的技術(shù)能力突破，建立自己的技術(shù)棧體系，模型的后續(xù)研發(fā)迭代速度會(huì)更快，也更容易與未來騰訊其他產(chǎn)品業(yè)務(wù)相融合。

其次，騰訊旗下?lián)碛泻芏嗪Ａ扛卟l(fā)的業(yè)務(wù)，而很多開源模型的架構(gòu)并不能支撐這種體量。所以騰訊需要走出一條基于自主體系研發(fā)的道路，才能應(yīng)對(duì)海量高并發(fā)業(yè)務(wù)的沖擊。

與此同時(shí)，全鏈路自研也讓騰訊的大模型擁有了差異化的優(yōu)勢(shì)。

比如，“幻覺”是每個(gè)大語言模型都會(huì)面臨的重要問題，當(dāng)前Transformer架構(gòu)的大模型無論做到什么階段，都會(huì)出現(xiàn)不同程度的幻覺，這是做大語言模型的技術(shù)人員終身的挑戰(zhàn)。

行業(yè)內(nèi)很多大模型用的是知識(shí)圖譜和搜索外掛的方式，去提升模型的檢索能力，騰訊也部分采用了這些方式，“但比例不會(huì)很高，我們要在整個(gè)大模型的預(yù)訓(xùn)練階段就控制這個(gè)問題”，蔣杰表示。

在騰訊內(nèi)部看來，雖然搜索增強(qiáng)能豐富大模型的答案，但它并不是大模型的底層能力。在方向選擇上，騰訊更傾向于通過底層能力的提升來增強(qiáng)大模型的水平，這也是騰訊選擇自研“探真”技術(shù)來解決幻覺的原因。

蔣杰表示，雖然市面上并不缺乏大模型產(chǎn)品，很多公司的技術(shù)路線也都類似，但這是一個(gè)拼細(xì)節(jié)的過程。

也許未來對(duì)頭部廠商大模型進(jìn)行評(píng)分，大家的差距僅在一兩分之間，但投入資源的不同、專注細(xì)節(jié)的區(qū)別，都會(huì)凸顯不同模型之間的差異性。

蔣杰認(rèn)為，大模型還遠(yuǎn)沒有觸碰到技術(shù)的天花板，不是靠幾個(gè)技術(shù)單點(diǎn)的突破就能讓大模型呈現(xiàn)出最終形態(tài)，這是一個(gè)綜合實(shí)力的比拼過程。它包括了技術(shù)突破的能力、語料的完整度、數(shù)據(jù)標(biāo)注的能力、糾錯(cuò)能力和評(píng)測(cè)能力的突破等。

而騰訊“有使用場(chǎng)景的資源，有數(shù)據(jù)方面的優(yōu)勢(shì)，有云計(jì)算基礎(chǔ)設(shè)施方面的加持，有打造人工智能應(yīng)用，為既有業(yè)務(wù)提供輔助方面的長(zhǎng)期實(shí)踐。”用騰訊總裁劉熾平的話說，這也是騰訊持續(xù)投入大模型研發(fā)并參與市場(chǎng)競(jìng)爭(zhēng)的底氣。

（文章來源：界面新聞）

關(guān)鍵詞：