人工智能技術飛速發(fā)展，大模型“百花齊放”。在全球人工智能浪潮下，如何在賽博空間贏得更大的話語權？如何進一步推進大模型的行業(yè)化落地？凡此種種，對我國大模型的“探索者”們提出了更高的要求，也帶來了更多機遇。近日，傳神語聯(lián)董事長何恩培在CSDN全球機器學習技術大會上，分享了他對大模型發(fā)展的深刻見解和傳神在該領域的創(chuàng)新性實踐成果。
實時學習，讓大模型不再“隔岸觀火”
何恩培認為，大模型正在從Scaling Law時代邁向“實時學習”時代。據工信部披露，我國完成備案并上線為公眾提供服務的生成式人工智能服務大模型近200個。在大模型發(fā)展過程中，Scaling Law曾是業(yè)界遵循的“黃金法則”，但科技媒體《The Information》的報道稱，OpenAI下一代旗艦模型“Orion”訓練效果或遠不及預期：與GPT4相比，Orion性能提升也許微乎其微。這引發(fā)了業(yè)界對大模型技術發(fā)展路徑的深度思考：大模型Scaling Law是否是唯一的方向？
針對技術路線問題，何恩培表示，隨著大模型技術不斷發(fā)展，單純依賴集中式暴力訓練的弊端日益凸顯。當下，大模型發(fā)展更注重對“智慧”的深度挖掘，具備實時學習客戶數據的能力，而非僅僅盲目擴充參數規(guī)模，所以不能再單一遵循Scaling Law法則�；诖�，傳神推出的任度雙腦大模型，作為這一理念的實踐創(chuàng)新，實現(xiàn)了模型對客戶數據的實時學習，能夠動態(tài)調整優(yōu)化，無需離場訓練，有效保障了數據的安全與隱私。
致力于讓大模型不再只是“隔岸觀火”的顧問，而是積極適應新的發(fā)展需求，讓大模型成為客戶的內部專家。
任度雙腦大模型：數推分離的創(chuàng)新技術突破
大模型的落地應用中最重要的就是如何與客戶數據結合，并非買一個大模型那么簡單，同時如果客戶產生新的數據不斷進入，大模型也需要“更新”，如何實現(xiàn)“更新”？無非兩種方法：一是基于客戶數據重新訓練，需要付出極高的成本，且不一定成功。更具有挑戰(zhàn)性的是客戶數據通常需要交給大模型廠商去訓練，這會帶來極大數據安全隱患；其二是與向量結合，大模型通過向量庫搜索客戶本地數據所需內容后進行推理，這種方法不能實現(xiàn)對客戶數據的理解，準確率低�！霸诼涞貞弥�，大模型對客戶數據的高效理解和挖掘是關鍵，但這對客戶恰恰是一個兩難問題�！焙味髋嗾f，“為解決這些問題，自2021年起，我們就構建了客戶數據學習網絡和推理網絡相分離的架構，從而形成‘雙腦結構’，走出了一條獨特的技術發(fā)展道路。”
這一技術創(chuàng)新的核心在于獨特的雙網絡架構，將客戶數據學習網絡與推理網絡分離。其中，客戶數據學習網絡專注于數據的動態(tài)管理與迭代訓練，持續(xù)為模型注入知識；推理網絡，作為經大量數據預訓練的基礎網絡，有良好的推理和泛化能力。雙網絡通過共享嵌入層和中間表示層協(xié)同工作，類似“主腦”與“輔腦”的高效配合模式，既支持獨立訓練，也支持聯(lián)合推理。
何恩培告訴記者，這樣的設計讓大模型變得“更聰明”，顯著降低了訓練算力成本，有效避免了微調訓練造成的基座模型能力退化和泛化能力減弱等問題。實時學習和訓練模式不但能夠有效提升準確率，而且客戶數據不用離場，減少用戶使用的心理障礙。值得關注的是，傳神是全球大模型領域首家實現(xiàn)數推分離技術路線的人工智能企業(yè)，這也是中國人工智能在行業(yè)內的重大突破。
為滿足客戶在大模型應用中對成本、準確性和數據安全的實際需求，傳神語聯(lián)推出了搭載任度雙腦大模型的一體機產品，助力客戶在真實場景中高效應用大模型。
根原創(chuàng)，擺脫中國AI對國外的思想跟隨和開源的過度依賴
當下，國際環(huán)境正在發(fā)生深刻變化，地緣政治不僅影響國家、民族，也在影響各行各業(yè)，影響團隊和個人，這使得對“根原創(chuàng)”的需求愈加緊迫。在2022年，開源社區(qū)GitHub對部分用戶賬號實施大規(guī)模管理舉措，該事件引起廣泛關注，也警示我們沒有任何一個開源是絕對安全的。為保證我們的技術、安全自主可控以及創(chuàng)新不受限，堅持“根原創(chuàng)”勢在必行。
2024年政府工作報告首次提出開展“人工智能+”行動，為大模型深度嵌入千行百業(yè)作出了指引。值得關注的是，長期以來，國產人工智能領域存在著對國外的思想跟隨和開源依賴。何恩培認為，這會限制國產大模型在新一代技術領域的探索，影響未來的技術突破。因此，必須要有人堅持“根原創(chuàng)”，敢于堅持“根原創(chuàng)”，走出具有中國特色的新一代人工智能道路。
“我們今天能夠堅持在‘根原創(chuàng)’這條路上走下去，不僅因為我們的AI‘地基’——也就是算法框架和模型架構，并不比別人差，產品效果也在第一陣營。更重要的是我認為中國人也應該有自己的技術自信，敢于堅持自己的原創(chuàng)路線”何恩培說。
以任度大模型為例，其數推分離雙網絡架構獨具特色，是真正意義上從底層算法框架到上層應用的全技術棧自主研發(fā)成果，通過了中國信息通信研究院“0開源依賴”的評測，未使用任何開源代碼和框架�！拔覀冏灾餮邪l(fā)了機器學習算法框架和模型架構，這使得我們的任何想法和創(chuàng)新都可以不受限制地去實踐，讓任度大模型具備實時學習客戶數據的能力。在國內外，能做到這一點的企業(yè)為數不多�！焙味髋嘟榻B。
構建自主可控的主權大模型
人工智能發(fā)展到今天，已經不僅關乎科技本身。技術的變革深刻改變了人類的生活，同時帶來了倫理、道德、隱私等一系列問題。其中，人工智能的“價值對齊”格外引人深思。
大模型的“價值觀”來源于它的訓練數據和訓練時對神經網絡層的干預能力，而全球的多元文化背景和價值體系使得價值對齊的標準統(tǒng)一進程難以推進，這也就意味著，如果不發(fā)展自己的大模型，而只使用國外的大模型產品，幾乎等同于全盤接受對方的價值觀。
如何培養(yǎng)有正確價值觀的主權大模型？在何恩培看來，在遵守人類共通的主流價值觀的同時，要堅定地求同存異，不能丟棄自己的特色。在數字世界，要推廣普及符合我國文化意識形態(tài)的人工智能。如Meta 公司 Llama 大模型，因互聯(lián)網中英文語料占比懸殊，對中國文化理解受限，若任何一國全面推廣該模型，實際上就是在推廣西方文化價值觀。
善治才能有“善智”。在訓練中，給予大模型更多正向引導，融入符合我國價值觀的語料，有助于大模型深入理解和反映中文使用者的文化背景和價值取向，從而在全球化背景下保持中國文化的獨特性，更好地服務中國本土用戶，滿足行業(yè)發(fā)展需要。
面對人工智能技術的飛速發(fā)展，傳神語聯(lián)董事長何恩培以其獨到的見解和創(chuàng)新的實踐，為我國大模型的發(fā)展探索出了一條新路徑。他堅持“根原創(chuàng)”，注重技術的自主可控和文化原滋原味的傳播和傳承，為國產大模型的未來發(fā)展注入了新的活力和動力。我們有理由相信，在何恩培的帶領下，傳神語聯(lián)將繼續(xù)在人工智能領域深耕細作，為我國大模型的崛起貢獻更多的智慧和力量。
【免責聲明】本文僅代表作者本人觀點，與和訊網無關。和訊網站對文中陳述、觀點判斷保持中立，不對所包含內容的準確性、可靠性或完整性提供任何明示或暗示的保證。請讀者僅作參考，并請自行承擔全部責任。郵箱：news_center@staff.hexun.com
最新評論