云財(cái)經(jīng)訊，2月10日，騰訊混元開源面向消費(fèi)級(jí)硬件場景的“極小”模型HY-1.8B-2Bit，該模型基于1.8B參數(shù)的小尺寸模型，通過2Bit量化技術(shù)，等效參數(shù)量約為0.3B，實(shí)際存儲(chǔ)占用僅約600MB，比常用的一些手機(jī)應(yīng)用還小，實(shí)現(xiàn)了端側(cè)部署的新突破。該模型基于混元團(tuán)隊(duì)首創(chuàng)的產(chǎn)業(yè)級(jí)2Bit端側(cè)量化方案，通過對(duì)HY-1.8B-Instruct模型進(jìn)行2比特量化感知訓(xùn)練(QAT)產(chǎn)出，模型大小減少至原始精度模型的1/6，同時(shí)在真實(shí)端側(cè)設(shè)備上生成速度提升2-3倍，可大幅提升使用體驗(yàn)。能力上，模型還保留了原版的思維鏈，可以為不同復(fù)雜度的任務(wù)提供相應(yīng)深度的推理過程。這是業(yè)界首個(gè)實(shí)現(xiàn)2bit產(chǎn)業(yè)級(jí)量化的端側(cè)模型實(shí)踐。隨著大語言模型普及，如何將模型在手機(jī)、耳機(jī)或智能家居等設(shè)備上應(yīng)用，成為業(yè)界難題，尤其是不少應(yīng)用對(duì)模型的離線部署、私密性等都有更高的需求，這就需要更多能夠在端側(cè)運(yùn)行的又小又強(qiáng)的模型。目前，模型已在開源模型社區(qū)Huggingface和Github上線。(新京報(bào))