MosaicML 推出 300 億參數(shù)模型,訓(xùn)練成本 70 萬-全球今日訊
時間:2023-06-25 01:28:30
(資料圖片)
AI 創(chuàng)業(yè)公司 MosaicML 近日發(fā)布了其語言模型 MPT-30B,單從參數(shù)來看,這個模型具有 300 億參數(shù),放在如今動則上千億參數(shù)的模型領(lǐng)域中并沒有什么突出的地方。但這個新模型的訓(xùn)練成本卻只有其他模型的零頭,有望擴(kuò)大模型在更廣泛領(lǐng)域的運(yùn)用。
MosaicML 的首席執(zhí)行官兼聯(lián)合創(chuàng)始人 Naveen Rao 表示,MPT-30B 的訓(xùn)練成本為 70 萬美元,遠(yuǎn)低于訓(xùn)練 GPT-3 所需的數(shù)千萬美元。此外,MPT-30B 模型的質(zhì)量超過了 OpenAI 在 2020 年發(fā)布的初版 GPT-3。由于 MPT-30B 的成本較低,體積較小,它也可以更快速地被訓(xùn)練,并部署在本地硬件設(shè)備上。
MosaicML 使用了 Alibi 和 FlashAttention 技術(shù)來優(yōu)化模型,可以實(shí)現(xiàn)更長的文本長度和對 GPU 計算的高利用率。MosaicML 也是少數(shù)幾個能夠使用 Nvidia H100 GPU 的實(shí)驗室,相比以往,這使得每 GPU 的吞吐量增加了 2.4 倍以上,帶來更快的完成時間。
300 億參數(shù)這是一個在大模型領(lǐng)域經(jīng)常看到的數(shù)字,300 億參數(shù)為什么這么特殊呢?MosaicML 首席科學(xué)家 Frankle 則解釋道,首先 300 億參數(shù)能夠確保它可以在本地硬件上輕松運(yùn)行,同時保持質(zhì)量與 GPT-3 差不多或略優(yōu)于它。
其次任何超過 300 億參數(shù)限制的模型都需要將模型分解成多個平行段,通常也需要更加昂貴的多 GPU 設(shè)置。
除了讓 AI 技術(shù)更容易獲得之外,MosaicML 還專注于提高數(shù)據(jù)質(zhì)量,以提高模型性能。他們目前正在開發(fā)工具,幫助用戶在預(yù)訓(xùn)練過程中分層加入特定領(lǐng)域的數(shù)據(jù)。這確保了多樣化和高質(zhì)量的數(shù)據(jù)組合。將模型擴(kuò)展到 300 億參數(shù)只是 MosaicML 的第一步,接下來他們將以降低成本為前提,推出更大的、更高質(zhì)量的模型。
開發(fā)者可以從 Hugging Face 下載并使用開源的 MPT-30B 基礎(chǔ)模型,開發(fā)者還可以在自己的硬件上用自己的數(shù)據(jù)對模型進(jìn)行微調(diào)。
相關(guān)稿件
MosaicML 推出 300 億參數(shù)模型,訓(xùn)練成本 70 萬-全球今日訊
尚太科技:接受太平洋證券等機(jī)構(gòu)調(diào)研 快消息
世界速讀:芮國夫人配飾—2700年前的女王傳奇 記陜西考古博物館(十七)
端午假期廈門舉辦各式活動 市民游客感受傳統(tǒng)節(jié)日魅力 每日消息
河北發(fā)布高溫紅色預(yù)警 局地最高氣溫將達(dá)42℃
石家莊增開一條假日旅游公交專線!直達(dá)清涼避暑好去處-環(huán)球快報
張店要給這些人發(fā)錢了!符合條件的快申報_世界實(shí)時
好消息!這5種門診慢特病可跨省直接結(jié)算 全球快資訊
全球鉆石價格較峰值暴跌18%:人造鉆石市場規(guī)模不斷擴(kuò)大 當(dāng)前訊息
助推新區(qū)產(chǎn)業(yè)升級,太白湖數(shù)字經(jīng)濟(jì)產(chǎn)業(yè)園預(yù)計今年7月底投用
意媒:加拉塔薩雷想簽約維奇代替伊卡爾迪,已與經(jīng)紀(jì)人接觸 世界球精選
煮豬肝冷水下鍋還是熱水下鍋 ?大廚說2個關(guān)鍵步驟要做到,才鮮嫩-天天頭條
2023年山東省中小學(xué)教師合唱展演活動圓滿落幕 全球新要聞
世界快消息!國泰航空回應(yīng)客機(jī)中止起飛致多人受傷:系技術(shù)故障!
福建首批服務(wù)鄉(xiāng)村振興“銀齡人才”獲聘|環(huán)球今頭條
女子稱家中疑似遭人投毒,油中有農(nóng)藥味,村干部回應(yīng):公安已介入調(diào)查-環(huán)球時訊
北京中考首日高溫“烤驗”突出 或現(xiàn)40℃三連擊警惕中暑
全面提升供熱運(yùn)行保障水平 供熱設(shè)施“冬病夏治”正當(dāng)時|天天快播


