陳根:大模型之難!3年后,數(shù)據(jù)可能會(huì)耗盡?
時(shí)間:2023-08-31 04:41:59
(相關(guān)資料圖)
文/陳根
研究機(jī)構(gòu)Epoch AI認(rèn)為,對(duì)數(shù)據(jù)需求急劇增加,以至于可用于訓(xùn)練的高質(zhì)量文本可能會(huì)在2026年耗盡。
大模型的核心三要素就是算法、算力與數(shù)據(jù),而決定著大模型智商水平的核心就是數(shù)據(jù),數(shù)據(jù)就如同人類的知識(shí)教育輸入一樣,輸入高質(zhì)量的知識(shí),相對(duì)而言就能產(chǎn)出高質(zhì)量的認(rèn)知。
而大模型對(duì)于數(shù)據(jù)的學(xué)習(xí)能力則取決于算力,當(dāng)算力不斷提升的情況下,就意味著大模型學(xué)習(xí)人類數(shù)據(jù)的能力越來越快,而人類社會(huì)所產(chǎn)出高質(zhì)量數(shù)據(jù)的能力將遠(yuǎn)落后于大模型的學(xué)習(xí)能力。
那么根據(jù)算力演變,以及人類社會(huì)產(chǎn)生數(shù)據(jù)能力的模型推算,訓(xùn)練大模型的數(shù)據(jù)將在2026年耗盡這是完全可能,甚至在很多領(lǐng)域會(huì)更快的被耗盡。
因此,從這個(gè)層面來看,掌握著產(chǎn)業(yè)核心數(shù)據(jù)的公司將是接下來重點(diǎn)需要關(guān)注的領(lǐng)域。這也正是我一直所說的,要關(guān)注行業(yè)垂直領(lǐng)域,擁有著核心數(shù)據(jù)的公司,這些公司在疊加了AI技術(shù)之后,將很快訓(xùn)練出行業(yè)垂直性的專業(yè)小模型。
而從商業(yè)落地價(jià)值實(shí)現(xiàn)的層面來看,專業(yè)小模型比通用大模型更快的實(shí)現(xiàn)商業(yè)變現(xiàn)與行業(yè)變革的能力。同樣,這也讓我們看到,沒有掌握核心數(shù)據(jù)的公司,不論是談?wù)摯竽P停蚴钦務(wù)撔∧P停举|(zhì)上都只是炒作。因?yàn)闆]有數(shù)據(jù),就不可能訓(xùn)練出相應(yīng)的模型。
相關(guān)稿件
陳根:大模型之難!3年后,數(shù)據(jù)可能會(huì)耗盡?
杭州亞運(yùn)會(huì)公共設(shè)施智能升級(jí) 貼心服務(wù)無處不在
股權(quán)轉(zhuǎn)讓的有關(guān)規(guī)定有哪些?
龍光集團(tuán)2023上半年收入138.6億元,同比增加9.7%|中報(bào)速遞
博盈特焊:擬15億元投建博盈特焊大凹生產(chǎn)基地建設(shè)項(xiàng)目
賽前觀瞻:對(duì)陣波多黎各,中國男籃需要發(fā)揮極佳狀態(tài)
北京經(jīng)開區(qū)首家區(qū)屬 社區(qū)醫(yī)院開業(yè)試運(yùn)行
瓦妮莎近照曝光!穿科比球衣展示絕美側(cè)顏殺,41歲韻味十足太美了
乒壇大爆冷!世界冠軍0-3慘敗被橫掃,60歲倪夏蓮不敵19歲小將
物聯(lián)網(wǎng)云平臺(tái)排名(十大物聯(lián)網(wǎng)云平臺(tái))
今年秋糧面積預(yù)計(jì)達(dá)13.1億畝?多地將陸續(xù)開啟豐收模式
保健食品出臺(tái)新規(guī),必須進(jìn)行人體試食試驗(yàn)
【新華500】新華500指數(shù)(989001)28日漲1.13%
萊陽市順盛汽車銷售有限公司(關(guān)于萊陽市順盛汽車銷售有限公司簡(jiǎn)述)
2023新能源汽車下鄉(xiāng)活動(dòng)(山東)啟動(dòng)
手臂上許多小紅點(diǎn)是怎么回事 手臂上有很多小紅點(diǎn)是什么原因
受核污染水排海影響,日本游現(xiàn)“退團(tuán)潮”?
前程人力2023年上半年凈利-962.73萬 由盈轉(zhuǎn)虧
經(jīng)濟(jì)前景再蒙陰影!歐元區(qū)經(jīng)濟(jì)景氣指數(shù)連續(xù)第四個(gè)月下降
今日匯市觀察:美元指數(shù)窄幅震蕩 關(guān)注美國小非農(nóng)數(shù)據(jù) 三大貨幣技術(shù)分析
唯捷創(chuàng)芯2023年上半年凈利-7020.1萬 由盈轉(zhuǎn)虧
退役太突然易建聯(lián)中文網(wǎng)微博第一時(shí)間只發(fā)出一串問號(hào):???


