陳根：大模型之難！3年后，數據可能會耗盡？
時間：2023-08-31 04:41:59
(相關資料圖)
文/陳根
研究機構Epoch AI認為，對數據需求急劇增加，以至于可用于訓練的高質量文本可能會在2026年耗盡。
大模型的核心三要素就是算法、算力與數據，而決定著大模型智商水平的核心就是數據，數據就如同人類的知識教育輸入一樣，輸入高質量的知識，相對而言就能產出高質量的認知。
而大模型對于數據的學習能力則取決于算力，當算力不斷提升的情況下，就意味著大模型學習人類數據的能力越來越快，而人類社會所產出高質量數據的能力將遠落后于大模型的學習能力。
那么根據算力演變，以及人類社會產生數據能力的模型推算，訓練大模型的數據將在2026年耗盡這是完全可能，甚至在很多領域會更快的被耗盡。
因此，從這個層面來看，掌握著產業核心數據的公司將是接下來重點需要關注的領域。這也正是我一直所說的，要關注行業垂直領域，擁有著核心數據的公司，這些公司在疊加了AI技術之后，將很快訓練出行業垂直性的專業小模型。
而從商業落地價值實現的層面來看，專業小模型比通用大模型更快的實現商業變現與行業變革的能力。同樣，這也讓我們看到，沒有掌握核心數據的公司，不論是談論大模型，或是談論小模型，本質上都只是炒作。因為沒有數據，就不可能訓練出相應的模型。
