综合久久久久久综合久 ,国第一产在线无码精品区,粗大进入日本高h视频,91尤物国产尤物福利在线,亚洲精品无码久久毛片波多野吉,五月婷婷丁香综合,二级特黄绝大片免费视频大片,国产欧美在线观看精品一区污

大語言模型中的涌現(xiàn)現(xiàn)象是不是偽科學(xué)？

來源：程序員客棧

Datawhale干貨

作者：平凡@知乎，諾桑比亞大學(xué)，在讀博士

今天晚上，花了一點兒時間看了兩篇文章：


(相關(guān)資料圖)

《Emergent Abilities of Large Language Models》[1]

《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]

這兩篇講的都是emergent behavior，即涌現(xiàn)現(xiàn)象。

大規(guī)模神經(jīng)網(wǎng)絡(luò)下的涌現(xiàn)現(xiàn)象

在機器學(xué)習(xí)中使用大規(guī)模神經(jīng)網(wǎng)絡(luò)時，由于增加了參數(shù)數(shù)量、訓(xùn)練數(shù)據(jù)或訓(xùn)練步驟等因素，出現(xiàn)了定性上的新能力和性質(zhì)，這些能力和性質(zhì)在小規(guī)模神經(jīng)網(wǎng)絡(luò)中往往是不存在的。

第一篇文章舉了這個例子，每個圖都可以理解為一個任務(wù)，橫軸是神經(jīng)網(wǎng)絡(luò)的規(guī)模，而縱軸是準(zhǔn)確率，可以理解為模型的性能。

我們拿圖一來看，在10的22次方前，這些模型基本上的性能基本上都很穩(wěn)定在0附近，而在10的22以后，突然在10的24次方上獲得了很大的性能提升，在其他的幾個任務(wù)上都表現(xiàn)出類似的特征。

意想不到的效果

第二篇文章更是有趣，我直接把推特一位博主的評論引用在這里：

作者發(fā)現(xiàn)，當(dāng)我們訓(xùn)練用網(wǎng)絡(luò)計算同余加法 a+b = ? (mod c) 時，網(wǎng)絡(luò)在某個時間突然獲得了 100% 準(zhǔn)確率。分析發(fā)現(xiàn)，神經(jīng)網(wǎng)絡(luò)實際上“頓悟”了使用傅立葉變換來計算同余加法！這個算法可以證明是正確的， 反人類直覺的。

從這倆例子里面我的感受是，只要數(shù)據(jù)量足夠且真實，且模型沒有硬錯誤的前提下，不斷的訓(xùn)練說不定真的能夠產(chǎn)生一些意想不到的效果。

還有就是我覺得人類現(xiàn)在積累的知識并不少，但是系統(tǒng)的少，零星的多，如果類似ChatGPT這樣的大模型可以拿所有的人類已有知識進行不斷學(xué)習(xí)的話，我覺得有很大概率會讓它涌現(xiàn)出意想不到的能力。

甚至可能把人類的生產(chǎn)力解放提前很多。

參考

1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf

標(biāo)簽：

推薦

財富更多》

動態(tài)更多》

熱點

主站蜘蛛池模板： 国产一级毛片网站| 91久久国产综合精品女同我| 中文字幕日韩久久综合影院| 国产v精品成人免费视频71pao| P尤物久久99国产综合精品| 91网站国产| 日本免费高清一区| 亚洲综合极品香蕉久久网| 成年人国产视频| 中文纯内无码H| 国产经典在线观看一区| 国产精品一区在线麻豆| 九月婷婷亚洲综合在线| 深夜福利视频一区二区| 色播五月婷婷| 日本AⅤ精品一区二区三区日| 99在线小视频| 18禁高潮出水呻吟娇喘蜜芽| 欧美日韩在线第一页| 97国内精品久久久久不卡| 国产精品夜夜嗨视频免费视频| 亚洲国产精品美女| 免费人成视网站在线不卡| 乱系列中文字幕在线视频| 99精品伊人久久久大香线蕉| 亚洲日产2021三区在线| 亚洲第一成网站| 亚洲色无码专线精品观看| 国产精品xxx| 美女高潮全身流白浆福利区| 五月天综合网亚洲综合天堂网| 成人va亚洲va欧美天堂| 久久国产黑丝袜视频| 伊人久久婷婷| 亚洲精品国偷自产在线91正片| 午夜天堂视频| 婷五月综合| 四虎永久免费地址| 日韩第九页| 国产18页| 亚洲一区二区三区麻豆| 国产aⅴ无码专区亚洲av综合网| 毛片手机在线看| 婷婷午夜影院| 成人看片欧美一区二区| 国产乱子伦手机在线| 精品伊人久久久香线蕉| 日韩东京热无码人妻| 天堂网国产| 久久99久久无码毛片一区二区| av在线无码浏览| 97国产精品视频人人做人人爱| 九九热这里只有国产精品| 亚洲中文精品人人永久免费| 美女一级免费毛片| 国产一区二区三区夜色| 免费毛片网站在线观看| 中文字幕av一区二区三区欲色| 亚洲大尺码专区影院| 国产精品无码影视久久久久久久| 亚洲人成网站色7777| 国产情侣一区二区三区| 亚洲人成在线免费观看| 99视频在线免费| 中文字幕资源站| 19国产精品麻豆免费观看| 午夜不卡福利| 国产办公室秘书无码精品| 亚洲中文字幕在线观看| 国产99视频免费精品是看6| 99er这里只有精品| 久久精品国产精品青草app| 久久a毛片| 成人在线不卡视频| 亚洲精品免费网站| 亚洲精品天堂在线观看| 九九久久精品免费观看| 国产va免费精品| 国产区91| 国产一级毛片网站| 亚洲综合色婷婷| 亚洲人成影视在线观看|