综合久久久久久综合久 ,国第一产在线无码精品区,粗大进入日本高h视频,91尤物国产尤物福利在线,亚洲精品无码久久毛片波多野吉,五月婷婷丁香综合,二级特黄绝大片免费视频大片,国产欧美在线观看精品一区污

大語言模型中的涌現(xiàn)現(xiàn)象是不是偽科學(xué)？

來源：程序員客棧

Datawhale干貨

作者：平凡@知乎，諾桑比亞大學(xué)，在讀博士

今天晚上，花了一點兒時間看了兩篇文章：


(相關(guān)資料圖)

《Emergent Abilities of Large Language Models》[1]

《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]

這兩篇講的都是emergent behavior，即涌現(xiàn)現(xiàn)象。

大規(guī)模神經(jīng)網(wǎng)絡(luò)下的涌現(xiàn)現(xiàn)象

在機器學(xué)習(xí)中使用大規(guī)模神經(jīng)網(wǎng)絡(luò)時，由于增加了參數(shù)數(shù)量、訓(xùn)練數(shù)據(jù)或訓(xùn)練步驟等因素，出現(xiàn)了定性上的新能力和性質(zhì)，這些能力和性質(zhì)在小規(guī)模神經(jīng)網(wǎng)絡(luò)中往往是不存在的。

第一篇文章舉了這個例子，每個圖都可以理解為一個任務(wù)，橫軸是神經(jīng)網(wǎng)絡(luò)的規(guī)模，而縱軸是準(zhǔn)確率，可以理解為模型的性能。

我們拿圖一來看，在10的22次方前，這些模型基本上的性能基本上都很穩(wěn)定在0附近，而在10的22以后，突然在10的24次方上獲得了很大的性能提升，在其他的幾個任務(wù)上都表現(xiàn)出類似的特征。

意想不到的效果

第二篇文章更是有趣，我直接把推特一位博主的評論引用在這里：

作者發(fā)現(xiàn)，當(dāng)我們訓(xùn)練用網(wǎng)絡(luò)計算同余加法 a+b = ? (mod c) 時，網(wǎng)絡(luò)在某個時間突然獲得了 100% 準(zhǔn)確率。分析發(fā)現(xiàn)，神經(jīng)網(wǎng)絡(luò)實際上“頓悟”了使用傅立葉變換來計算同余加法！這個算法可以證明是正確的， 反人類直覺的。

從這倆例子里面我的感受是，只要數(shù)據(jù)量足夠且真實，且模型沒有硬錯誤的前提下，不斷的訓(xùn)練說不定真的能夠產(chǎn)生一些意想不到的效果。

還有就是我覺得人類現(xiàn)在積累的知識并不少，但是系統(tǒng)的少，零星的多，如果類似ChatGPT這樣的大模型可以拿所有的人類已有知識進行不斷學(xué)習(xí)的話，我覺得有很大概率會讓它涌現(xiàn)出意想不到的能力。

甚至可能把人類的生產(chǎn)力解放提前很多。

參考

1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf

標(biāo)簽：

推薦

財富更多》

動態(tài)更多》

熱點

主站蜘蛛池模板： 中文字幕在线一区二区在线| 精品一区国产精品| 无码精品国产dvd在线观看9久 | 在线视频亚洲色图| 亚洲黄网视频| 凹凸国产分类在线观看| 精品小视频在线观看| 欧美综合中文字幕久久| 国产不卡国语在线| 欧美精品亚洲精品日韩专区| 免费jjzz在在线播放国产| 久久无码高潮喷水| 国产激情无码一区二区APP | 秋霞午夜国产精品成人片| 亚洲乱码视频| 免费看av在线网站网址| 综合五月天网| 欧美激情视频一区| 精品无码视频在线观看| 国产免费网址| 欧洲亚洲欧美国产日本高清| 综1合AV在线播放| 国产一区二区三区在线观看免费| 91免费国产在线观看尤物| 黄色网在线免费观看| 国产午夜精品鲁丝片| 久久久久夜色精品波多野结衣| 亚洲欧美日韩天堂| 在线播放91| 亚洲成网777777国产精品| 一级片一区| 久久综合结合久久狠狠狠97色| 国产成人艳妇AA视频在线| 不卡无码h在线观看| 亚洲福利一区二区三区| 精品综合久久久久久97超人该| 国产成人精品一区二区不卡| 亚洲福利片无码最新在线播放| 谁有在线观看日韩亚洲最新视频 | 国产凹凸一区在线观看视频| 真实国产乱子伦高清| 91毛片网| 国产精品男人的天堂| 亚洲天堂高清| 亚瑟天堂久久一区二区影院| 国产精品浪潮Av| 一本大道无码高清| 国产在线观看91精品| 91年精品国产福利线观看久久 | 美女被躁出白浆视频播放| 白浆免费视频国产精品视频| 成人国产免费| 日本一本在线视频| 制服丝袜 91视频| 中文字幕中文字字幕码一二区| 亚洲精品大秀视频| a国产精品| 日本不卡在线| 91福利国产成人精品导航| 香蕉久久国产精品免| 国产欧美日韩在线在线不卡视频| 激情网址在线观看| 91口爆吞精国产对白第三集 | 日韩123欧美字幕| 免费看黄片一区二区三区| 欧美 亚洲 日韩 国产| 国产18在线播放| jizz国产在线| 精品一区二区无码av| 久久综合色视频| 欧美怡红院视频一区二区三区| 亚洲成a人片7777| 久久精品国产精品青草app| 欧美专区在线观看| 久久久久青草大香线综合精品 | 久久国产香蕉| 国产三级国产精品国产普男人| 国产制服丝袜91在线| 18禁黄无遮挡免费动漫网站| 99人体免费视频| 伊人久久大香线蕉成人综合网| 欧美日韩国产系列在线观看|