综合久久久久久综合久 ,国第一产在线无码精品区,粗大进入日本高h视频,91尤物国产尤物福利在线,亚洲精品无码久久毛片波多野吉,五月婷婷丁香综合,二级特黄绝大片免费视频大片,国产欧美在线观看精品一区污

大語言模型中的涌現(xiàn)現(xiàn)象是不是偽科學(xué)？

來源：程序員客棧

Datawhale干貨

作者：平凡@知乎，諾桑比亞大學(xué)，在讀博士

今天晚上，花了一點兒時間看了兩篇文章：


(相關(guān)資料圖)

《Emergent Abilities of Large Language Models》[1]

《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]

這兩篇講的都是emergent behavior，即涌現(xiàn)現(xiàn)象。

大規(guī)模神經(jīng)網(wǎng)絡(luò)下的涌現(xiàn)現(xiàn)象

在機器學(xué)習(xí)中使用大規(guī)模神經(jīng)網(wǎng)絡(luò)時，由于增加了參數(shù)數(shù)量、訓(xùn)練數(shù)據(jù)或訓(xùn)練步驟等因素，出現(xiàn)了定性上的新能力和性質(zhì)，這些能力和性質(zhì)在小規(guī)模神經(jīng)網(wǎng)絡(luò)中往往是不存在的。

第一篇文章舉了這個例子，每個圖都可以理解為一個任務(wù)，橫軸是神經(jīng)網(wǎng)絡(luò)的規(guī)模，而縱軸是準(zhǔn)確率，可以理解為模型的性能。

我們拿圖一來看，在10的22次方前，這些模型基本上的性能基本上都很穩(wěn)定在0附近，而在10的22以后，突然在10的24次方上獲得了很大的性能提升，在其他的幾個任務(wù)上都表現(xiàn)出類似的特征。

意想不到的效果

第二篇文章更是有趣，我直接把推特一位博主的評論引用在這里：

作者發(fā)現(xiàn)，當(dāng)我們訓(xùn)練用網(wǎng)絡(luò)計算同余加法 a+b = ? (mod c) 時，網(wǎng)絡(luò)在某個時間突然獲得了 100% 準(zhǔn)確率。分析發(fā)現(xiàn)，神經(jīng)網(wǎng)絡(luò)實際上“頓悟”了使用傅立葉變換來計算同余加法！這個算法可以證明是正確的， 反人類直覺的。

從這倆例子里面我的感受是，只要數(shù)據(jù)量足夠且真實，且模型沒有硬錯誤的前提下，不斷的訓(xùn)練說不定真的能夠產(chǎn)生一些意想不到的效果。

還有就是我覺得人類現(xiàn)在積累的知識并不少，但是系統(tǒng)的少，零星的多，如果類似ChatGPT這樣的大模型可以拿所有的人類已有知識進行不斷學(xué)習(xí)的話，我覺得有很大概率會讓它涌現(xiàn)出意想不到的能力。

甚至可能把人類的生產(chǎn)力解放提前很多。

參考

1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf

標(biāo)簽：

推薦

財富更多》

動態(tài)更多》

熱點

主站蜘蛛池模板： 久久性妇女精品免费| 久久人人妻人人爽人人卡片av| 欧美a级完整在线观看| 国产精品天干天干在线观看| 国产99视频在线| 欧美一级色视频| 好久久免费视频高清| 日本亚洲成高清一区二区三区| 国产女人综合久久精品视| 久一在线视频| 国产精品私拍在线爆乳| 中文字幕 日韩 欧美| 五月激情综合网| 国产在线97| 国产亚洲精品97在线观看| 亚洲午夜福利精品无码不卡 | 午夜精品国产自在| 亚洲美女一区二区三区| 22sihu国产精品视频影视资讯| 亚洲成人一区在线| 国产精品久久久久鬼色| 国产精品页| 国产精品任我爽爆在线播放6080| 亚洲精品第五页| 一本大道香蕉久中文在线播放| 色综合激情网| 九九九精品视频| 四虎永久免费地址在线网站| 在线中文字幕网| 亚洲国产午夜精华无码福利| 不卡无码h在线观看| 深夜福利视频一区二区| 亚洲人成网18禁| 精品亚洲欧美中文字幕在线看| 亚洲aaa视频| 色噜噜狠狠色综合网图区| 综合社区亚洲熟妇p| 国产成年无码AⅤ片在线| 青草91视频免费观看| 综合久久久久久久综合网| 极品国产在线| 国产午夜一级毛片| 日本高清免费不卡视频| 久久精品丝袜| 性欧美在线| 欧美精品v欧洲精品| 国产av一码二码三码无码| 国产一级α片| 久热这里只有精品6| 91色爱欧美精品www| 高清久久精品亚洲日韩Av| 日本免费精品| 久久青草精品一区二区三区| 中文无码精品A∨在线观看不卡 | 国产高清无码麻豆精品| 四虎精品国产永久在线观看| 亚洲a免费| 国产a在视频线精品视频下载| 亚洲国产中文综合专区在| 亚洲第一黄色网址| 3344在线观看无码| 992tv国产人成在线观看| 欧美在线黄| 国产成人三级在线观看视频| 日本一本在线视频| 五月激激激综合网色播免费| 国产美女主播一级成人毛片| 国产精品亚洲天堂| 精品一区二区三区自慰喷水| 999国内精品视频免费| 久久青草精品一区二区三区| 91精品国产自产在线老师啪l| 亚洲人成在线精品| 青青草原国产av福利网站| 亚洲成人动漫在线| 亚洲精品男人天堂| 国产黄网永久免费| 国产不卡网| 亚洲激情区| 国产在线精品99一区不卡| 亚洲精品免费网站| 日韩国产欧美精品在线|