首頁 > 要聞 >                             
                        
          
						
							
          
                    
          
                        
                        
                    
          
                
          
                    
          
                    
          【天天報資訊】大語言模型中的涌現現象是不是偽科學？
          
                    
          
                        
          2023-05-28 11:07:01  程序員客棧
          
                    
          
                
                        
                
          
                    
          
                        
          
                          
          Datawhale干貨

          (資料圖)
          作者：平凡@知乎，諾桑比亞大學，在讀博士
          今天晚上，花了一點兒時間看了兩篇文章：
          《Emergent Abilities of Large Language Models》[1]
          《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
          這兩篇講的都是emergent behavior，即涌現現象。
          大規模神經網絡下的涌現現象
          在機器學習中使用大規模神經網絡時，由于增加了參數數量、訓練數據或訓練步驟等因素，出現了定性上的新能力和性質，這些能力和性質在小規模神經網絡中往往是不存在的。
          第一篇文章舉了這個例子，每個圖都可以理解為一個任務，橫軸是神經網絡的規模，而縱軸是準確率，可以理解為模型的性能。
          我們拿圖一來看，在10的22次方前，這些模型基本上的性能基本上都很穩定在0附近，而在10的22以后，突然在10的24次方上獲得了很大的性能提升，在其他的幾個任務上都表現出類似的特征。
          意想不到的效果
          第二篇文章更是有趣，我直接把推特一位博主的評論引用在這里：
          作者發現，當我們訓練用網絡計算同余加法 a+b = ? (mod c) 時，網絡在某個時間突然獲得了 100% 準確率。分析發現，神經網絡實際上“頓悟”了使用傅立葉變換來計算同余加法！這個算法可以證明是正確的， 反人類直覺的。
          從這倆例子里面我的感受是，只要數據量足夠且真實，且模型沒有硬錯誤的前提下，不斷的訓練說不定真的能夠產生一些意想不到的效果。
          還有就是我覺得人類現在積累的知識并不少，但是系統的少，零星的多，如果類似ChatGPT這樣的大模型可以拿所有的人類已有知識進行不斷學習的話，我覺得有很大概率會讓它涌現出意想不到的能力。
          甚至可能把人類的生產力解放提前很多。
          參考
          1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf
          						  
          關鍵詞
                     
          
                        
          
                    
          
                    
          
                                          
          
                
          
                
          
                    
                    
          
                        
          
                            
          相關推薦
          
                            
                        
          
                        
          
                          
                        
          
                    
          
                    
                    
                         
                
                          
            
          
            

            
            
          
			
			
          
 
                            
                
                
                            
          
            
            
            
          

            
          
            
        
          
    
          
    

    
    
    




亚洲色图黄色小说|
亚洲精品天堂成人片?V在线播放|
亚洲成AV人影片在线观看|
亚洲网站在线免费观看|
亚洲av无码成人黄网站在线观看|
九月丁香婷婷亚洲综合色|
亚洲五月综合缴情在线观看|
久久久久亚洲AV无码专区网站|
亚洲国产精品13p|
亚洲第一区精品观看|
亚洲福利精品一区二区三区|
亚洲成AV人网址|
亚洲综合色视频在线观看|
国产精品亚洲αv天堂无码
|
亚洲视频在线一区二区|
亚洲 国产 图片|
亚洲午夜久久久精品影院|
亚洲2022国产成人精品无码区|
亚洲AV日韩AV鸥美在线观看|
亚洲成a人片77777老司机|
色播亚洲视频在线观看|
亚洲福利秒拍一区二区|
亚洲卡一卡2卡三卡4麻豆|
亚洲sss综合天堂久久久|
亚洲色成人四虎在线观看|
亚洲国产成人精品无码区花野真一|
亚洲AV第一成肉网|
校园亚洲春色另类小说合集|
亚洲福利中文字幕在线网址|
国外亚洲成AV人片在线观看
|
亚洲xxxx18|
www亚洲精品久久久乳|
亚洲黄片毛片在线观看|
亚洲综合国产一区二区三区|
亚洲AV午夜成人片|
亚洲理论片在线观看|
亚洲最大天堂无码精品区|
亚洲AV无码成人精品区日韩
|
亚洲av成人一区二区三区观看在线
|
亚洲熟伦熟女专区hd高清|
国产亚洲一卡2卡3卡4卡新区|