大语言模型中的涌现现象是不是伪科学? 世界快播
Datawhale干货作者:平凡@知乎,诺桑比亚大学,在读博士今天晚上,花了一点儿时间看了两篇文章:《Emergent
Datawhale干货
作者:平凡@知乎,诺桑比亚大学,在读博士
(资料图片仅供参考)
今天晚上,花了一点儿时间看了两篇文章:
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior,即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时,由于增加了参数数量、训练数据或训练步骤等因素,出现了定性上的新能力和性质,这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子,每个图都可以理解为一个任务,横轴是神经网络的规模,而纵轴是准确率,可以理解为模型的性能。
我们拿图一来看,在10的22次方前,这些模型基本上的性能基本上都很稳定在0附近,而在10的22以后,突然在10的24次方上获得了很大的性能提升,在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣,我直接把推特一位博主的评论引用在这里:
作者发现,当我们训练用网络计算同余加法 a+b = ? (mod c) 时,网络在某个时间突然获得了 100% 准确率。分析发现,神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法!这个算法可以证明是正确的, 反人类直觉的。
从这俩例子里面我的感受是,只要数据量足够且真实,且模型没有硬错误的前提下,不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少,但是系统的少,零星的多,如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话,我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf关键词:
[ 相关文章 ]
Datawhale干货作者:平凡@知乎,诺桑比亚大学,在读博士今天晚上,花了一点儿时间看了两篇文章:《Emergent
呵护青少年健康成长,苏州太平街道盛泽村开展青少年“护胃日”活动
实拍,暴雨杀到南海!注意防御局地冰雹
可惜主板上SATA接口太少了。这款固态采用3DNANDTLC颗粒闪存,读取速度550MB s,写入速度450MB s
人民日报客户端消息针对4月19日下午上海迪士尼乐园发生的不和谐一幕,上海迪士尼度假区官方20日上午予以正
App4月21日消息,4月21日,国家外汇管理局公布2023年3月银行结售汇和银行代客涉外收付款数据。统计数据显示
马匹都是带有野性的,使用一些控制与驾驭马匹的工具。由于控制头部最为必要,所以这些工具中首先是马辔头,
韩国男团ASTRO成员文彬在位于首尔江南区的家中被发现身亡,年仅25岁。据首尔江南警察署透露,昨晚8点10分左
日前,第十七届中国电子政务论坛在山东济南召开,昆明市政务服务管理局受邀在政务服务专题论坛作主题访谈,
欢迎观看本篇文章,小勉来为大家解答以上问题。韩式萝卜泡菜,韩式萝卜泡菜做法很多人还不知道,现在让我们
宝马计划通过新一代全尺寸车辆重新定义高级豪华车的计划将很快在8系的第三名成员中继续执行。在6月25日至27
4月20日,太极股份(002368)融资买入2 11亿元,融资偿还1 55亿元,融资净买入5656 93万元,融资余额7 54亿元。
智通财经APP获悉,欧洲央行行长拉加德表示,若要战胜物价仍然增长过快的局面,该央行仍有一些工作要做。
LPR连续8月持平降息空间收窄 新一期贷款市场报价利率(LPR)出炉。4月17日央行开展了1700亿元MLF操作,中
4月20日,安恒信息(688023)融资买入1073 05万元,融资偿还1757 09万元,融资净卖出684 04万元,融资余额2 4亿元。
28投19铁,27岁一打季后赛就坑,5年1 8亿合同打没了,湖人,孟菲斯灰熊队,威廉·费尔顿·比尔·拉塞尔
36氪获悉,寒武纪公告称,公司不直接从事人工智能最终应用产品(例如类ChatGPT应用)的开发和销售,公司相
是先用清水将脸盆内的杂物清洗干净,再将脸盆浸泡在含有84消毒液或漂白粉的水中至少10分钟,之后将脸盆取出
1、越来越多的人在进行一些微整形手术的时候都有很多的顾虑,都在想着会不会有一些很不好的事情发生,那么
刘嘉玲:彻底崩溃!不雅照再遭曝光,结婚15年无子真相竟大白了?,胡军,康康,刘嘉玲,梁朝伟,曾志伟,不雅照,
[ 相关新闻 ]
Copyright 2015-2023 华夏医院网 版权所有 备案号:琼ICP备2022009675号-37 联系邮箱:435 227 67@qq.com