GPT-3论文解读(视频)
GiantPandaCV
共 647字,需浏览 2分钟
· 2020-11-29
转载自油管:
https://www.youtube.com/watch?v=SY5PvZrJhLE&t=458s&ab_channel=YannicKilcher
B站链接:
https://www.bilibili.com/video/BV1aK4y1f7Nm/
点击小程序观看视频,时长1小时05分
视频太长不看版:
总的来说讲者对于 GPT-3 的看法是:
GPT-3 在模型结构上就是 transformer 的多层堆叠,并没有提出什么新的结构。
且 GPT-3 因为模型足够大,所以讲者猜测它是以某种方式记住了所有的训练数据。
而训练数据是用了互联网上和维基百科等的超大量文本数据。
在训练数据上完成训练之后是直接用去做下游任务的,并没有 finetuning 的过程。
对于下游任务,比如问题回答。
GPT-3 就是单纯从它记住的训练数据中,筛选出与输入问题类似的训练样本,
然后通过插值(原文 interpolate)融合生成答案而已。GPT-3 其实并不具备推理能力。
最后讲者提到,GPT-3 的一个可能应用是可以做模糊搜索
比如可以给 GPT-3 输入一个研究的 idea,作为开头然后让它生成文章的摘要。
还有更多有趣的实验结果可以阅读文章或者视频解读。
评论
鼎秀华城
物业公司暂无开发商晋城市鼎秀房地产开发有限公司小区地址山西省/晋城市/城区/钟家庄街道/祥云街物业类型公寓住宅权属类别商品房住宅竣工时间2016年产权年限70年总户数暂无总建面积300000.0㎡容积
鼎秀华城
0
鼎秀家园
物业公司业主自管开发商济南市城市建设投资服务中心有限公司小区地址山东省/济南市/历下区/龙洞街道/龙鼎大道物业类型公寓住宅权属类别商品房住宅竣工时间2018年产权年限70年总户数2303户总建面积暂无
鼎秀家园
0
鼎秀苑
物业公司暂无开发商莆田市必盛房地产有限公司小区地址福建省/莆田市/秀屿区/笏石镇/清塘大道108号物业类型公寓住宅权属类别商品房住宅竣工时间2014年产权年限70年总户数暂无总建面积暂无容积率3.20
鼎秀苑
0
海秀街道金鼎社区
一、沿革、机构金鼎社区居委会是海口市秀英区海秀街道下属的一个居民自治组织,成立于1986年,原名为海秀二居委会,2001年9月更名为金鼎社区居委会。居委会内设民政福利会、治保会、调解会、计生协会、妇代
海秀街道金鼎社区
0