> 自媒体 > (AI)人工智能 > 参数量仅为4%,性能媲美GPT-3:开发者图解DeepMind的RETRO
参数量仅为4%,性能媲美GPT-3:开发者图解DeepMind的RETRO
来源:机器之心Pro
2023-05-11 13:42:24
384
管理

机器之心编译

作者:Jay Alammar

编辑:张倩、蛋酱

构建越来越大的模型并不是提高性能的唯一方法。

从 BERT 到 GPT-2 再到 GPT-3,大模型的规模是一路看涨,表现也越来越惊艳。增大模型规模已经被证明是一条可行的改进路径,而且 DeepMind 前段时间的一些研究表明:这条路还没有走到头,继续增大模型依然有着可观的收益。

但与此同时,我们也知道,增大模型可能并不是提升性能的唯一路径,前段时间的几个研究也证明了这一点。其中比较有代表性的研究要数 DeepMind 的 RETRO Transformer 和 OpenAI 的 WebGPT。这两项研究表明,如果我们用一种搜索 / 查询信息的方式来增强模型,小一点的生成语言模型也能达到之前大模型才能达到的性能。

在大模型一统天下的今天,这类研究显得非常难能可贵。

在这篇文章中,擅长机器学习可视化的知名博客作者 Jay Alammar 详细分析了 DeepMind 的 RETRO(Retrieval-Enhanced TRansfOrmer)模型。该模型与 GPT-3 性能相当,但参数量仅为 GPT-3 的 4%。

检索到的近邻被添加到语言模型的输入中。然而,它们在模型内部的处理方式略有不同。

高层次的 RETRO 架构

RETRO 的架构由一个编码器堆栈和一个解码器堆栈组成。

RETRO Transformer 由一个编码器堆栈(处理近邻)和一个解码器堆栈(处理输入)组成

编码器由标准的 Transformer 编码器块(self-attention FFNN)组成。Retro 使用由两个 Transformer 编码器块组成的编码器。

解码器堆栈包含了两种解码器 block:

标准 Transformer 解码器块(ATTN FFNN)RETRO 解码器块(ATTN Chunked cross attention (CCA) FFNN)

下图展示了检索到的信息可以浏览完成提示所需的节点步骤。

原文链接:http://jalammar.github.io/illustrated-retrieval-transformer/

0
点赞
赏礼
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与本站无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。 凡本网注明 “来源:XXX(非本站)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。 如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。 QQ:617470285 邮箱:617470285@qq.com
相关文章
4S店关了,消费者权益不能随意“关”|荔枝时评
文/熊志(作者熊志,荔枝新闻特约评论员,资深评论人;本文系荔枝新闻客..
4S店现关停潮,消费者权益谁来保障?
“品牌授权已取消”“公司当前暂停营业”“已提出退网申请”……近期,部..
多地4s店迎来倒闭潮,他们可以一跑了之但消费者怎么办呢?..
最近,多地4S店倒闭潮的消息如惊雷般炸响,让汽车行业的从业者和广大消费..
二手车|别克GL8:空间超大还保值!奶爸首选
随着二胎、三胎政策的放开,再加上生活水平的提升,越来越多的消费者在购..
二手车|天籁:十一、二万,日系+中型+大沙发都有?..
十一、二万,你是选择一台紧凑型还是一台二手日系中型轿车?入门级车型更..
买新车贬值快\u0026#34;不划算\u0026#34;?这几款二手车开上几年不会亏,还..
既然买新车"吃亏",那么二手车怎样呢?今天漫哥就跟大家推荐几款在一直保..
不敢买二手车?看完这些买前功课放心去买吧
[爱卡汽车 淘二手车原创]随着近几年国内二手车行业的发展,相信大家也感..
选购二手车,先看这几点,新手避坑指南
哈喽,兄弟们!熟悉南哥的都知道,南哥自己买的车大多是都二手,比如天籁..
新能源二手车能不能买?三吱跑了1300公里告诉你答案
不知道大家有没有看过电影《飞驰人生》,自从看了这个电影,我一直想体验..
关于作者
细雨入梦(普通会员)
文章
671
关注
0
粉丝
0
点击领取今天的签到奖励!
签到排行

成员 网址收录40373 企业收录2981 印章生成220227 电子证书958 电子名片58 自媒体39805

@2022 All Rights Reserved 浙ICP备19035174号-7
0
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索