> 自媒体 > (AI)人工智能 > 苹果芯跑大模型不用降计算精度,投机采样杀疯了,GPT-4也在用
苹果芯跑大模型不用降计算精度,投机采样杀疯了,GPT-4也在用
来源:量子位
2023-10-07 11:45:16
308
管理

梦晨 发自 凹非寺量子位 | 公众号 QbitAI

专攻代码的Code Llama一出,大家伙都盼着谁来后续量化瘦身一下,好在本地也能运行。

果然是llama.cpp作者Georgi Gerganov出手了,但他这回不按套路出牌:

不量化,就用FP16精度也让34B的Code LLama跑在苹果电脑上,推理速度超过每秒20个token。

Andjrey Karpathy把这个方法比喻成“先让小模型打草稿”。

他解释这个方法有效的关键之处在于,给大模型一次输入一个token和一次输入一批token,预测下一个token所需时间是差不多的。

但每一个token都依赖前一个token,所以正常情况无法一次对多个token进行采样。

小模型虽然能力较差,但实际生成一个句子时有很多部分是非常简单的,小模型也能胜任,只有遇到困难的部分再让大模型上就好了。

原论文认为,这样做无需改变大模型的结构,也无需重新训练,就可以直接加速已有的现成模型。

对于不会降低精度这一点,在论文附录部分也给出了数学论证。

了解了原理,再来看Georgi Gerganov这次的具体设置。

他使用4bit量化的7B模型作为“草稿”模型,每秒约能生成80个token。

而FP16精度的34B模型单独使用每秒只能生成10个token。

使用投机采样方法后获得了2倍的加速,与原论文数据相符。

最后,他还建议Meta以后在发布模型时直接把小的草稿模型附带上吧,受到大伙好评。

最开始他搞这个只是当成一个业余兴趣,但因为反响热烈,6月份他直接宣布创业。

新公司ggml.ai,主打llama.cpp背后的C语言机器学习框架,致力于在边缘设备上运行AI。

创业时获得来自GitHub前CEONat Friedman、Y Combinator合伙人Daniel Gross的种子前投资。

LlaMA2发布后他也很活跃,最狠的一次直接把大模型塞进了浏览器里。

谷歌投机采样论文:https://arxiv.org/abs/2211.17192

参考链接:[1]https://x.com/ggerganov/status/1697262700165013689[2]https://x.com/karpathy/status/1697318534555336961

— 完 —

量子位 QbitAI · 头条号签约

关注我们,第一时间获知前沿科技动态

0
点赞
赏礼
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与本站无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。 凡本网注明 “来源:XXX(非本站)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。 如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。 QQ:617470285 邮箱:617470285@qq.com
相关文章
和聊天机器人聊聊机器视觉 | 对话ChatGPT
ChatGPT对机器视觉怎么看?编辑 | YIFEIChatGPT有话说:作为一个机器人,..
跟对象暧昧时期的聊天,哈哈哈又甜又好笑
开始总是分分钟都妙不可言暧昧时期的心动总是最甜的速来瞅瞅“网友跟对象..
如何使用Bing Chat以及它与ChatGPT的不同之处
Bing Chat通常被称为“New Bing”或“Bing ChatGPT”, 与其更受欢迎的竞..
OpenAI CEO阿尔特曼:正重新考虑公司结构,将发布更多开源模型..
OpenAI CEO阿尔特曼:正重新考虑公司结构,将发布更多开源模型12月6日,O..
打不过就加入!“杀猪盘”短信沦为网友发疯工具?冲上热搜了……..
10月14日微博热搜出现了一则很有趣的话题——#杀猪盘短信已然沦为网友发..
JavaGPT:让Windows 98和其他旧版本操作系统访问ChatGPT
当你能将一个现代应用程序扩展到旧平台上时,总是很有趣。这正是一位开发..
ChatGPT升级,马斯克也带来了它的竞争对手
对于投资者而言,聊天机器人只是人工智能赛道上的“副菜”。美东时间11月..
王炸!微软发布Visual ChatGPT:视觉模型加持ChatGPT实现丝滑聊天..
大数据文摘授权转载自夕小瑶的卖萌屋作者:炼丹学徒近来,AI领域迎来各个..
OpenAI称已收到GPT-4“变懒”的反馈,但快一个月还没修好..
IT之家 12 月 9 日消息,OpenAI 的 GPT-4 大语言模型日前遭到部分用户投..
关于作者
我是歌王(普通会员)
文章
460
关注
0
粉丝
0
点击领取今天的签到奖励!
签到排行

成员 网址收录40334 企业收录2981 印章生成192763 电子证书828 电子名片52 自媒体25496

@2022 All Rights Reserved 浙ICP备19035174号-7
0
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索