梦晨 发自 凹非寺量子位 | 公众号 QbitAI
大神仅花一个周末训练微型LLaMA 2,并移植到C语言。
推理代码只有500行,在苹果M1笔记本上做到每秒输出98个token。
作者是OpenAI创始成员Andrej Karpathy,他把这个项目叫做Baby LLaMA 2(羊驼宝宝)。
虽然它只有1500万参数,下载下来也只有58MB,但是已经能流畅讲故事。
此外,开发过程中还有一个插曲。
Karpathy很久不写C语言已经生疏了,但是在GPT-4的帮助下,还是只用一个周末就完成了全部工作。
对此,英伟达科学家Jim Fan评价为:现象级。
在各种优化方法加持下,karpathy也透露已经开始尝试训练更大的模型,并表示:
70亿参数也许触手可及。
GitHub:https://github.com/karpathy/llama2.c
在浏览器运行Baby LLaMA 2:https://ggerganov.com/llama2.c
参考链接:[1]https://twitter.com/karpathy/status/1683143097604243456[2]https://twitter.com/ggerganov/status/1683174252990660610[3]https://twitter.com/altryne/status/1683222517719384065[4]https://news.ycombinator.com/item?id=36838051
— 完 —
量子位 QbitAI · 头条号签约
关注我们,第一时间获知前沿科技动态
相关文章
猜你喜欢