> 自媒体 > (AI)人工智能 > 通义千问720亿参数模型宣布开源,部分性能超越闭源GPT-4
通义千问720亿参数模型宣布开源,部分性能超越闭源GPT-4
来源:文汇网
2023-12-04 15:42:47
557
管理

阿里云通义千问720亿参数模型Qwen-72B日前宣布开源。该模型基于3T tokens高质量数据训练,在10个权威基准测评中夺得开源模型最优成绩,在部分测评中超越闭源的GPT-3.5和GPT-4。

在英语任务上,Qwen-72B在MMLU基准测试取得开源模型最高分;中文任务上,Qwen-72B在C-Eval、CMMLU、GaokaoBench等基准得分超越GPT-4;数学推理方面,Qwen-72B在GSM8K、MATH测评中断层式领先其他开源模型;代码理解方面,Qwen-72B在HumanEval、MBPP等测评中的表现大幅提升,代码能力有了质的飞跃。

据介绍,Qwen-72B可以处理最多32k的长文本输入,在长文本理解测试集LEval上取得了超越ChatGPT-3.5-16k的效果。研发团队优化了Qwen-72B的指令遵循、工具使用等技能,使之能更好地被下游应用集成。比如,Qwen-72B搭载了强大的系统指令(System Prompt)能力,用户只用一句提示词就可定制AI助手,要求大模型扮演某个角色或者执行特定的回复任务。

随着Qwen-72B的开源,通义千问还开源了18亿参数模型Qwen-1.8B和音频大模型Qwen-Audio。至此,通义千问共开源18亿、70亿、140亿、720亿参数的4款大语言模型,以及视觉理解、音频理解两款多模态大模型,实现“全尺寸、全模态”开源。基于Qwen-72B,大中型企业可开发商业应用,高校、科研院所可开展AI for Science等科研工作。

从1.8B到72B,通义千问率先实现全尺寸开源

如果说Qwen-72B“向上摸高”,抬升了开源大模型的尺寸和性能天花板;发布会上的另一开源模型Qwen-1.8B则“向下探底”,成为尺寸最小的中国开源大模型,推理2K长度文本内容仅需3G显存,可在消费级终端部署。

从18亿、70亿、140亿到720亿参数规模,通义千问成为业界首个“全尺寸开源”的大模型。用户可在魔搭社区直接体验Qwen系列模型效果,也可通过阿里云灵积平台调用模型API,或基于阿里云百炼平台定制大模型应用。阿里云人工智能平台PAI针对通义千问全系列模型进行深度适配,推出了轻量级微调、全参数微调、分布式训练、离线推理验证、在线服务部署等服务。

阿里云是国内最早开源自研大模型的科技企业,8月以来开源了Qwen-7B、Qwen-14B和视觉理解模型Qwen-VL。几款模型先后冲上HuggingFace、Github大模型榜单,得到中小企业和个人开发者的青睐,累计下载量超过150万,催生出150多款新模型、新应用。发布会现场,多位开发者伙伴现身说法,分享了他们用Qwen开发专属模型和特定应用的实践。

阿里云CTO周靖人表示,开源生态对促进中国大模型的技术进步与应用落地至关重要,通义千问将持续投入开源,希望成为“AI时代最开放的大模型”,与伙伴们共同促进大模型生态建设。

通义千问基座模型持续进化,多模态探索业界领先

通义千问在多模态大模型领域的探索也领先业界一步,当天,阿里云首次开源音频理解大模型Qwen-Audio。

Qwen-Audio能够感知和理解人声、自然声、动物声、音乐声等各类语音信号。用户可以输入一段音频,要求模型给出对音频的理解,甚至基于音频进行文学创作、逻辑推理、故事续写等等。音频理解能够赋予大模型接近人类的听觉能力。

通义大模型能“听”也能“看”。通义千问8月开源出视觉理解大模型Qwen-VL,迅速成为国际开源社区最佳实践之一。本次发布会又宣布了Qwen-VL的重大更新,大幅提升通用OCR、视觉推理、中文文本理解基础能力,还能处理各种分辨率和规格的图像,甚至能“看图做题”。不论从权威测评成绩还是真人体验的效果看,Qwen-VL的中文文本理解能力都大幅超越了GPT-4V。

通义千问闭源模型也在持续进化,一个月前发布的通义千问2.0版闭源模型,最近已进阶至2.1版,上下文窗口长度扩展到32k,代码理解生成能力、数学推理能力、中英文百科知识、幻觉诱导抵抗能力分别提升30%、10%、近5%和14%。用户可以在通义千问APP免费体验最新版本的闭源模型。

0
点赞
赏礼
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与本站无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。 凡本网注明 “来源:XXX(非本站)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。 如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。 QQ:617470285 邮箱:617470285@qq.com
相关文章
汽车认证存在造假行为,丰田、本田、马自达日本高管鞠躬道歉..
环球网及多家媒体报道,据日本国土交通省发布消息,鉴于日本大发工业等公..
关注|朔尔茨反对将欧洲汽车市场与外国竞争隔绝,德国车企均表态..
文:懂车帝原创 李德喆[懂车帝原创 行业] 据外媒报道,当地时间6月8日,..
阿塞拜疆与格鲁吉亚争夺投资机会,外高加索成中国汽车出海重点市场?..
(文/潘昱辰 编辑/高莘)据格鲁吉亚媒体agenda报道,日前中国驻格鲁吉亚..
事关汽车市场,朔尔茨表态:反对
德国总理:反对将欧洲汽车市场与外国竞争隔绝新华社法兰克福6月8日电(记..
朔尔茨再表态:反对欧洲汽车市场排除外国竞争,对中国也应公平..
【文/观察者网 熊超然】前有美国已宣布对中国电动汽车征收四倍关税,后有..
喵哥试驾了问界新M7 Ultra,底盘和颜值提升明显,要排队提车了..
喵哥在问界新M7 Ultra发布会之前,就试驾到了,今天跟大家详细聊一下改款..
自动驾驶汽车离消费者还有多远?专家解读
4日,工业和信息化部等四部门公布了一份名单,由汽车生产企业和使用主体..
自动驾驶汽车离消费者还有多远?专家解读
原标题:自动驾驶汽车离消费者还有多远?专家解读4日,工业和信息化部等..
自动驾驶汽车离消费者还有多远?专家解读
4日,工业和信息化部等四部门公布了一份名单,由汽车生产企业和使用主体..
关于作者
小北(普通会员)
文章
1040
关注
0
粉丝
0
点击领取今天的签到奖励!
签到排行

成员 网址收录40402 企业收录2983 印章生成238590 电子证书1060 电子名片60 自媒体57890

@2022 All Rights Reserved 浙ICP备19035174号-7
0
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索