> 自媒体 > (AI)人工智能 > 全球最大的AI巨量模型发布,浪潮研发中国自己的GPT-3
全球最大的AI巨量模型发布,浪潮研发中国自己的GPT-3
来源:科技DoDo
2023-07-08 12:00:08
358
管理

近年来人工智能的发展,已经从“大炼模型”逐步迈向了“炼大模型”的阶段。利用先进的算法,整合大规模的数据,汇聚大量算力,训练出巨量人工智能模型,是人工智能一直在探索的方向。9月28日,浪潮人工智能研究院发布全球最大规模人工智能巨量模型“源1.0”。作为中国自已的GPT-3,“源1.0”的单体模型参数量达2457亿,已超越美国OpenAI组织研发的GPT-3,成为全球最大规模的AI巨量模型。

(ZeroCLUE零样本学习榜-第一行为人类得分)

据了解,“源1.0”在算法、数据、算力上,都做到了超大规模和巨量化。算法方面,相比于1750亿参数的英文语言模型GTP-3,“源1.0”共包含了2457亿个参数,是前者参数量的1.404倍。特别值得一提的是,“源1.0”和GPT-3一样都是单体模型,而不是由很多小模型堆砌起来的。

在谈及浪潮人工智能研究院为何会选择单体模型而不是混合模型时,浪潮人工智能研究院首席研究员吴韶华表示:“巨量模型领域,我们从模型能力的角度非常关注模型的零样本学习能力和小样本学习能力,这也是巨量模型最核心的能力,也是最吸引人的地方。我们选择单体模型跟这个特点是强相关,单体模型证明了它在这方面有特别出色的效果。”

(FewCLUE小样本学习榜-第一行为人类得分)

事实上,巨量模型的发展备受关注。斯坦福大学李飞飞教授等人工智能领域知名学者近期在论文中表示,这类巨量模型的意义在于突现和均质。突现意味着通过巨大模型隐含的知识和推纳可带来让人振奋的科学创新灵感出现;均质表示巨量模型可以为诸多应用任务泛化支持提供统一强大的算法支撑。

“源1.0”模型参数规模为2457亿,相比GPT-3模型1750亿参数量和570GB训练数据集,源1.0参数规模领先40%,训练数据集规模领先近10倍;训练采用的中文数据集达5000GB,是迄今业界最大的高质量中文数据集。它总共阅读了大约 2000 亿词,是全球最大的中文数据集。源1.0中文巨量模型的发布,使得中国学术界和产业界可以使用一种通用巨量语言模型的方式,大幅降低针对不同应用场景的语言模型适配难度;同时提升在小样本学习和零样本学习场景的模型泛化应用能力。

浪潮表示,“源1.0”将面向学术研究单位和产业实践用户进行开源、开放、共享,降低巨量模型研究和应用的门槛,有效推进AI产业化和产业AI化的进步,让各个行业具备可感知、自学习、可进化的能力,最终帮助用户完成业务智能转型升级,以具备通用性的智能大模型成就行业AI大脑。

0
点赞
赏礼
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与本站无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。 凡本网注明 “来源:XXX(非本站)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。 如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。 QQ:617470285 邮箱:617470285@qq.com
相关文章
OpenAI 最短发布会推出满血 o1,新 Pro 会员费用高达 1452 元/月,体验完我..
就在刚刚,OpenAI 的「圣诞大礼包」来了。整场直播堪称 OpenAI 史上最短..
马斯克加码诉讼OpenAI 或带来行业洗牌
近日,美国知名企业家马斯克对美国开放人工智能研究中心(OpenAI)提起的..
OpenAI 计划自研 AI 芯片,以减少对英伟达的依赖
据路透社报道,OpenAI 正在与博通(Broadcom)合作开发其首款定制 AI 推..
潞晨科技推出视频生成模型Open-Sora 2.0,性能接近OpenAI Sora..
IT之家 3 月 13 日消息,今日,潞晨科技宣布推出 Open-Sora2.0,并全面开..
OpenAI 提案要求禁用 DeepSeek,呼吁打压中国 AI
来源:APPSO作者:发现明日产品的DeepSeek 的到来,确实让 OpenAI 感到很..
人去世后! 各个平台的账号怎么办?
文章开头,说一个悲伤的故事。上个月,一位网友去世近 10 年的父亲,突然..
出示“收款码”竟被盗刷?手机这个功能,赶紧打开→..
近日,湖南警方通报了一起令人警醒的“二维码”盗刷案件。从事手机销售的..
上海百万粉丝女网红报警:人财两空!“榜一大哥”身份曝光……太炸裂→..
百万粉丝女主播在与“榜一大哥”曹某长达九个月的“恋爱”中竟被诈骗了80..
7旬老太网恋“联合国工作人员”,1个月被骗111万!警方披露细节,真想不到..
#7旬老太网恋1个月被骗111万#的话题冲上热搜!深圳铁路公安处深圳站派出..
关于作者
国务院环卫工..(普通会员)
文章
848
关注
0
粉丝
1
点击领取今天的签到奖励!
签到排行

成员 网址收录40394 企业收录2981 印章生成234963 电子证书1036 电子名片60 自媒体46963

@2022 All Rights Reserved 浙ICP备19035174号-7
0
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索