人工智能技术的发展取得了长足进步,带来了许多前所未有的机遇,但在技术创新落地应用方面,与国外巨头的差距在逐渐拉大。ChatGPT作为最具代表性的多领域通用人工智能技术之一,其强大的技术能力和先进的应用措施已被广泛认可和应用。与之形成鲜明对比的是,国内企业和科研机构在技术实力和应用创新方面仍然存在较大差距。
技术能力差距专家认为,国内技术比ChatGPT主要差在大模型环节,包括清洗、标注、模型结构设计、训练推理的技术积累。ChatGPT背后是文本/跨模态大模型、多轮对话、强化学习等多技术的融合创新,而国内大部分科技企业、科研院所多聚焦垂直应用,缺乏多技术融合创新能力。从落地应用来看,国内头部企业均表示已开展相关技术研发或部分模型进入内测阶段,但仍未出现与ChatGPT抗衡的大模型产品。加之大模型的训练成本较高,技术应用面临着亿元级研发投入和海量训练试错,国内企业投入严重不足,研发推广和产业落地整体落后于海外。
落地应用差距1. 缺少高质量训练数据
对于GPT-3模型,训练所需的语料75%是英文,3%是中文,这说明了高质量训练数据的重要性。虽然英文语料公开数据更多、质量更高,但中文开源高质量数据少,特别是构建通用领域大模型的百科类、问答类、图书文献、学术论文、报纸杂志等高质量中文内容。同时,国内专业数据服务还处于起步阶段,可用于人工智能模型训练的经过加工、清洗、标注的高质量数据集还相对匮乏。缺少高质量训练数据已成为国内大模型训练的核心痛点。
2. 缺少充足的智能算力支撑
大模型训练和运营算力成本相对较高。目前业界测算ChatGPT训练成本约为1000万美元,为研发拥有部分ChatGPT能力的大模型,至少需要上千张A100训练卡。运营阶段,ChatGPT云计算成本每日约200万美元。缺乏大规模并行计算工程能力,同时采购国外先进GPU也受到限制,国产智能芯片算力并不完全支撑大模型研发。
3. 缺少适合大模型研发特点的机制
人工智能的大模型具有长周期、重投入、高风险等特点。国内企业、高校在“大模型”“大数据”“大算力”等方面各有侧重,研发力量分散,没有与OpenAI技术实力对标的企业。并且,企业受盈利压力很难长期维持高投入,政府项目的支持力度也有限,而领军人才和核心团队的缺乏更是国内大模型研发的一大制约因素。
应对策略针对上述问题,我们应该采取一系列措施加以解决。主要包括:
1. 加强数据开放
通过搭建高质量数据平台来解决缺少高质量训练数据的问题,通过与企业、高校、公共机构合作推动数据集与技术集的共同进步,推动数据共享化,进一步扩大并深化开放,为人工智能领域的创新提供开放、协同、共享的数据资源。
2. 提高算力技术和平台建设
采用计算机图形学中的流水线思想,把一个工程分割成许多独立的计算任务,并在多个标准设备上进行部署,提高系统的稳定性和性能;同时建设完善的算力平台,用于人工智能的训练与研究,扩大产业规模。
3. 支持领军人才和团队
加强招聘和引进优秀人才,建立优秀人才数据服务与管理平台,建立系统化、长效的奖励机制,为人才队伍提供持续、稳定、高效的支持,支持人才以更加专业、严谨、高效和顶尖的方式参与到各个领域的研究开发工作中。
相关文章
猜你喜欢