更强大的性能:ChatGLm2-6B 使用了 GLM 的混合目标函数,经过了 1.4T 中英标识符的预训练与人类偏好对齐训练,评测结果显示,相比于初代模型,ChatGLM2-6B 在 MMLU( 23%)、CEval( 33%)、GSM8K( 571%) 、BBH( 60%)等数据集上的性能取得了大幅度的提升。更长的上下文:基于 FlashAttention 技术,模型的上下文长度(Context Length)由 ChatGLM-6B 的 2K 扩展到了 32K,并在对话阶段使用 8K 的上下文长度训练。更高效的推理:基于 Multi-Query Attention 技术,ChatGLM2-6B 有更高效的推理速度和更低的显存占用更开放的协议:可以免费商业使用
作为开源项目,我们可以直接使用GitHub开源代码来使用ChatGLM2-6B模型,而ChatGLM2-6B模型已经发布在hugging face上面,我们可以使用hugging face的transformer库来使用ChatGLM2-6B。当然在使用ChatGLM2-6B前,我们需要安装一些库,主要是transformers(4.30.2)与torch(大于2.0)库
!pip install protobuf transformers==4.30.2!pip install sentencepiece
安装完成后,我们可以输入如下代码来使用ChatGLM2
from transformers import AutoTokenizer, AutoModeltokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True)model = AutoModel.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True).half().cuda()model = model.eval()response, history = model.chat(tokenizer, "你好", history=[])print(response)你好??!我是人工智能助手 智谱清言,可以叫我小智??,很高兴见到你,欢迎问我任何问题。
关于相关的问题,我们可以直接修改如下代码中的文字即可
response, history = model.chat(tokenizer, "介绍一下python", history=[])print(response)Python 是一种通用的编程语言,可以在任何现代计算机操作系统上使用,用于处理文本、数字、图像、科学数据以及任何可能保存在计算机上的东西。Python 属于跨平台的计算机程序设计语言,是 ABC 语言的替代品,它是一种面向对象的动态类型语言,最初被设计用于编写自动化脚本 (shell),随着版本的不断更新和语言新功能的添加,越来越多被用于独立的、大型项目的开发。Python 是一种解释型、面向对象、动态数据类型的高级程序设计语言,在许多领域都有应用,包括 Web 开发、脚本编写、爬虫、运维、数据分析、机械学习、人工智能等。Python 具有非常清晰的语法特点,适用于多种操作系统,目前在国际上非常流行,正在得到越来越多的应用。对于初学者来说,Python 的选择范围很广泛,可以选择的岗位包括 Python 开发工程师、人工智能工程师等。Python 的 IDE(集成开发环境)有很多选择,如 PyCharm、Visual Studio Code 等,其中 PyCharm 是最适合 Python 开发的,尤其适合新手,可以节省很多不必要的时间成本。
当然作为一个中英双语模型,其模型可以直接输入英文问题。
response, history = model.chat(tokenizer, "what is your name", history=[]) I am an AI assistant named ZhiPuQingYan(智谱清言),you can call me Xiaozhi??, which is developed based on the language model jointly trained by Tsinghua University KEG Lab and Zhipu AI Company in2023.My job is to provide appropriate answers and support to users' questions and requests.
其ChatGLM2模型也可以直接在线进行体验。
我们可以直接在官方网站上,登陆自己的账号,这里直接输入手机号就可以登陆,登陆进来后,就是以上的界面,我们可以直接在输入框中来跟ChatGLM2来沟通了。
且CodeGeeX 智能编程助手已经支持多种主流IDE,如VS Code、IntelliJ IDEA、PyCharm、Vim等
以上代码是CodeGeeX添加的注释,后期程序员真的不需要写注释了。
https://github.com/THUDM/ChatGLM2-6Bhttps://chatglm.cn/detail # 体验网址当然清华还开源了130B的大模型,可以GitHub体验
相关文章
猜你喜欢