> 自媒体 > (AI)人工智能 > 无需GPU,一键搭建本地大语言模型(LLM)服务,提供 OpenAI 接口 | 附 C#/Python 代码
无需GPU,一键搭建本地大语言模型(LLM)服务,提供 OpenAI 接口 | 附 C#/Python 代码
来源:opendotnet
2024-01-09 21:51:20
377
管理

无论是由于网络访问限制,还是数据安全原因,我们可能需要私有化部署大语言模型(LLM),以便在本地运行访问。

本项目(

https://github.com/feiyun0112/Local-LLM-Server)提供了一个快速搭建私有大语言模型服务器的方法,只需要一行命令,就可以在本地搭建一个私有的大语言模型服务器,并提供OpenAI兼容接口。

注意:本项目在CPU 环境下也可以使用,但是速度会较慢。

使用方法1. 安装依赖

首先,确保你的机器安装了 Python(我使用的是3.10)

然后,安装依赖

pip install -r requirements.txt2. 下载模型

本项目基于FastChat实现,FastChat支持多种大语言模型(https://github.com/lm-sys/FastChat/blob/main/docs/model_support.md)。

我个人只测试了 LLM 模型 https://huggingface.co/THUDM/chatglm3-6b与 Embedding 模型https://huggingface.co/BAAI/bge-large-zh,其他模型理论上也可以使用。

git lfs installgit clone https://huggingface.co/THUDM/chatglm3-6bgit clone https://huggingface.co/BAAI/bge-large-zh3. 配置

本项目可以同时部署多个模型,只需要在 config.py中配置模型名称和路径键值对即可。

WORK_CONFIG = {"host": HOST,"port": 21002,# 模型名称和路径键值对"models": {"ChatModel":"d:/chatglm3-6b", # 名称可以自定义,路径可以用相对路径或绝对路径"EmbeddingsModel":"c:/models/bge-large-zh",},}4. 启动服务

python startup.py

当看到如下输出时,说明服务已经启动成功:

Local-LLM-Server 启动成功,请使用 http://127.0.0.1:21000 访问 OpenAI 接口使用示例

示例代码都存放在本项目 demos目录下。

1. python

import openaiopenai.api_key = "Empty"openai.base_url = "http://localhost:21000/v1/"# 使用 LLM 模型completion = openai.chat.completions.create(model="ChatModel",messages=[{"role": "user", "content": "请自我介绍一下?"}])print(completion.choices[0].message.content)# 使用 Embeddings 模型embedding = openai.embeddings.create(model="EmbeddingsModel",input = "欢迎关注我的个人公众号MyIO!",encoding_format="float")print(embedding.data[0].embedding)2. C#

需引用 Nuget Semantic-Kernel 1.0.1

using Microsoft.SemanticKernel;var kernel = Kernel.CreateBuilder.AddOpenAIChatCompletion(modelId: "ChatModel",apiKey: "NoKey",httpClient: new HttpClient(new MyHandler)).Build;var prompt = "请自我介绍一下?";var result = await kernel.InvokePromptAsync(prompt);var answer = result.GetValue;Console.WriteLine(answer);

由于 Microsoft.SemanticKernel 没提供直接设置 OpenAI 服务器地址的方法,所以自定义一个 DelegatingHandler,将 OpenAI 服务器地址修改为 Local-LLM-Server 地址。

class MyHandler : DelegatingHandler{public MyHandler: base(new HttpClientHandler){}protected override Task SendAsync(HttpRequestMessage request, CancellationToken cancellationToken){var newUriBuilder = new UriBuilder(request.RequestUri);newUriBuilder.Scheme = "http";newUriBuilder.Host = "127.0.0.1";newUriBuilder.Port = 21000;request.RequestUri = newUriBuilder.Uri;return base.SendAsync(request, cancellationToken);}}总结

如果你觉得这个项目对你有帮助,请帮忙点个小星星⭐️

https://github.com/feiyun0112/Local-LLM-Server

0
点赞
赏礼
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与本站无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。 凡本网注明 “来源:XXX(非本站)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。 如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。 QQ:617470285 邮箱:617470285@qq.com
相关文章
4S店关了,消费者权益不能随意“关”|荔枝时评
文/熊志(作者熊志,荔枝新闻特约评论员,资深评论人;本文系荔枝新闻客..
4S店现关停潮,消费者权益谁来保障?
“品牌授权已取消”“公司当前暂停营业”“已提出退网申请”……近期,部..
多地4s店迎来倒闭潮,他们可以一跑了之但消费者怎么办呢?..
最近,多地4S店倒闭潮的消息如惊雷般炸响,让汽车行业的从业者和广大消费..
二手车|别克GL8:空间超大还保值!奶爸首选
随着二胎、三胎政策的放开,再加上生活水平的提升,越来越多的消费者在购..
二手车|天籁:十一、二万,日系+中型+大沙发都有?..
十一、二万,你是选择一台紧凑型还是一台二手日系中型轿车?入门级车型更..
买新车贬值快\u0026#34;不划算\u0026#34;?这几款二手车开上几年不会亏,还..
既然买新车"吃亏",那么二手车怎样呢?今天漫哥就跟大家推荐几款在一直保..
不敢买二手车?看完这些买前功课放心去买吧
[爱卡汽车 淘二手车原创]随着近几年国内二手车行业的发展,相信大家也感..
选购二手车,先看这几点,新手避坑指南
哈喽,兄弟们!熟悉南哥的都知道,南哥自己买的车大多是都二手,比如天籁..
新能源二手车能不能买?三吱跑了1300公里告诉你答案
不知道大家有没有看过电影《飞驰人生》,自从看了这个电影,我一直想体验..
关于作者
舞月(普通会员)
文章
701
关注
0
粉丝
0
点击领取今天的签到奖励!
签到排行

成员 网址收录40378 企业收录2981 印章生成224661 电子证书977 电子名片58 自媒体39806

@2022 All Rights Reserved 浙ICP备19035174号-7
0
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索