Skip to content

企业级多平台AI代理服务,大模型代理服务,aiproxy、AI Proxy,支持 Azure、Anthropic Claude、Google PaLM 2 & Gemini、智谱 ChatGLM、百度文心一言、讯飞星火认知、阿里通义千问、360 智脑、腾讯混元、豆包

License

Notifications You must be signed in to change notification settings

lbbniu/ai-proxy

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

8 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

AI Proxy

✨ 通过对应厂商大模型标准的 API 格式进行访问,开箱即用 ✨

功能

  1. 支持多种大模型:
  2. 支持配置镜像以及众多第三方代理服务
  3. 支持通过负载均衡的方式访问多个渠道。
  4. 支持 stream 模式,可以通过流式传输实现打字机效果。
  5. 支持多机部署详见此处
  6. 支持令牌管理,设置令牌的过期时间和配额。
  7. 支持失败自动重试。
  8. 支持绘图接口。
  9. 支持用户管理,支持多种用户登录注册方式
    • 邮箱登录注册(支持注册邮箱白名单)以及通过邮箱进行密码重置。
    • GitHub 开放授权
    • 微信公众号授权(需要额外部署 WeChat Server)。

部署

基于 Docker 进行部署

# 使用 SQLite 的部署命令
# 使用 MySQL 的部署命令

基于 Docker Compose 进行部署

仅启动方式不同,参数设置不变,请参考基于 Docker 部署部分

# 目前支持 MySQL 启动,数据存储在 ./data/mysql 文件夹内
docker-compose up -d

# 查看部署状态
docker-compose ps

配置

系统本身开箱即用。

你可以通过设置环境变量或者命令行参数进行配置。

等到系统启动后,使用 lbbniu 用户登录系统并做进一步的配置。

Note:如果你不知道某个配置项的含义,可以临时删掉值以看到进一步的提示文字。

相关项目

  • FastGPT: 基于 LLM 大语言模型的知识库问答系统
  • ChatGPT Next Web: 一键拥有你自己的跨平台 ChatGPT 应用
  • One API: 通过标准的 OpenAI API 格式访问所有的大模型,开箱即用

注意

本项目使用 GPL 协议进行开源,在此基础上,必须在页面底部保留署名以及指向本项目的链接。如果不想保留署名,必须首先获得授权。

同样适用于基于本项目的二开项目。

依据 GPL 协议,使用者需自行承担使用本项目的风险与责任,本开源项目开发者与此无关。

About

企业级多平台AI代理服务,大模型代理服务,aiproxy、AI Proxy,支持 Azure、Anthropic Claude、Google PaLM 2 & Gemini、智谱 ChatGLM、百度文心一言、讯飞星火认知、阿里通义千问、360 智脑、腾讯混元、豆包

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages