[RFC] 022 - 环境变量配置默认助手参数

[arvinxx]

背景

不同用户对于初始化模型的需求不一样：

• [Question] 能通过环境变量指定默认助手的模型吗？ #782
• 修改模型名称后置顶未更改 #811
• 增加环境变量设置“限制历史消息数” #912
• [Request] 能否将角色设定（默认prompt）写进环境变量中 #1010
• 能否提供个文件用于修改默认设置 #1196

因此最好提供一个环境变量来自定义初始化模型的参数

实现思路

1. 环境变量填写

参考 PluginSettings 环境变量的实现逻辑，用 key=value 的语法允许用户添加需要自定义的配置。级联的字段需要使用 . 来分割

比如同时配置 model 、 params 里的maxToken，以及插件列表

DEFAULT_AGENT_CONFIG='model=gpt-4-1106-preview;params.max_tokens=300;plugins=search-engine,lobe-image-designer'

2. 加载配置

目前默认的设定助手是在前端写死的固定值。现在需要从服务端读值后 合并，合并顺序应该为:

1. 前端默认值
2. 服务端设置
3. 用户客户端配置

由于 merge 一定是后来者的配置合并前者，因此现在采用 persist 的方式存在一定的问题，需要改造成异步加载取数模式。

这个改造也可以为实施 #368 做好铺垫

补充内容

由于该环境变量依赖了 lobe agent 的数据结构定义。 因此需要补充一篇文档单独介绍 agent 的数据结构定义。结合 #924 考虑

[arvinxx]

SettingStore 存储改造思路

setting 可以直接重构放进 localDB 吗

感觉可以放进去，这样 settings 的迁移就可以使用现成的方案来实现了，并且可以和后续的跨端同步方案保持一致。

那这样就只需要实现有一个 getSettings 和 updateSettings 的service方法

数据迁移可以采用schema升级来自动实现

那这样一来，之前在presist写的merge方法就都不需要了。同时保存时候的检验也能做。

如此一来，在获取settings数据时就可以做一个同步合并，即拿 server default agent + db settings 得到最后的 default agent。

然后用户在存settings时，应该只需要存变更的数据部分，而不是全量 agentSettings。这样就可以细粒度控制需要保存的状态了。

[buwanyuanshen]

这玩意不是放前端更好吗？

[arvinxx]

理论上来说是，但现在没有方法同时支持 vercel 和 docker 配置一个变量可以直接在前端生效的。必须要通过后端发配置给前端才行。

[hqzh]

太需要前端可配置了

[arvinxx]

等这个实现： #1632

[Wxh16144]

补充一点：

如果配置了 DEFAULT_AGENT_CONFIG 变量，可以通过 http://localhost:3210/api/config 返回的 json 内容来验证是否符合预期。（这是我自己在配置的时候一点经验～

[Wxh16144]

[arvinxx]

#2231 在这个 PR 将路由端点改成了 /trpc/edge/config.getDefaultAgentConfig

[RubuJam]

[arvinxx]

这个似乎是 setting 的部分，目前应该配置不了

[alexallen1]

使用DEFAULT_AGENT_CONFIG='model=gpt-4-1106-preview;params.max_tokens=300;plugins=search-engine,lobe-image-designer'
yaml: line 12: could not find expected ':'

[tisfeng]

你好，默认设置的模型不支持上传图片，请如何通过参数开启 vision ？

[tisfeng]

找了一圈文档，不但环境变量里面没找到这个开关，连 UI 上的默认助手都没看到选项，难道没有？

[arvinxx]

默认设置的模型需要你改 model 配置的。 看下ModelList 这一节内容 https://lobehub.com/zh/docs/self-hosting/advanced/model-list

[tisfeng]

你好，我参考文档描述，设置 Vercel 环境变量 CUSTOM_MODELS，但还是无法开启 vision，是我哪里弄错了吗？

[arvinxx]

CUSTOM MODEL 已经没了

[tisfeng]

ok，明白了，改成 OPENAI_MODEL_LIST 就好了 https://lobehub.com/zh/docs/self-hosting/environment-variables/model-provider#openai-model-list 。

[Anivie]

看到类似的ISSUE，但是维护团队并没有回复，请问维护团队是否有计划制作类似的功能？如果没有的话可以接受这样功能的PR吗？
通过环境变量指定数据文件，为所有用户提供一系列的默认助手（而不是修改那一个默认助手）
期望：通过添加BUILTIN_ASSISTANTS环境变量指向一个目录，读取其中的json作为默认助手为所有用户提供

[arvinxx]

目前我们没有精力做这个，但有 PR 的话欢迎，可以先写一个 RFC 出来一起讨论下。

需要同时考虑下在vercel部署和 docker 部署的场景，必须要满足两方部署均可用。