[BUG] 使用微调后的模型，项目启动报错

[ryancurry-mz]

问题描述 / Problem Description
我利用qwen-7b-chat-Int4模型基于自己的语料进行qlora微调，效果还可以。但是用本项目用peft方式加载，项目启动报错。采用的方式是lora+原模型，请问是有哪里没有修改吗？请大佬指点

复现问题的步骤 / Steps to Reproduce
按照wiki的提供的方式操作：
1、将config.json文件修改为adapter_config.json;
2、保证文件夹包含pytorch_model.bin文件；
3、修改文件夹名称，保证文件夹包含'peft'一词；
4、将peft文件夹移入项目目录下；
5、确保adapter_config.json文件夹中base_model_name_or_path指向基础模型；
6、将peft路径添加到model_config.py的llm_dict中，键为模型名，值为peft路径；
7、开启 PEFT_SHARE_BASE_WEIGHTS=true环境变量，再执行python startup.py -a

预期的结果 / Expected Result
项目正常启动

实际结果 / Actual Result
项目启动报错

环境信息 / Environment Information

• langchain-ChatGLM 版本/commit 号：v2.0.5
• 是否使用 Docker 部署（是/否）：否
• 使用的模型（ChatGLM2-6B / Qwen-7B 等）：Qwen-7B-Chat-Int4
• 使用的 Embedding 模型（moka-ai/m3e-base 等）：moka-ai/m3e-base
• 使用的向量库类型 (faiss / milvus / pg_vector 等)： faiss
• 操作系统及版本 / Operating system and version: wsl2 Ubuntu20.04
• Python 版本 / Python version:3.10.9
• 其他相关环境信息 / Other relevant environment information:

附加信息 / Additional Information

adapter_config.json内容如下：
{
"auto_mapping": null,
"base_model_name_or_path": "/data/Qwen-Repo/Qwen/model/Qwen-7B-Chat-Int4",
"bias": "none",
"fan_in_fan_out": false,
"inference_mode": true,
"init_lora_weights": true,
"layers_pattern": null,
"layers_to_transform": null,
"lora_alpha": 16,
"lora_dropout": 0.05,
"modules_to_save": null,
"peft_type": "LORA",
"r": 64,
"revision": null,
"target_modules": [
"c_attn",
"c_proj",
"w1",
"w2"
],
"task_type": "CAUSAL_LM"
}

[yaospacetim]

项目中调用模型，必须和他们预设的官方文件夹名字一致

[ryancurry-mz]

项目中调用模型，必须和他们预设的官方文件夹名字一致

感谢答复。可以举个例子么？模型名我没有改，只改动了lora路径

[ryancurry-mz]

我的理解是，在model_config.py的llm_model中指定lora权重的路径，并在adapter_config.json中base_model_name_or_path指向基础模型。目的是使用lora权重文件+原模型。不知道这个思路有没有问题

[yaospacetim]

我是按照他们的文档弄的，加载是没问题了，但是加载后其实有问题，回答变得不可控了，问了一圈，有很多人也存在这个情况，没人提出解决方案，我也放弃了。

[GAllllong]

我也一直在尝试使用ptuning微调后的chatglm2-6b模型，按照项目给的操作方式操作后始终卡在这一步，没有跑起来，有朋友们遇到过图中这种错误嘛，求指点一下。

[zzy978]

我的理解是，在model_config.py的llm_model中指定lora权重的路径，并在adapter_config.json中base_model_name_or_path指向基础模型。目的是使用lora权重文件+原模型。不知道这个思路有没有问题

大佬现在运行出来了嘛，能不能正常使用啊？

[ryancurry-mz]

我的理解是，在model_config.py的llm_model中指定lora权重的路径，并在adapter_config.json中base_model_name_or_path指向基础模型。目的是使用lora权重文件+原模型。不知道这个思路有没有问题

大佬现在运行出来了嘛，能不能正常使用啊？

没有，这个问题还没解决。有思路可以讨论讨论

[zzy978]

加个联系方式讨论一下嘛，我的QQ是2727408974

…

---原始邮件--- 发件人: ***@***.***> 发送时间: 2023年11月7日(周二) 上午9:40 收件人: ***@***.***>; 抄送: ***@***.******@***.***>; 主题: Re: [chatchat-space/Langchain-Chatchat] [BUG] 使用微调后的模型，项目启动报错 (Issue #1920) 我的理解是，在model_config.py的llm_model中指定lora权重的路径，并在adapter_config.json中base_model_name_or_path指向基础模型。目的是使用lora权重文件+原模型。不知道这个思路有没有问题 大佬现在运行出来了嘛，能不能正常使用啊？ 没有，这个问题还没解决。有思路可以讨论讨论 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: ***@***.***>

[zRzRzRzRzRzRzR]

现在正常吗，尝试导出成完整模型，然后读入完整模型呢

[zzy978]

我是导出的完整模型

…

---原始邮件--- 发件人: ***@***.***> 发送时间: 2023年11月10日(周五) 上午9:42 收件人: ***@***.***>; 抄送: ***@***.******@***.***>; 主题: Re: [chatchat-space/Langchain-Chatchat] [BUG] 使用微调后的模型，项目启动报错 (Issue #1920) 现在正常吗，尝试导出成完整模型，然后读入完整模型呢 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: ***@***.***>

[ryancurry-mz]

现在正常吗，尝试导出成完整模型，然后读入完整模型呢

启动不报错了。我之前按照wiki将权重文件改成pytorch_model.bin，现在改adapter_model.bin就可以了。

另外，qlora微调的权重文件没法合并到原模型里面。所以没办法用完整模型的方式去加载。lora可以。

[misAdann]

你好，我这样加载可以启动，但还是会乱答。请问你有这种情况吗？

[ryancurry-mz]

有时候会乱答，大概率是微调的原因。

[yaospacetim]

谢谢，还没试，晚一点试一下  yaospacetim ***@***.***  

…

------------------ 原始邮件 ------------------ 发件人: ***@***.***>; 发送时间: 2023年11月10日(星期五) 下午2:19 收件人: ***@***.***>; 抄送: ***@***.***>; ***@***.***>; 主题: Re: [chatchat-space/Langchain-Chatchat] [BUG] 使用微调后的模型，项目启动报错 (Issue #1920) 现在正常吗，尝试导出成完整模型，然后读入完整模型呢 启动不报错了。我之前按照wiki改成将bin文件改成pytorch_model.bin，现在改adapter_model.bin就可以了。 另外，qlora微调的权重文件没法合并到原模型里面。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: ***@***.***>

[zRzRzRzRzRzRzR]

qlora不行 qlora需要merge到大模型才行

[ryancurry-mz]

大佬，这是qwen官方文档微调部分的描述，其中说qlora好像没法merge到大模型中。实际上是可以merge的么

[zRzRzRzRzRzRzR]

感觉这个问题是一个值得讨论的问题，我将其放到Discussion，因为不同人的效果确实有不同差异

[moilxyyyyy]

开启 PEFT_SHARE_BASE_WEIGHTS=true环境变量

你好，请问这个参数在哪里呢，找了一圈没找到（lora+原模型）