微调模型的相关问题

[zzy978]

问题描述 / Problem Description
我用ChatGLM-Efficient-Tuning进行lora微调后的模型，在本项目中启动报错

复现问题的步骤 / Steps to Reproduce

我按照Wiki的p-tuning类提供的方式进行操作

预期的结果 / Expected Result
成功运行

实际结果 / Actual Result
报错

环境信息 / Environment Information

• langchain-ChatGLM 版本/commit 号：v2.0.5
• 是否使用 Docker 部署（是/否）：否
• 使用的模型（ChatGLM2-6B / Qwen-7B 等）：ChatGLM2-6B
• 使用的 Embedding 模型（moka-ai/m3e-base 等）：m3e-base
• 使用的向量库类型 (faiss / milvus / pg_vector 等)： faiss
• 操作系统及版本 / Operating system and version:Win10
• Python 版本 / Python version:3.10.13
• 其他相关环境信息 / Other relevant environment information:

附加信息 / Additional Information
adapt_config.json内容如下
{
"_name_or_path": "D:/Langchain-Chatchat-master/Langchain-Chatchat/chatglm2-6b",
"add_bias_linear": false,
"add_qkv_bias": true,
"apply_query_key_layer_scaling": true,
"apply_residual_connection_post_layernorm": false,
"architectures": [
"ChatGLMForConditionalGeneration"
],
"attention_dropout": 0.0,
"attention_softmax_in_fp32": true,
"auto_map": {
"AutoConfig": "configuration_chatglm.ChatGLMConfig",
"AutoModel": "modeling_chatglm.ChatGLMForConditionalGeneration",
"AutoModelForCausalLM": "THUDM/chatglm2-6b--modeling_chatglm.ChatGLMForConditionalGeneration",
"AutoModelForSeq2SeqLM": "THUDM/chatglm2-6b--modeling_chatglm.ChatGLMForConditionalGeneration",
"AutoModelForSequenceClassification": "THUDM/chatglm2-6b--modeling_chatglm.ChatGLMForSequenceClassification"
},
"bias_dropout_fusion": true,
"classifier_dropout": null,
"eos_token_id": 2,
"ffn_hidden_size": 13696,
"fp32_residual_connection": false,
"hidden_dropout": 0.0,
"hidden_size": 4096,
"kv_channels": 128,
"layernorm_epsilon": 1e-05,
"model_type": "chatglm",
"multi_query_attention": true,
"multi_query_group_num": 2,
"num_attention_heads": 32,
"num_layers": 28,
"original_rope": true,
"pad_token_id": 0,
"padded_vocab_size": 65024,
"post_layer_norm": true,
"pre_seq_len": null,
"prefix_projection": false,
"quantization_bit": 0,
"rmsnorm": true,
"seq_length": 32768,
"tie_word_embeddings": false,
"torch_dtype": "float16",
"transformers_version": "4.34.1",
"use_cache": true,
"vocab_size": 65024,
"base_model_name_or_path": "D:/Langchain-Chatchat-master/Langchain-Chatchat/chatglm2-6b",
"task_type": "CAUSAL_LM",
"peft_type": "LORA",
"inference_mode": true,
"revision": "main",
"num_virtual_tokens": 16
}

[zRzRzRzRzRzRzR]

使用的是什么微调框架

[zzy978]

使用的是什么微调框架

chatglm2+lora微调

[zRzRzRzRzRzRzR]

使用的如果是llama-efficient-turning/ llama-factory的话你导出成单个模型看能不能跑，
如果不合并成单个模型，记得看wiki的微调部署方式，是否文件夹出现了peft

[ghx2757]

请问 llama-factory 能否导出统一的微调模型？ 该模型能否适配chatchat？？

[zRzRzRzRzRzRzR]

能适配

[ghx2757]

好哒，谢谢