-
Notifications
You must be signed in to change notification settings - Fork 1.5k
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
[BUG]tokens异常,导致模型无法答复 #1151
Comments
这可能是由于携带的内容过多导致模型无法回答,建议根据模型能接收的字符数进行分段或者更换处理能力更好的模型 |
我用的GLM4-CHAT-1m,上下文长度应该都够用啊 |
执行详情每个节点的 输入输出先看一下 |
能分析出是什么问题吗? |
看执行详情中最后一次AI对话的提示词太长了,像是模型推理不出来,没有返回内容。 |
如果分段多一些就没问题,分两个分段就这样。 |
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
联系方式
No response
MaxKB 版本
1.5.1
问题描述
tokens异常,导致模型无法答复
重现步骤
tokens异常,导致模型无法答复
我上传了一个文档,大概内容如下
我将内容从excel中拷贝到word中,然后上传到maxkb,使用的智能分段,生成了26个段落
但是如果我传的这个文档,只分两段
进行提问的时候,就会出现之前我说的不回答的现象,而且显示使用的tokens数特别大,模型无法答复出结果。
期待的正确结果
No response
相关日志输出
No response
附加信息
No response
The text was updated successfully, but these errors were encountered: