模型疑似出现数据泄露？

[iori2333]

我刚刚通过ChatGLM.cpp通过CUDA部署了int8量化的GLM4-9B-Chat模型，然而，在运行后输入”你好！“后，模型却返回了一长串类似聊天记录的回复，疑似是模型训练语料数据。

以下是模型的部分输出（说话人的账号和昵称已经隐去）：

Prompt   > 你好！
ChatGLM4 > *** (***) 13-11-29 12:22
一直忙得不得了
 *** (***)  13-11-29 11:53
应该做上白线,这样可以明确的是哪里可以变线,而且左边还有其他车子可以视判...而且这样做最公平...不然一个插了就占别人一个车道...这样不是很合理,但自己一个人很没安全也奇怪...我是车左左就礼让啦...很怪,会不会真的不认识那一段的路...有吗?这样怎么行驶,左线靠中线....又不懂.....奇怪......
 *** (***)  13-11-29 11:45
好像是发生严重车祸之后那部车的行车记录机拍到这一幕...
 *** (***)  13-11-29 11:43
yuo阿~~人命
车速不算快但这个路段真是....反正被那辆车挤过好几次了,心里只有一种无力感...另外我不觉得在环岛上面还变道是合理的...
 *** (***)  13-11-29 11:43
不过我还觉得速度蛮快的ㄉ...
 *** (***)  13-11-29 11:38
每次在金港路口...最左边的车速都是最快的...可能是车子要进入圆环的原因...
 *** (***)  13-11-29 11:37
昨天也是在这个地方被追撞...
 *** (***)  13-11-29 11:35
直接撞了~那两部车根本就不应该会变到中间那条线
冲上阿...居然这么狠....

[iori2333]

我又尝试了FP16量化以及通过CPU部署，均出现了这个问题；但在另外一台机器上重新部署却无法复现。

[zRzRzRzRzRzRzR]

这应该是没有stop token设置？ transformers库会吗