inference结果差异比较大，请问是什么原因

[liuzhiyong01]

我使用的是下面这个训练好的adpter文件，但inference的结果与github主页结果差异比较大

使用的是generate.py文件，没有修改generate参数

红色方框的是结果：

github上的结果：

请问一下，这个差异点在哪？麻烦帮忙回答一下， 非常感谢！

[PhoebusSi]

可以先试试看完全一样的prompt “怎么让自己提高专注力，列出5点建议”，模型对 prompt 非常敏感。
如果不同的话，可能不是这个checkpoint，后面我们有多次迭代模型，这个可能传错了 checkpoint，可以试试 hf 上其他的 checkpoint～

[PhoebusSi]

试试这个 目前性能不错的版本：
https://huggingface.co/QingyiSi/Alpaca-CoT/tree/main/bloom7b_sample3m