模型评测常见问题

常见问题

评测按钮置灰，提示"评测框架暂未支持"

原因：当前评测框架暂时不支持该模型。

解决方案：请联系平台管理员，告知需要支持的模型名称和相关信息，管理员将评估后尽快添加支持。

评测任务长时间处于"等待中"

原因：选择了共享资源，当前公共算力队列繁忙。

解决方案：

1. 耐心等待队列排空（共享资源评测任务按提交顺序执行）。
2. 如需立即执行，可切换为专属资源（按时间计费）。

评测结果分数异常偏低

可能原因：

• 所选评测数据集与模型的训练语言不匹配（如用中文数据集评测英文模型）。
• 模型缺少对应任务的指令跟随能力（基座模型 vs 指令微调模型）。
• 评测框架参数配置不合理。

解决方案：

1. 选择与模型语言和任务类型匹配的评测数据集。
2. 对于基座模型，使用适合预训练模型的评测方式（如困惑度评测）。
3. 参考评测框架介绍了解各框架适用场景。

如何使用自定义数据集评测

请参考自定义评测数据集文档了解详细操作步骤。