Arena(原 Chatbot Arena / LMSYS)
用户同时向两个匿名模型提问,比较两个模型的回答,再由用户投票决定哪个更好。
优不完全依赖模型厂商自己公布的测试成绩。
缺用户群体、问题类型和语言都会影响结果;回答更受欢迎,不一定代表事实准确率更高。
资料库 · 评测
综合评分框架是对话中的建议版,并非官方统一标准;各维度权重未给出。
用户同时向两个匿名模型提问,比较两个模型的回答,再由用户投票决定哪个更好。
优不完全依赖模型厂商自己公布的测试成绩。
缺用户群体、问题类型和语言都会影响结果;回答更受欢迎,不一定代表事实准确率更高。
多项基准测试组合评分,同时测量模型实际推理服务的性能。
优能同时比较能力、速度和价格,非常适合企业选型和商业分析。
缺综合指数的权重和测试集由平台定义,不等于所有业务场景的表现。
使用可验证答案的客观测试题,并定期更新测试数据,降低训练数据污染的风险。
优更重视可验证的任务结果,而不是单纯让另一个 AI 判断答案好不好。
通过标准化学术测试集,对模型进行统一评估。
优适合研究开源模型、模型权重、微调和部署。
缺Open LLM Leaderboard 是 Hugging Face 的特定项目,不应将其视为所有闭源和开源模型的统一总榜。
优学术研究和透明度较强,支持查看具体测试场景。
MMLU、HumanEval 等传统测试集可能受到训练数据污染或测试集饱和的影响,不能单独作为模型排名依据。
原表「公开评测平台」列在分享正文中为空。
可自行采用的评分设计,并非任何官方机构发布的统一标准。总分建议为 100 分。各维度权重未在对话中给出。