信息情报站AI 情报 · 按工作日整理

资料库 · 评测

模型评测与排行榜

综合评分框架是对话中的建议版,并非官方统一标准;各维度权重未给出。

最值得关注的排行榜

Arena(原 Chatbot Arena / LMSYS)

人工盲测参考

用户同时向两个匿名模型提问,比较两个模型的回答,再由用户投票决定哪个更好。

优不完全依赖模型厂商自己公布的测试成绩。

缺用户群体、问题类型和语言都会影响结果;回答更受欢迎,不一定代表事实准确率更高。

Artificial Analysis

综合能力与性价比

多项基准测试组合评分,同时测量模型实际推理服务的性能。

优能同时比较能力、速度和价格,非常适合企业选型和商业分析。

缺综合指数的权重和测试集由平台定义,不等于所有业务场景的表现。

LiveBench

客观任务测试

使用可验证答案的客观测试题,并定期更新测试数据,降低训练数据污染的风险。

优更重视可验证的任务结果,而不是单纯让另一个 AI 判断答案好不好。

Hugging Face开放LLM排行榜Hugging Face Open LLM Leaderboard

开放模型评测

通过标准化学术测试集,对模型进行统一评估。

优适合研究开源模型、模型权重、微调和部署。

缺Open LLM Leaderboard 是 Hugging Face 的特定项目,不应将其视为所有闭源和开源模型的统一总榜。

Stanford HELM

优学术研究和透明度较强,支持查看具体测试场景。

主流 Benchmark

条长 = 关注重要性
  1. MMLU-Pro 多学科知识和推理
    高
  2. GPQA Diamond 高难度科学推理
    高
  3. AIME 数学竞赛能力
    高
  4. SWE-bench Verified 软件工程任务
    很高
  5. LiveBench 多领域客观测试
    很高
  6. HumanEval Python 编程
    中
  7. GSM8K 数学文字题
    中
  8. IFEval 指令遵循能力
    高
  9. HLE 高难度专家级知识问题
    高
  10. MTEB Embedding 和检索能力
    高

MMLU、HumanEval 等传统测试集可能受到训练数据污染或测试集饱和的影响,不能单独作为模型排名依据。

分领域评测

编程能力SWE-bench真实 GitHub Issue 解决率
代码编辑Aider代码修改正确率、成本
数学推理数学题正确率
综合知识多学科测试成绩
科学推理GPQA、科学问题正确率
向量检索MTEB检索准确率、召回率
AI 图像生成人类偏好、图像质量
AI 视频生成视频生成质量、人类偏好
AI 语音识别错误率、语音质量

原表「公开评测平台」列在分享正文中为空。

全球 AI 模型综合评分框架(建议版)

可自行采用的评分设计,并非任何官方机构发布的统一标准。总分建议为 100 分。各维度权重未在对话中给出。

能力分(Capability Score)
模型能做什么。
商业分(Business Score)
使用它要花多少钱,速度如何。
实用分(Practical Score)
真实任务中是否稳定、可靠。

推荐关注组合

  1. 1
    Arena

    用户实际偏好排名

  2. 2
    Artificial Analysis

    综合能力、速度、成本

  3. 3
    LiveBench

    客观能力测试

  4. 4
    SWE-bench

    编程与 Agent 能力

  5. 5
    Hugging Face

    开源模型排名

设置

主题
涨跌颜色
默认语言(抓取的新闻与资料)

页头的国旗 / 地球图标可随时临时切换。设置只保存在本机浏览器(localStorage)。