司南榜单建设及发布规则

一、大语言模型榜单​

1. 大语言模型官方自建榜单规则​

依托司南闭源评测数据集进行评测，形成大语言模型客观综合榜单和大语言模型主观综合榜单。

1.1 评测集说明​

• 基于司南评测体系构建的闭源数据集进行评测
• 每 3 个月更新评测题目
• 特别说明：司南团队面向社区提供公开的验证集 （验证集详情），当评测维度发生变化时，验证集也会随之更新

1.2 评测模型类型​

• 国内外有重要影响力的开源模型

选取国内外有较高影响力的开源模型进行评测。为提升闭源评测集榜单的时效性与先进性，不定期移除过时且性能较低的模型，例如 Llama3 发布之后，Llama2 不再更新测试。

• 已提供商业化服务，可访问的 API 模型

  • 已有合作的模型厂商：
    • 已经提供对外服务且参与过司南评测的模型，司南后续更新榜单时默认进行评测最新版本模型
    • 若想指定模型版本参与 X 月榜单评测，可在 X 月 25 日前，写邮件至 opencompass@pjlab.org.cn 进行指定版本评测说明
    • 若该 API 模型在 X 月榜单测试期内，有升级计划，影响正常 API 调用评测，可在 X 月 25 日前（评测开始前） 写邮件至 opencompass@pjlab.org.cn 申请退出本双月榜单评测
  • 新合作厂商申请：
    • 对于从未合作过的厂商新发布的模型， 若想参与 X 月榜单评测，可在 X 月 25 日前 写邮件至 opencompass@pjlab.org.cn 申请评测。
    • 若为开源模型参与榜单评测，请提供 Hugging Face 或 ModelScope 模型权重及链接；API 模型参与评测，提供 API 网址链接，并写明模型版本
    • 若为 API 模型，请务必提前向 OpenCompass 提交 PullRequest，加入贵司 API 的实现，目前仅支持使用 OpenAI 协议接口。可以参考类似实现 https://github.com/open-compass/opencompass/blob/main/examples/eval_api_demo.py

• 不支持内部迭代研发模型或者有邀请访问限制的API

1.3 榜单更新频率​

• 榜单每 3 月更新一次
• 在两次榜单更新时间窗口内，如果有影响力重大的国外模型或者未上榜过的国内发布，根据研发资源排期不定时更新新模型评测结果，所用评测题为上个季度评测集，榜单名次会有特殊标识以与参与上个榜单评测的模型区分

2. 大语言模型公开学术榜单规则​

司南大语言模型公开学术榜单精选国内外具有广泛影响力的开源学术评测集，对行业大语言模型进行评测，形成榜单。

2.1 评测集说明​

• 国内外各领域有影响力的开源学术评测集

2.2 评测模型来源​

• 国外机构新发布的开源模型
• 国内正式发布模型：包含PR稿发布，学术paper公开，GitHub Repo README 明确介绍公开的模型
• 愿意加入开源评测集榜单建设的 API 模型 （请厂商提供对应模型的 key 至 opencompass@pjlab.org.cn）

2.3 更新频率​

• 自2025年1月1日后，仅支持每家厂商每月提交一次评测申请
• 每月评测更新一次
• 每月初第一个工作日进行一次结果快照，作为上个月月度榜单

3. Compass Arena 大语言模型对战榜单规则​

Compass Arena 大语言模型对战榜单通过对比不同大语言模型在相同任务场景下的“竞技”表现，获取真实用户感受与反馈。

3.1 申请模型接入​

• 若有模型厂商有意愿接入Compass Arena，可写邮件至 opencompass@pjlab.org.cn
• 每家厂商最多申请接入 1 个模型，支持带搜索和不带搜索两种版本
• 自2025年1月1日起，CompassArena支持大模型厂商接入内部迭代的匿名模型参与对战，每家厂商最多可接入一个匿名模型

3.2 榜单更新频率​

• 每周三更新

二、多模态大模型榜单​

1. 多模态模型官方自建榜单规则​

2025年司南新推出榜单，依托司南自建闭源数据集进行评测，形成多模态模型综合能力榜单。

1.1 评测集说明​

• 基于评测体系构建的闭源数据集进行评测
• 每 3 个月更新评测题目
• 特别说明：司南团队面向社区提供公开的测试示例，当评测维度发生变化时，验证集也会随之更新

1.2 评测模型类型​

• 国内外有重要影响力的开源模型

选取国内外有较高影响力的开源模型进行评测。为提升闭源评测集榜单的时效性与先进性，不定期移除过时且性能较低的模型，例如 Llama3 发布之后，Llama2 不再更新测试。

• 已提供商业化服务，可访问的 API 模型

  • 已有合作的模型厂商：
    • 已经提供对外服务且参与过司南评测的模型，司南后续更新榜单时默认进行评测最新版本模型
    • 若想指定模型版本参与 X 月榜单评测，可在 X 月 25 日前，写邮件至 opencompass@pjlab.org.cn 进行指定版本评测说明
    • 若该 API 模型在 X 月榜单测试期内，有升级计划，影响正常 API 调用评测，可在 X 月 25 日前（评测开始前） 写邮件至 opencompass@pjlab.org.cn 申请退出当月榜单评测
  • 新合作厂商申请：
    • 对于从未合作过的厂商新发布的模型， 若想参与 X 月榜单评测，可在 X 月 25 日前 写邮件至 opencompass@pjlab.org.cn 申请评测。
    • 若为开源模型参与榜单评测，请提供 Hugging Face 或 ModelScope 模型权重及链接；API 模型参与评测，提供 API 网址链接，并写明模型版本
    • 若为 API 模型，推荐提供 OpenAI 标准接口 API，非 OpenAI 标准接口需要在 VLMEvalKit 算法仓库中提 PR 以支持该模型

• 不支持内部迭代研发模型或者有邀请访问限制的API

• 对于新增上榜申请，请务必在 VLMEvalKit 中提交 PullRequest 以支持新模型

  • 示例：不支持自定义 prompt 的开源模型，实现方式参考: [Model] Support glm-4v-9b
  • 示例：支持自定义 prompt 与任意交错图文的开源模型，实现方式参考: Add MiniCPM-Llama3-V-2.5
  • 示例：多模态 API 模型，实现方式参考：Feature add glmv

1.3 榜单更新频率​

• 榜单每 3 月更新一次
• 在两次季度榜单更新时间窗口内，如果有影响力重大的国外模型或者未上榜过的国内发布，根据研发资源排期不定时更新新模型评测结果，所用评测题为上个季度评测集，榜单名次会有特殊标识以与参与上个榜单评测的模型区分

2. 多模态模型公开学术榜单（原月度榜单）规则​

司南多模态模型榜单精选国内外具有广泛影响力的开源学术评测集，对行业多模态模型进行评测，形成榜单。

2.1 评测模型类型​

• 国内外有重要影响力的开源模型
• 已提供商业化服务，可访问的API模型
• 不支持内部迭代研发模型或者有邀请访问限制的 API

2.2 申请加入评测​

• 写邮件至 opencompass@pjlab.org.cn 申请加入评测榜单
• 请务必在 VLMEvalKit 中提交 PullRequest 以支持新模型
  • 示例：不支持自定义 prompt 的开源模型，实现方式参考: [Model] Support glm-4v-9b
  • 示例：支持自定义 prompt 与任意交错图文的开源模型，实现方式参考: Add MiniCPM-Llama3-V-2.5
  • 示例：多模态 API 模型，实现方式参考：Feature add glmv

2.3 更新频率​

• 自2025年1月1日后，仅支持每家厂商每月提交一次评测申请
• 接到评测申请后，一般5个工作日内更新
• 每月初第一个工作日进行一次结果快照，作为上个月度榜单

3. 多模态模型数学推理榜单规则​

司南多模态模型数学推理榜单精选国内外具有广泛影响力、数学推理方向的开源学术评测集，对行业多模态模型进行评测，形成榜单。

3.1 评测模型类型​

• 国内外有重要影响力的开源模型
• 已提供商业化服务，可访问的API模型
• 不支持内部迭代研发模型或者有邀请访问限制的 API

3.2 申请加入评测​

• 写邮件至 opencompass@pjlab.org.cn 申请加入评测榜单
• 请务必在 VLMEvalKit 中提交 PullRequest 以支持新模型
  • 示例：不支持自定义 prompt 的开源模型，实现方式参考: [Model] Support glm-4v-9b
  • 示例：支持自定义 prompt 与任意交错图文的开源模型，实现方式参考: Add MiniCPM-Llama3-V-2.5
  • 示例：多模态 API 模型，实现方式参考：Feature add glmv

3.3 更新频率​

• 自2025年1月1日后，仅支持每家厂商每月提交一次评测申请
• 接到评测申请后，一般5个工作日内更新

4. Compass Arena 多模态模型对战榜单规则​

Compass Arena 多模态模型对战榜单通过对比不同多模态大模型在相同任务场景下的“竞技”表现，获取真实用户感受与反馈。

4.1 申请模型接入​

• 若有模型厂商有意愿接入Compass Arena，可写邮件至 opencompass@pjlab.org.cn
• 每家厂商最多申请接入 1 个模型，支持带搜索和不带搜索两种版本
• 自2025年1月1日起，CompassArena支持大模型厂商接入内部迭代的匿名模型参与对战，每家厂商最多可接入一个匿名模型

4.2 榜单更新频率​

• 每周三更新