模型基准测试最常见的争议，不是候选模型有没有分数，而是同一个结果换一台环境、换一个时间或换一个执行人后无法复现。若POC只留下汇总表和几张截图，采购评审无法确认测试对象是否一致，也无法解释差异来自模型、数据、提示、资源还是评分过程。企业需要的不是更多分数，而是一份能被第三方复跑和复核的证据卷宗。

阅读重点：从测试准备、执行、异常处理到评审结论，逐项检查哪些对象必须冻结，哪些证据必须保留。

先给每次测试建立不可混淆的身份

一次基准测试应有独立标识，并关联模型版本、服务版本、数据快照、提示模板、参数、运行环境和评分规则。仅记录“某某模型测试”远远不够，因为同名服务可能发生升级，默认参数可能变化，数据集也可能被修订。

测试身份不要求把所有系统强行合并。数据可以在数据管理系统，模型可以在仓库，运行记录可以在平台，评审意见可以在流程系统；关键是它们之间存在稳定引用，并且测试结束后仍能根据标识找回当时的对象。路径名、个人文件夹和临时截图都不适合作为唯一身份。

最低限度应冻结以下内容：

• 实际调用的模型或服务版本，以及可确认的变更信息
• 数据集快照、样本选择规则和必要的数据授权说明
• 系统提示、用户模板、预处理与输出格式要求
• 接口参数、并发方式、超时、重试和依赖配置
• 自动评分规则、人工评分表、评审角色与分歧处理
• 执行环境、时间窗口、异常说明和结果保存位置

这些信息构成复跑条件。某些服务无法给予底层模型细节时，应如实记录可见版本和不可见边界，不能用推测填空。

对照与重复运行用于解释差异，不用于制造漂亮均值

企业POC通常会比较多个候选，但对照条件必须尽量一致。相同样本应采用相同输入准备和输出判定；某个候选因接口限制需要特殊处理时，要把处理方式写进报告。否则分数差异可能来自适配层，而非模型本身。

重复运行的目的，是观察结果稳定性和随机波动，而不是不断重跑直到得到满意结果。每次运行都应保留标识与原始输出，汇总时说明采用哪种统计或人工判定。若异常运行被排除，需要记录原因、审批人和排除后对结论的影响。

对照还可以包含一个已知版本或当前方案。它未必是“基准答案”，却能帮助团队判断新候选是否真正改善了目标问题。若新候选在公开成绩上更高，但在企业关键任务上没有明显价值，报告应忠实反映，而不是修改权重来迎合预期。

能够解释一次失败，比隐藏一次失败更能证明平台和流程可用。 POC应保留超时、格式错误、拒绝、依赖失败和人工争议样本，因为这些记录会直接影响生产设计。

原始输出与判定记录要成对保存

只保存最终分数会切断复核路径。自动评分需要保留输入、输出、规则版本和评分明细；人工评分还需保留评分维度、评审意见、分歧与复核结论。涉及敏感内容时，可以保存受控引用、脱敏结果或必要摘要，但必须确保授权人员能够回查证据。

不同错误类型不宜全部折算成一个总分。格式偏差、事实错误、无依据生成、权限越界和有副作用的错误动作，其业务后果不同。POC报告可以给出汇总视图，但原始层必须保留错误类别和样本位置，便于采购方判断哪些问题可顺利获得流程控制，哪些问题必须阻断。

异常记录还要说明链路位置。请求没有到达模型、模型返回后被网关截断、外部工具失败和模型本身输出错误，处理责任并不相同。端到端结果可以统一呈现，诊断证据则要允许拆分。

已有的 大模型评测落地方法 说明了任务集、自动指标和人工复核如何配合。本次POC应在此基础上进一步固定每次运行的身份，让评测规则本身也成为可追踪对象。

POC证据包要让第三方能够复跑

一份可交接的证据包不等于把所有日志打包下载。它应围绕结论组织必要对象，让没有参加现场的人能够回答：测了什么、为何这样测、使用哪个版本、出现什么差异、谁做出判定、是否能够复现。

下图把中心测试记录与五类附件连接起来。附件可以存放在不同系统，但都要顺利获得同一测试标识互相引用。

证据包建议包含测试说明、对象清单、执行记录、原始结果、评分明细、异常清单、复核意见和结论边界。对于需要长期保留的采购材料，还应说明哪些内容可以导出、哪些受权限限制、由谁保管以及平台退出后如何读取。

可复跑不意味着任何人随时都能访问原始数据。复跑权限应遵循数据和环境管理要求，敏感样本不能为了审计便利而无边界复制。更合理的做法是保存数据快照标识、受控执行方式和授权路径，在需要复核时由合适角色重新运行。

故障和中断场景决定证据是否可信

顺利完成的测试只能证明正常路径。企业还应安排可控异常，例如请求超时、输入不合规、服务限流、依赖不可用、执行中断或评分任务失败，检查证据链会不会在异常发生时断掉。

异常测试要回答四个问题：原始请求是否有标识；失败发生在哪一层；部分结果是否被误计入顺利获得；修复后重跑是否保留前后关系。若平台自动重试，还要看到重试次数、触发原因和最终采用哪次结果，避免重复调用把样本数和成本记录扭曲。

POC环境和异常证据的设计，可以参考 AI推理服务POC验收框架 中对版本、访问、监控和异常状态的划分。模型基准测试在此基础上增加数据、提示和评分对象，形成从运行到质量的完整记录。

故障演练也应有停止条件。若出现数据越权、无法识别的版本漂移、结果覆盖或证据丢失，应暂停扩大测试，先修复记录和权限问题。继续增加样本不能弥补证据链缺失。

评审结论分为可比较、需补测和不可外推

“可比较”意味着候选在相同或已说明差异的条件下完成测试，结果和判定能够复核。它只在记录的任务和条件内创建，不能自动延伸到未测试的语言、输入长度、工具、流量或部署方式。

“需补测”用于条件不足但仍有决策价值的情况。例如某候选缺少长输入样本，或异常路径未完成，团队可以明确补测对象、负责人和结束条件。补测不是无限延长POC，必须对应一个具体不确定性。

“不可外推”则主动说明边界。某个公开成绩无法在企业版本上复现，某项服务能力因环境限制未验证，或某类高风险数据未获授权，都应进入该类别。保留未知不会削弱报告，反而能防止后续人员把局部结论当作普遍承诺。

采购附件可把结论对应到交付版本、测试样本、支持范围和变更后的复测责任。供应方给予版本与限制信息，企业给予业务判定和数据授权，集成方对其改造环节负责。这样，POC证据才能在合同、实施和上线之间继续使用。

下一步建议

先为一个候选和一个当前方案建立测试身份，冻结少量代表性样本、提示和评分规则。执行一次正常测试、一次重复运行和一次可控异常，检查能否从结论回到原始输出，再从输出回到版本与配置。证据链完整后再扩大候选和样本范围，避免把规模建立在无法复核的记录之上。

常见问题

模型基准测试必须完全复现公开测试环境吗？

不必，也常常做不到。公开环境的硬件、服务实现、提示、数据处理或模型快照可能无法完整取得。企业更重要的任务是复现与自身采购相关的条件，并清楚记录与公开测试的差异。若某项外部结论依赖无法取得的条件，就应把它保留为参考，而不是伪造等价环境。

可复核的标准是同一企业POC在授权范围内能够重复执行，并解释版本、数据、配置和评分。报告可同时列出公开结果、企业复测结果和差异说明，但不得把两者直接合并为同一个分数。这样既利用了外部信息，也维护了企业结论的事实边界。

人工评分能成为可复核证据吗？

可以，前提是判定规则、评审角色和分歧处理清楚。生成式任务中有些质量维度难以完全自动化，例如是否满足业务语境、表达是否造成误导、引用是否足以支撑结论。人工判断不是低质量证据，缺少规则和记录的印象打分才难以复核。

应为评分维度给予说明、正反例和严重错误定义，保留评分人与复核人意见。出现分歧时，不急于取平均，而是判断问题定义是否含混、样本是否超出范围或规则是否需要修订。规则变化后要创建新版本，不能无痕重写历史评分。复测时随机抽取一部分已评分样本，由未参加首轮的评审人独立判断，可以检查说明是否真的可执行。还应检查分歧是否集中在某类场景；若集中出现，下一步是补充该维度的判例与仲裁规则，而不是继续扩大总样本数。

POC证据保留越多越好吗？

不是。证据要满足复核和责任需要，同时遵守数据最小化、权限和留存要求。完整提示与响应可能包含敏感业务信息，底层日志也可能暴露账号、令牌或内部结构，不能因为“以后可能有用”就无限复制。测试计划应提前区分必须保留、受控引用和无需保留的内容。

更可行的方案是保留稳定标识、版本关系、必要原始结果和判定记录，并对敏感证据设置访问审批、脱敏和到期处理。证据导出时也要验证格式、完整性和读取责任。无法安全保留的内容，应记录限制及其对结论可复核性的影响，并由采购评审确认这种限制是否会阻断关键结论。若某份材料无法对应具体结论、复测或责任，应缩短留存或删除；先做一次证据目录与权限抽查，比继续扩容存储更能降低风险。