AI Lab

ASSESSMENT METHODOLOGY

我们怎么测,依据是什么

五个方面分别看什么、分数怎么算、档位怎么划,以及哪些参考了公开框架、哪些是我们自己定的。这一页不需要登录,也不会因为你不做诊断而变化。

一句话方法:把「会用 AI」拆成五个可以分别观察的维度,每个维度用若干可核验的行为信号去测, 再用固定切分点换算成 0—100 的分数与档位。下面的每一节都在回答同一个问题的不同侧面——这个数字是怎么来的,你能不能不采信它。

五个维度分别衡量什么

顺序与后端契约一致(委派/描述/判断/审慎/工具视野)。每张卡片四行:衡量什么、怎么测、 分数怎么看、依据。诊断页与报告页的维度提示用的就是同一份文案,不存在第二处副本。

委派力delegation

衡量什么
把任务恰当地托付给 AI:判断哪些环节交给它、哪些留给自己,选对模型,把委托意图说清,失败后能有效迭代。
怎么测
三个标记——迭代性(一次没成功之后是否换打法重试)、模型选择力(会不会按任务挑合适的模型)、意图委派精确度(对结果的语义判定)。
分数怎么看
这一维低,常见表现是要么把整件事原样丢给 AI 不管了,要么一点不肯放手、每次都自己重写。诊断会把它排进缺口,推荐任务拆分与协作类的考核卷。
依据
参照 AI Fluency 4D 框架的 Delegation(Rick Dakan 与 Joseph Feller 提出,Anthropic Academy 用作入职首课)。

描述力description

衡量什么
把意图与上下文描述到可复现的程度:结构化地给出目标、约束、示例与判据,让同样的输入能稳定得到可用的输出。
怎么测
三个标记——意图表达清晰度、上下文供给(是否分点、给示例、给约束)、上下文可复现性(语义判定:信息够不够重跑一遍)。
分数怎么看
这一维低,通常不是「不会写提示词」,而是给出的信息量不足以复现结果:同一句话换个人跑就跑歪。推荐卷指向提示词与上下文供给类考核。
依据
参照 AI Fluency 4D 的 Description,以及 OECD/欧盟委员会 AILit Framework 的学习者期望(learner expectations)。

判断力discernment

衡量什么
对 AI 的输出保持批判性校验:识别事实错误、幻觉与偏见,评估它在当前场景里是否可靠,并从失败里恢复。
怎么测
两个标记——失败恢复力(出错之后能否转化回成功)、批判性校验(是否真的核对过 AI 给的东西,权重 0.60,是该维的主体)。
分数怎么看
这一维低最需要我们提醒你自己,因为它意味着错误会被当成结论往下传。它在正式考核里题量重、多为「给一段 AI 输出让你挑错」。
依据
参照 AI Fluency 4D 的 Discernment,以及 UNESCO《学生人工智能能力框架》(2024)里「对 AI 方案保持批判性判断」与「以人为本的思维」两项要求。

审慎力diligence

衡量什么
对高风险操作保持审慎:动手前确认、遵守合规与披露要求、无论 AI 参与多少,最终结果由人负责。
怎么测
一个标记——风险意识(高风险调用里的确认率与占比,权重 1.00,该维不设语义标记)。
分数怎么看
这一维低,表现为在不可逆的场景里(对外发送、写入生产、涉及他人数据)不确认就执行。推荐卷指向隐私合规与治理类考核。
依据
参照 AI Fluency 4D 的 Diligence、UNESCO 该框架的「AI 伦理」维度;政策锚点是欧盟《人工智能法案》(Regulation (EU) 2024/1689)第 4 条关于 AI 素养的要求。

工具视野tool_landscape

衡量什么
对可用 AI 工具的视野广度与层级掌握:知道市面上有什么,能不能按任务的层级选出合适的那一类,而不是只会一个入口。
怎么测
两个标记——视野广度(用过多少种工具、多少种「工具 × 动作」组合)、层级深度(核心层与扩展层的占比分布)。
分数怎么看
这一维低说明选择面窄,往往在换场景时卡住。它只在 L1 卷面单独计分,L2/L3 不单列——把工具认知放在入门阶段是我们定的设计取舍。
依据
自研维度。参照 OECD/欧盟委员会 AILit Framework 的 Engage with AI(认识生活中的 AI 应用、理解其局限)这一能力领域,但不对应上述任何一个国际框架里的独立维度。

两种测法,用途不同

免费诊断

  • 10 道题,每个维度恰好 2 题,约 3 分钟;
  • 题面从已发布的正式考核卷中抽取,不新造第六套题;
  • 不需要注册,也不颁发证书;
  • 用途是定位方向——哪个维度该先补、下一步做哪张卷;
  • 每个方面只有 2 题,所以分数会随题目变动,它不是结论。
直接做一次诊断

正式考核

  • 17 张卷,每卷 20—24 题(合计 360 题),时长 30/40/45/60 分钟;
  • 题型:单选 208、判断 68、填空 68、主观问答 16;
  • 及格线统一 80 分,每张卷最多 3 次机会;
  • 产出五维报告与可在线验真的证书;
  • 分数进入个人历史,用于复测对比。
浏览全部考核

分数是怎么算出来的

客观题确定性判分。单选、判断、填空走同一个判分函数,没有人为裁量;免费诊断与正式考核共用这条通道, 所以诊断分数和正式卷面的分数,算法是一样的。填空接受多种写法,按每题的接受列表判。

主观题用三个模型的评审团,且随时可能转人工。16 道主观题逐题独立判分,按每题自带的参考答案与评分要点(rubric)给分, 取三个模型的中位数作为初评分以抗离群。 四道闸任一触发就把整卷转人工复核,并在库里留下逐模型明细,供人查看「为什么要转人工」: 可用评审成员少于 2 个;成员给分极差超过满分的一定比例;聚合置信度低于 0.7; 总分落在档位线临界 ±5 分以内。判分过程全程留痕可审。

打分模型不与被测评者日常使用的对话模型同源。这是我们给自己加的一条中立性约束:不让「考生用的那家模型」来给「这场考试」判分。

维度分与总分。每一项的分数,是把这项下几个观察点的得分按权重加起来(例如判断力=失败恢复力 0.40 + 批判性校验 0.60); 总分再把五项按比例合成。观察点、权重与切分点都随框架版本一起版本化,改了定义就会换版本号, 不会出现「你考的那套规则和现在说的不一样」。

档位与分级

报告用五档描述水平,切分点如下。它与证书的三档判定(合格/优秀/杰出)是两套语言, 彼此不换算:档位说的是「你在哪一段」,证书说的是「这张卷有没有过线」。

档位分数区间
初识0—39
上手40—59
熟练60—74
精通75—89
专家90—100

考核分 L1/L2/L3 三级,这一「理解—应用—创造」的三级结构与 UNESCO 学生框架的进阶层级一致; 每一级对应哪些维度权重、卷面覆盖哪些内容域,是我们按成人学习与岗位任务场景自己定的。

依据与参考

以下四项是本平台维度命名与分级结构的公开参照,均可点开原文核对(核对日 2026-10-19)。 我们没有把它们逐条搬过来做成同一套题——下面的「我们自己定的部分」才是差异所在。

  1. AI Fluency 4D Framework(Delegation / Description / Discernment / Diligence)

    Rick Dakan、Joseph Feller 与 Anthropic · 2025 起

    本平台前四个维度的同名出处,也是四维定义的主要参照。

    https://aifluencyframework.org
  2. Empowering Learners for the Age of AI: An AI Literacy Framework(AILit Framework)

    OECD 与欧盟委员会 · 2026 定稿(2025-05 征求意见稿)

    四能力领域 Engage / Create / Manage / Design with AI;本平台有两个维度参照它的学习者期望与 Engage with AI,对应关系见上方每张卡片的「依据」一行。

    https://doi.org/10.1787/65cd27d4-en
  3. AI competency framework for students(学生人工智能能力框架)

    UNESCO · 2024

    四维度十二能力,含「以人为本的思维」与「AI 伦理」;其「理解—应用—创造」三级进阶是本平台 L1/L2/L3 分级结构的参照。

    https://www.unesco.org/en/articles/ai-competency-framework-students
  4. Regulation (EU) 2024/1689(欧盟人工智能法案)第 4 条 AI literacy

    European Union · 2025-02-02 起适用

    四项参照里唯一把 AI 素养写成法定义务的一项:提供者与部署者须采取措施支持员工及代为操作者的 AI 素养。2025 年底的数字简化提案正在讨论调整该条的强制性质,本页按现行文本描述。

    https://eur-lex.europa.eu/eli/reg/2024/1689/oj

我们自己定的部分

透明地说:参照框架只解决「该看哪些能力」,不解决「怎么出题、怎么给分、线划在哪」。后三件事是我们做的, 所以它们也该由我们承担争议。

  • 题库与题干:360 道题全部自研,每题都标注考查维度(360/360),其中 184 题绑定名词库条目并记词库版本, 手写新增卷在出题脚本里逐题注出处、原文引句按字面抄;
  • 行为标记与权重:11 个标记(8 个规则型 + 3 个语义型)到五维的映射与各自权重;
  • 档位切分点与 L1/L2/L3 的内容域覆盖;
  • 「工具视野」这一维度本身——它不对应上面任何框架的独立维度;
  • 证书分三档、报告分五级,这两套说法怎么对应,也由我们定。

这些分数不能用来做什么

  • 它不是职业资格。我们的证书属能力评估证明,非国家职业资格证书,不构成任何执业准入依据。
  • 不预测绩效、薪资、录用结果或落户,也不作为上述任何事项的依据。
  • 免费诊断只有 10 题,且不发证书、也不计入任何统计;它给的是方向,不是结论。
  • 百分位只在对照人数足够时才给:先按同职业的人比,人数不够就按全体考生比,页面会写清对照的是谁; 两组人数都不够时显示「对照人数太少,暂不排名」,不拿小样本硬算一个名次。
  • 同一套题重复作答会把分数越做越高,所以每张卷限 3 次机会,前后对比要看隔了足够时间的两次。

框架版本 1.0.0。本页数字与判分规则于 2026-10-23 对照生产数据核对; 卷面结构或判分规则变动时本页随之更新。对本页有异议,欢迎指到具体某一句。