AI技术发展日新月异，从高德纳对Claude破解难题的惊叹，到数学家陶哲轩宣称GPT-5.2 Pro解决数学难题达到博士水平，AI在各个领域不断突破。然而，在被称为“人类最后的考试”的新基准测试中，即便是最先进的AI模型也表现不佳，最高得分仅8%，这一结果引发了广泛关注。
随着AI模型能力的迅速提升，传统基准测试逐渐失去效力。大规模多任务语言理解（MMLU）等曾被视为高难度的评测，如今AI的准确率已超过90%，甚至接近“饱和”。研究人员指出，这些测试过于简单，难以真实反映AI的先进水平，更无法确保其安全性和有效性。为了应对这一挑战，全球近千名研究人员组成联盟，开发了名为“人类最后的考试”（Humanity’s Last Exam，HLE）的新基准。
HLE由AI安全中心CAIS和Scale AI团队共同开发，包含3000个极具挑战性的问题，最终筛选出2500道用于测试。这些问题覆盖数学、人文学科、自然科学、古代语言及高度专业化的子领域，旨在全面评估AI的能力。每道题都经过领先AI模型的测试，只有那些当前系统无法解答的问题才会被保留，确保测试恰好处于AI能力边界之外。
初步测试结果显示，即便是最先进的模型也难以应对HLE的挑战：GPT-4o仅得2.7%，Claude 3.5 Sonnet为4.1%，而OpenAI的旗舰模型o1也仅取得8%的成绩。这一结果凸显了HLE的高难度，也表明当前AI在复杂、专业化知识领域仍存在明显局限。
德州农工大学计算机科学与工程系副教授Tung Nguyen参与了HLE的题目撰写和完善工作，贡献了73道考题，尤其在数学和计算机科学领域撰写了大量题目。他指出，HLE的目的并非难倒人类，而是精确揭示AI目前无法完成的任务。尽管AI在传统基准测试中表现优异，但这些测试未必能衡量真正的“智能”。HLE的命名虽有玩笑成分，但其核心理念是设立一道人类对AI的终极考验——如果AI能通过，则意味着它达到了专业化人类专家的水平。
HLE的问题需要多年的专门研究才能解答，仅靠互联网数据的“猜测”无法奏效。例如，考试涵盖从核物理到古代史的广泛领域，没有人类能独自通过整个考试，但特定领域的专家可以轻松回答其专业内的问题。相比之下，AI在几乎所有类别上都表现不佳，凸显了其在深度专业知识方面的不足。
