2026世界杯即时比分 AI收成单背后, 藏着一位华东谈主“出题东谈主”

发布日期：2026-06-19 16:49    点击次数：135

每次前沿模子发布，AI圈皆会盯着几张老到的收成单。

MMLU-Pro、MMMU、MMMU-Pro……这些名字对日常用户来说有些生疏，但对模子公司和连接者而言，它们险些仍是成了“法度科目”。GPT、Claude、Gemini、Llama、Qwen、DeepSeek们束缚在这些基准上交卷。

“是骡子是马拉出来溜溜”，模子若何样，通常皆要靠这些分数来证明。

好多模子发布会上的性能对比图，离不开它们；HuggingFace上的一些排名榜，也建造在这些评测体系之上。以至不错说，今天AI行业盘考模子能力时，使用的仍是是一套由这些基准界说的共同语言。

但有风趣的是，险些通盘东谈主皆在存眷分数，却很少有东谈主知谈出题的东谈主是谁。而MMLU-Pro、MMMU和MMMU-Pro背后，皆能看到吞并个名字——陈灯谜。

他是加拿大滑铁卢大学计较机科学系助理诠释，在谷歌学术上，他的论文被援用稀奇3万次。

他亦然“老虎实验室（TIGERLab）”的首创东谈主，这个实验室的英文全称是Text and Image GEnerative Research Lab，因为名字里有一个“虎”字，陈灯谜为其起了一个很有辨识度的中语名——虎头帮。

01

旧考卷失灵之后

陈灯谜起初被更多东谈主预防到，是因为MMLU-Pro。

MMLU也曾是大语言模子能力评估中最常用的基准评测之一。它像一张抽象试卷，袒护多个学科，用来预计模子在常识默契和推理任务上的进展。

在早期，这张卷子很有效。模子之间的差距能被分数拉开，行业也不错通过它不雅察大语言模子是不是简直在高出。

但问题很快出现了。

跟着模子能力束缚普及，MMLU冉冉变得“不够考”了。前沿模子的分数越来越高，彼此之间的差距越来越小。

到OpenAI发布o3之后，这个问题变得愈加显然。o3在MMLU上的准确率仍是接近100%，其他前沿模子也赓续交出面对满分的收成。

这听起来像是一个好音讯，但对评估来说，反而意味着发奋。

一张试卷淌若宇宙皆能考接近满分，就很难连接判断谁更强、强在那儿。它仍然不错证明模子仍是具备某些能力，却不再得当预计新的高出。

AI行业需要一张更难、也更拒接易被“欺诈以前”的卷子。

2024年，陈灯谜和团队推出了MMLU-Pro。

MMLU-Pro重新修订了这张考卷，而非浅薄把题库扩大。

博亚体育app官方网站

它包含12032谈题，袒护数学、物理、化学、法律、工程、情态学、健康等14个范围。比较原版MMLU，它把选项从4个扩张到10个，裁汰模子靠测度蒙对的概率；同期加入更多偏推理的问题，计帐掉原题库中相对浅薄、存在歧义大略分手度不及的题目。

后果很径直。

论文结束高傲，模子在MMLU-Pro上的准确率比较原版MMLU下落了16%到33%。吞并模子在24种不同指示词作风下测试时，收成波动也从原MMLU的4%到5%，下落到约2%。

也就是说，这张新卷子不仅更难，也更踏实。

它让那些在旧考卷上看起来皆很优秀的模子，重新被拉开了差距。模子到底是真会推理，如故只是更擅长支吾旧题，也因此更容易被看出来。

02

好用的基准评测

MMLU-Pro很快被行业拿去用了。

MMLU-Pro随后投入NeurIPS2024数据集与基准评测赛谈，也被EleutherAI的语言模子评测框架lm-evaluation-harness集成。对开源模子社区来说，这意味着它不再只是一篇论文里的数据集，而是投入了常用评测器具链。

好多模子发布时，开动敷陈MMLU-Pro分数。HuggingFace上的一些排名榜，也把它纳入评估体系。

淌若说MMLU-Pro处理的是语言模子评估里的“旧考卷失灵”，那么MMMU则把陈灯谜和TIGERLab推到了多模态评测的中心。

多模态模子的问题更复杂。

语言模子答题，主要处理翰墨。多模态模子则要同期处理图片、图表、深远图、舆图、表格、曲谱、化学结构等不同容颜的信息。它不单是要读懂题干，还要确切看懂图像里的履行，并把视觉信息、文本信息和学科常识放在一齐推理。

MMMU基准评测包含1.15万谈多模态问题，来同意学考试、磨真金不怕火和课本，袒护艺术与琢磨、生意、科学、健康与医学、东谈主文社科、时候与工程六大范围，进一步细分为30个学科和183个子范围。

这些题目不是浅薄问模子“图里有什么”，2026世界杯技术统计它条件模子像学生作念专科题雷同，把图像信息和学科常识结合起来。

MMMU发布时，连接团队测试了14个开源多模态模子，以及GPT-4V、GeminiUltra等代表性闭源模子。即等于其时最强的闭源模子，GPT-4V和GeminiUltra也只达到56%和59%的准确率。

这组数字证据，多模态模子看起来高出很快，但在确切需要专科默契和推理的问题上，仍然有大皆空间。

自后，陈灯谜团队又推出了MMMU-Pro，进一步堵住模子绕过视觉信息的空间。它过滤掉只靠文本模子也能回报的问题，扩张候选项，并引入vision-only成立，把问题镶嵌图像中，条件模子同期完成视觉读取和文措施悟。

浅薄说，就是不让模子“只看翰墨猜谜底”。

这类责任听起来颇有点琐碎之感，但它们很关键。因为多模态模子畴昔要投入医疗、陶冶、科研、琢磨、工程等场景，只是能形容图片是不够的。它必须能判断、推理、解释，也必须能在复杂视觉信息中找到确切有效的部分。

03

“考卷”背后的东谈主

陈灯谜自后作念MMLU-Pro和MMMU，来自于他一直以来的连接地点。

他的连接意思意思底本就与复杂信息默契、常识问答和推理相关。

他本科毕业于华中科技大学，之后到德国亚琛工业大学攻读硕士，再到加州大学圣巴巴拉分校取得计较机科学博士学位。博士时刻，他仍是开动围绕复杂问答、表格推理、常识把柄定位等地点作念连接。

这类任务有一个共同点：谜底通常不在单一文本里。

它可能藏在一张表格里，也可能需要结合一段翰墨和一张图片，还可能需要模子先检索信息，再整合、计较和推理。模子弗成只会复述已有常识。

陈灯谜参与过的HybridQA、TabFact、ProgramofThoughts、MAmmoTH等神色，皆和这条线相关。

这也解释了他为什么会对模子评估里的毛病明锐。

好的基准评测不是浅薄把题目搞得越来越难，而是要预判模子最容易在那儿“蒙对题”“看起来会”。

模子可能记取了题库，也不错靠选项猜谜底，还可能用翰墨绕过视觉信息……好的评估得把这些毛病补好。

博士毕业后，陈灯谜投入谷歌连接院，随后在2021年至2025年参与谷歌DeepMind的Gemini多模态模子和评估责任。这段阅历也很遑急。长久战争前沿模子研发，让他更了了模子能力是如何增长的，也更容易看见评估中可能存在的偏差和盲区。

2022年秋季，陈灯谜加入滑铁卢大学计较机科学学院，担任助理诠释。同庚，他入选CanadaCIFARAIChair。之后，他创办“老虎实验室（也就是虎头帮）”，连接围绕基础模子、多模态能力和基准评测张开连接。

虎头帮并不单是作念基准评测，也在作念模子和系统连接。

在视频方朝上，UniVideo试图把视频默契、生成和剪辑放进吞并个框架，让模子不单是生成一段画面，也能默契履行、反映指示并完成修改。Vamba对准长视频默契，处理一小时级别视频带来的显存、计较和教训遵守问题。与Meta生成式AI团队配合的MoCha，则把重心放在话语造谣脚色生成上，通过语音和翰墨形容生成高质料东谈主物视频。

一个从来不作念题的出题东谈主是不可能出好题的。我方下场作念模子，反过来也让他们更适四肢念评估。

因为真碰巧的评估，通常来自对模子能力规模的默契。只消知谈模子是若何作念出来的，知谈它在确切任务里会遭遇什么问题，才更容易琢磨出能测出差距、也能裸露问题的题目。

如今，陈灯谜投入Meta超等智能实验室，责任连接联接在多模态预教训数据和评估，并做事于Meta基础模子。

AI行业并不衰退被看见的东谈主。AI行业里，聚光灯频繁会落在创业者、明星连接员和大模子公司的隆重东谈主身上。新产物发布、融资音讯、开源模子和团队治疗，通常最容易迷惑外界存眷，也让这些名字更容易投入公众视线。

但今天的AI范围2026世界杯即时比分，华东谈主东谈主才的参与仍是远不啻这些最显眼的位置。