MMLU 全稱 Massive Multitask Language Understanding,是一種針對大模型的語言理解能力的測評,是目前最著名的大模型語義理解測評之一,由UC Berkeley大學(xué)的研究人員在2020年9月推出。該測試涵蓋57項(xiàng)任務(wù),包括初等數(shù)學(xué)、美國歷史、計(jì)算機(jī)科學(xué)、法律等。任務(wù)涵蓋的知識很廣泛,語言是英文,用以評測大模型基本的知識覆蓋范圍和理解能力。
MMLU 全稱 Massive Multitask Language Understanding,是一種針對大模型的語言理解能力的測評,是目前最著名的大模型語義理解測評之一,由UC Berkeley大學(xué)的研究人員在2020年9月推出。該測試涵蓋57項(xiàng)任務(wù),包括初等數(shù)學(xué)、美國歷史、計(jì)算機(jī)科學(xué)、法律等。任務(wù)涵蓋的知識很廣泛,語言是英文,用以評測大模型基本的知識覆蓋范圍和理解能力。