小米64亿大语言模型亮相C-Eval、CMMLU评测

(相关资料图)

近日，小米的大语言模型MiLM-6B首次亮相C-Eval、CMMLU两大AI模型评测榜单。据悉，MiLM-6B在C-Eval总榜单中排名第10，同参数量级排名第1，而在CMMLU中文向大模型中则位列第1。C-Eval公布的数据显示，MiLM-6B模型在各个测试科目中的平均成绩表现良好。在STEM（科学、技术、工程和数学教育）的20个科目中，包括计量师、物理、化学、生物等多个项目都取得了较高的准确率。在10个社会科学科目中，除教育学和地理外，该模型在所有科目中都获得了较为理想的准确率。在人文科学的11个科目中，MiLM-6B在历史与法律基础上也有着不错的准确率表现。然而，尽管MiLM-6B模型在大多数科目中表现出了相对良好的准确度，但在法学、数学、编程、概率论、离散数学等科目上的表现仍有待提升。据了解，MiLM-6B是小米开发的一个大规模预训练语言模型，参数规模为64亿。

关键词：