工联院大模型测评：文心一言在工业领域表现超过GPT3.5

(资料图片)

北京商报讯（记者 魏蔚）6月28日，北京商报记者获悉，中国工业互联网研究院（以下简称“工联院”）针对人工智能大模型在中文工业领域的知识问答能力进行系统性评测结果显示，百度文心一言表现超过GPT3.5，综合评价指数在国内排名第一。工联院本次评测选取了工业领域典型的八大行业。百度文心一言在电子设备、装备、钢铁、采矿、电力、石化、建材七个行业均获国内第一。

本次工业知识问答测试主要分为客观题与主观题两大类，总计超过1100个问题。主观题主要考察四大维度：基础能力、语句能力、概括能力和逻辑能力。评测结果显示，GPT4表现最佳。国内头部大模型表现亮眼，整体与GPT3.5相当。其中百度文心一言表现超过GPT3.5，在国内大模型中排名第一。在客观题环节，评测结果显示，GPT4与文心一言表现好于其他大模型。但评测结果也同时指出，大模型普遍准确率有较大的提升空间。主观题方面，国内大模型的基础能力、语句能力与GPT4接近，概括能力、逻辑能力与GPT4有一定差距。在大模型的自我认知能力和污染问题分析能力上，GPT4相较于其他大模型表现出更好的能力。

关键词：