分享好友 资讯首页 频道列表

《麻省理工科技评论》大模型测评报告:讯飞星火得分第一

2023-10-01220

《麻省理工科技评论》我国发布的大模型评测报告表明,在8个一级类别的600道试题的评估和盲评中,科大讯飞星光认知能力大模型V2.0在6个类别中得分排名第一,在这次实测中表现优异,以81.5分(学分制计)的成绩此次测评中登上,喜获“智商最高”的国产大实体模型头衔。

《麻省理工科技评论》(MIT Technology Review)是通过麻省理工大学国有独资拥有的杂志期刊,借助麻省理工大学学术和市场资源,发刊于1899年,是世界上历史悠久的技术性杂志期刊及知名度最大的一个高新科技商业化的中国智库之一。《麻省理工科技评论》于2016年落地式我国,由DeepTech独家代理经营,在我国进行新闻媒体、科学研究、出版发行及大会业务流程,紧紧围绕技术性话题讨论辐射源和影响到新兴技术圈内。

《麻省理工科技评论》我国从研制和商业化的水平、外部心态及其发展趋向等多个维度多方位检验大模型能力,试图评选“智商最高”的国产大实体模型。此次实测所使用的验证集包括600道题型,覆盖语言表达重点、数学课重点、理综、文综、逻辑思维能力、编程能力、综合应用能力、安全系数共8个一级类别、126个二级分类、290个三级标识,并对存在的问题的主体性和多元性进行了提升。在题型分析上,还要兼顾定量分析、定性的评价和检测,增设了“单选题”“选取”“填空题”“简单”4个题目类型,分别为145道、138道、136道及181道。大模型实测管理体系应用盲评方法,客观性评定国产大模型聪慧水平。

作为“智商最高”大实体模型核心能力的实测,语言表达重点实测包括会话了解、多种语言、讥讽、古诗文了解、文本生成、关键点汇总、文本分析、词义分辨等61个二级分类,题目类型则是以简单为主导。数据显示,科大讯飞星光85.73%的得分排名第一,远远高于均值。

数学课重点实测,是“智商最高”大模型不可缺少的实测层面。此次实测包括解析几何、几何图形、列方程、繁杂数学课、应用统计学等9个二级分类,以单选题为主导。在其中,科大讯飞星光77.75%的得分名列第一,远远高于均值得分56%,其他网站得分基本上非常。报告指出,在实体模型广泛“数学不好”的情形下,科大讯飞星光这一考试成绩甚为难能可贵,其在数学重点里的领跑一样表现在二级分类评分结论上,在77.8%的二级分类中得分第一,远高于其他网站,分析判断其善于几何图形与场景使用。

做为反映大模型“聪慧水平”不可缺少的“强势”一部分,理综实测包括报表互动问答、有机化学、微生物、物理学、医药学5个二级分类,题目类型内以单选题和简单为主导。实测结论中,科大讯飞星光78.50%的得分排名第一。此外,科大讯飞星光在理综类别下80%的二级分类实测中得分为第一,有机化学与生物较为突出。

逻辑思维能力都是“智商最高”大模型的具体体现,此次逻辑思维能力实测在逻辑判断、逻辑思维链等多个方面制定了比较多的题型,包括对比、常识推理、空间方位、演绎推理、逻辑谬误检验、因果推理等19个二级分类,题目类型上相对性均值,在其中填空较多,多项选择题至少。在逻辑思维能力问题中,科大讯飞星光81.25%的得分名列第一,远远高于72.6%的均值。除此之外,科大讯飞星光在逻辑思维能力63.2%的二级分类这个问题上得分第一。逻辑思维能力针对大模型真正了解现实世界特别重要。

编程能力是模式较为高级能力,此次的编程能力实测包括ASCII、ASCII码鉴别、Python、编码、编码调整、电子计算机6个二级分类,在其中Python主要是以简单方式评定大模型的代码生成能力及准确率,别的则是以主观题的方式调查。数据显示,科大讯飞星光80%的得分远远高于71%的均值,其他网站得分基本上非常。值得一提的是,在很多人关注的生成代码的简答单项工程上,科大讯飞星光的评分率为82%,远远高于其他网站,呈现甚为醒目。

做为较难实测层面,综合应用能力对大模型的“聪慧”水平规定也非常高,涉及到的题较杂,包括百科问答、基本常识、科技知识、客观事实互动问答、工作技能、谜面等13个二级分类,题目类型以选取为主导。在综合应用能力实测上,科大讯飞星光80.61%的得分排名第一,在84.6%的二级分类上得分第一,基本表明存在于百科问答和历史文化里的“独到之处”。

报告显示,在本轮大模型实测中,科大讯飞星光以81.5的高分技压群雄,变成国产大实体模型的第一名。

在刚结束的8月15日,科大讯飞星光认知能力大模型V2.0按期公布,进一步提升代码能力和跨模态水平。在研发得到重大进展的前提下,配备科大讯飞星光V2.0核心竞争力的使用和产品也更为丰富。

反对 0
举报 0
收藏 0
打赏 0
第三届消博会游艇展在海口开幕
4月11日晚,第三届中国国际消费品博览会游艇展暨中国(海口)国际船艇及生活方式展(以下简称“第三届消博会游艇展”),在海口市国家帆船基地公共码头开幕。海口市国家帆船基地公共码头(央广网发 主办方供图)

0评论2023-11-1975

全聚德发布年报:餐饮、预制菜多点开花 2023年迎火热开局
4月10日晚,全聚德(002186)发布2022年年度报告。报告显示,全聚德2022年营业收入为7.19亿元,归属于上市公司股东的净利润为-2.78亿元。(相关资料图)全聚德表示,2022年公司按照全

0评论2023-11-1988

每日速看!2023海南自贸港国际游艇产业发展论坛召开
(资料图) 4月12日,2023海南自贸港国际游艇产业发展论坛在海口市国家帆船基地公共码头游客中心召开。作为第三届消博会游艇展重要活动,论坛吸引了来自国内外的专家学者、业界知名人士及游艇制造企业、游艇

0评论2023-11-1974

全球新动态:木屋烧烤隋政军:做餐饮不谈“好吃”,就是自欺欺人
在过去几年艰难的环境下,木屋烧烤就“未来如何才能生存发展下去”做了深层次的思考。本文为木屋烧烤创始人隋政军在“2023中国餐饮产业峰会”上的演讲实录。做餐饮不谈“好吃”,就是自欺欺人(资料图片)为什么

0评论2023-11-1940

全球新消息丨上海推动工程建设领域营商环境一体化改革 20项重点任务措施助力项目早开工、早落地
(相关资料图)工程建设领域是优化营商环境工作的重要一环。在4月12日举行的上海市政府新闻发布会上,上海正式发布《关于深化系统集成 推动上海市工程建设领域营商环境一体化改革的实施意见》(以下简称《6.0

0评论2023-11-1918

每日速递:春风相伴“守”艺人
(资料图)“一直以来,在传承非物质文化遗产技艺的道路上,税务部门与我们相伴相随,给予政策和服务上的双重扶持,让我们这些手艺人能全身心投入到木雕技艺的传承与发展中去。”泽普县弥郎木雕有限公司负责人柔孜·

0评论2023-11-1967

全球快播:大师列传 | 艺术风骨 其命惟新——画家周京新用“水墨雕塑”构建艺术新天地
在中国画坛上有这样一位极具个性的水墨画艺术家,他在二十年的时间内,连续五届在全国美术作品展览上摘奖。他本在工笔人物画领域成绩斐然,却毅然转身开辟水墨写意之路。十年磨一剑,他以极具个性的胆魄,开创了“水

0评论2023-11-1986

简讯:尚汇“幸福社”落户蓉城 首届“社长论坛”成功召开
2023年4月8日,尚汇教育集团首个行业细分平台——尚汇“幸福社”在成都成功召开首届“社长论坛”。一百多名尚汇“幸福社”的“社长”“社员”与会到场。尚汇“幸福社”是尚汇教育针对中国美业大健康领域发起的

0评论2023-11-1964

重庆“318”,大金佛山环山自驾游邀你耍
4月12日,南川区在大观原点举行“文旅融合赋能乡村振兴——大金佛山178环山趣驾”品牌新闻发布会。重庆日报记者从会上获悉,南川区将于近期举办5项精彩纷呈的文旅活动,邀市民共赏文旅融合赋能乡村振兴的美好

0评论2023-11-1958

今日观点!京东助力佛山家居产业集群高质量发展 提供专项成长计划、构建大件物流仓网
(资料图片)4月12日,由新华社民族品牌工程主办,新华网、京东承办的“特色产业集群中国行”活动走进佛山,将京东“春晓计划”的扶持政策带给当地商家。被誉为世界制造之都的佛山,打造了家电、家具、陶瓷、卫浴

0评论2023-11-1920