AI大模型挑战高考:豆包等三款国产大模型突破文科一本线 数理学科仍需提升

小微 2024年06月28日 阅读:44330

AI大模型挑战高考:豆包等三款国产大模型突破文科一本线 数理学科仍需提升
图片来源于网络,如有侵权,请联系删除

  当大模型化身考生参加高考,究竟会获得怎样的成绩?

  6月24日,在极客公园最新发布的高考新课标Ⅰ卷大模型评测报告中,文科本科一批录取分数线为521分,GPT-4o以562分排名文科总分第一,字节豆包以542.5分位列于GPT-4o之后,排名国产AI第一。字节豆包、文心一言、百小应三款国产AI成功超过一本线。

AI大模型挑战高考:豆包等三款国产大模型突破文科一本线 数理学科仍需提升
图片来源于网络,如有侵权,请联系删除

  但与文科相比,大模型在理科方面的表现却不尽如人意,其最高分数不到480分的标准,而多数大模型的理科成绩更是低于400分。与河南地区理科一本线的511分相比,大模型尚有很大差距。

图源:极客公园

  大模型语言能力强项,作文仍需继续提升

  在所有考试科目中,语文、英语这两门语言类考试,是大模型与人类考生实力最为接近的赛场,其主要原因还是因为知识记忆和语言文字运用是大模型的强项。

  在语文考试中,凭借中文语言的“主场优势”,包括GPT-4o这个外国考生在内,所有大模型的客观题都能取得不错的成绩,三款国产大模型产品获得了语文考试前三名,分别是百小应、字节豆包和腾讯元宝。

  作为语文考试中,作为最容易拉开差距的题型,作文成为了本次考试的分水岭。面对相对开放的作文题目“随着互联网的普及、人工智能的应用,越来越多的问题能很快得到答案。那么,我们的问题是否会越来越少?以上材料引发了你怎样的联想和思考?请写一篇文章。”

  本次评测的语文作文阅卷人,曾多次参加全国高考语文阅卷的北京市级骨干教师、怀柔区语文学科带头人夏老师表示,大模型的整体写作能力处于一个很高的水平,大多数有清晰完整的结构,有逻辑性,语言通顺流畅,甚至超过学生的写作能力。“但其理性有余,感性不足,缺乏感情色彩,自然就缺乏感染力。”

  令人惊喜的是,豆包大模型的作文得到了阅卷老师的好评。该文中显出的对就业结构、伦理方面的担心,展现出了豆包已经具有不错的思想深度和思辨能力。在立住“问题”后,豆包还能随即用反问句自然过渡,引出三个排比段提出解决问题的方法——保持“问题意识”。阅卷老师给这篇作文打了52分,其中用发展的眼光分析问题,结合现实生活揭示问题产生的根源和危害的部分颇为亮点,并且整体上“结构严谨,层层推进,语句流畅,认识全面”。

  英语,写作同样是大模型的一大难题。本次评测默认所有大模型的听力都获得30分满分。在阅读和语言运用两大项客观问题的考试上,GPT-4o、百小应、通义千问获得80分满分,豆包和文心一言4.0也接近满分。但是在40分的写作考试中,最高分只有29分,分别由GPT-4o和百小应获得,各家模型的英语写作主要丢分在表达空泛、缺少细节上。如果大模型在未来能够提升写作能力,获得高考满分并非难事。

 文综整体出色,国产大模型进步飞快

  在由历史、地理、政治组成的新课标文综考卷评测中,大模型整体表现优异。GPT-4o获得237分的成绩。国产大模型产品中,豆包的文综成绩最高,分数达到224.5分,其中历史和政治两科得分率超过80%。如果分科来看,豆包在历史考试中以82.5分在所有参与考试的大模型中位列第一,而“外来的和尚”GPT-4o则在政治考试中取得88分的佳绩。

  在被称为“文科中的理科”地理考卷中包含大量图片问题,且地理的学科属性中有着更强的逻辑能力,对一众大模型而言是不小的挑战,最终的得分也证明了大模型整体对于地理考试的不擅长,图像理解能力较强的GPT-4o取得最高分,但最终也仅取得68分。

  河南高考分数段统计数据显示,GPT-4o的562分在文科考生中排名8811名,相当于人类考生的前2.45%。而在国产大模型中,豆包以542.5分位列第一,处于前4.27%的位置。

  在过去的一年中,国产AI大模型取得了显著的提升,其整体能力已经可以与GPT-4等国际顶尖大模型一较高下。高考评测报告结果也表明,我国在人工智能领域的研发实力和技术成果正在不断进步,与国际先进水平的差距也在进一步缩小。

  理综成绩差距较大,AI需学会像人类一样思考

  尽管大模型在文科领域展现出了一定的优势,但在数学、物理、化学等理科科目上,它们的性能与人类顶尖考生相比有着显著的差距。经过全面的评估,包括GPT-4o在内的大模型在这些科目中均未能达到及格标准,即便是最好的成绩也无法跻身人类考生的前30%。

  以数学为例,9款大模型产品中,仅GPT-4o、文心一言4.0和豆包三款模型的得分略高于60分(满分150分)。这意味着目前的大模型在处理复杂的数学问题时仍然力不从心,只能解决一些相对简单的推理步骤,且存在把简单问题复杂化的情况。据测试机构透露,豆包等大模型能准确运用求导公式和三角函数定理,但是面对较为复杂的推导和证明问题就很难继续得分。

  重点考查实验探究能力的化学和物理试卷,各模型平均分更是只有34分和39分(满分为100和110)。化学单项最高分由豆包获得,成绩为49.5分,GPT-4o仅有42分。大模型在应对考试的灵活性上也不如人类。例如物理考试中有一道送分题,人类考生根据“时间不会倒流”可以排除错误选项,轻易选对正确答案“C”,大模型则几乎全军覆没。

  此外,大模型在整体表现上虽然取得了一定的成绩,但仍存在一些问题。例如,它们普遍缺乏反思能力,当计算过程出现错误时,无法像人类一样进行检查和修正。此外,在回答某些问题时,AI模型可能会过于依赖已有的知识和经验,而忽略了一些新的信息和观点。

  要学会像人类一样思考和解决问题,大模型还有很长的路要走。

  AI的发展不仅仅是技术上的突破,更需要在应用场景和领域上进行不断的探索和创新。从几年前AI开始尝试做小学题目,到2022 年第一次有人将AI带进高考的英语考场,再到现在以豆包为代表的国产大模型“考生”取得不俗的文综成绩。正如一位大模型考生在语文作文中所提到的“路漫漫其修远兮,吾将上下而求索。”这次模拟高考的结束,将会成为大模型发展的新起点,相信AI在不远的将来一定能够为我们带来更多的惊喜和改变。(作者周靖杰 实习生蒋瑞)

【责任编辑:陈听雨】
    阅读下一篇:
              热门文章
              • 储学军:宣传制造业数字化转型成功经验,讲好数字化转型时代故事

                储学军:宣传制造业数字化转型成功经验,讲好数字化转型时代故事
                图片来源于网络,如有侵权,请联系删除图为储学军出席2024制造业数字化转型发展分享会并致辞  新华网武汉6月28日电(记者凌纪伟)2024制造业数字化转型发展分享会于6月28日在武汉市江夏区举行。分享会是2024企业家江夏行系列活动之一,会上政产学研各领域嘉宾围绕助推制造业数字化转型,培育形成以科技创新为引领的新质生产力分享真知灼见。图片来源于网络,如有侵权,请联系删除  新华网党委书记、董事长储学军出席活动并致辞。他表示,党的二十大报告把加快建设制造强国作为全面建设社会主义...
              • 辽鲁航线海域5G网络全部建成投运——茫茫大海上也能“刷视频”了

                辽鲁航线海域5G网络全部建成投运——茫茫大海上也能“刷视频”了
                图片来源于网络,如有侵权,请联系删除  6月26日,辽鲁航线海域5G网络全部建成并正式投入运行,这是我国首次实现5G网络海上规模化连续覆盖。这意味着,从当日起,乘坐辽鲁航线的旅客将告别手机没有信号或者信号断断续续的历史,在茫茫大海上也可以“刷视频”了。  根据工业和信息化部相关数据,我国已建成全球规模最大的5G网络,覆盖了全国所有地市级、县城城区。珠穆朗玛峰海拔6500米营地,已开通全球最高5G基站;新疆塔里木油田万米深井也实现5G信号全覆盖。  不过,作为我国最大的内海,渤...
              • 7月2日26只个股获券商关注,三花智控目标涨幅达41.57%

                7月2日26只个股获券商关注,三花智控目标涨幅达41.57%
                图片来源于网络,如有侵权,请联系删除每经AI快讯,7月2日,券商给予评级的个股数共有26只,获得买入评级的个股数共有18只。在公布了目标价格的4只个股中,按照最新收盘价计算,预期涨幅排名居前的个股是三花智控(002050.SZ)、瑞鹄模具(002997.SZ)、立讯精密(002475.SZ),预期涨幅分别是41.57%、29.34%、16.4%。 从券商对个股的关注程度来看,有4只个股获得多家券商关注,券商关注数量排名居前的个股是比亚迪(002594.SZ)、长城汽车(...
              • “大陆第一杰伦”全国巡演暂停!入场费最高6000元,座位当晚全部卖完,但不少周杰伦歌迷开始“抵制”他……

                “大陆第一杰伦”全国巡演暂停!入场费最高6000元,座位当晚全部卖完,但不少周杰伦歌迷开始“抵制”他……
                图片来源于网络,如有侵权,请联系删除 每经记者 杜蔚  宋美璐    每经编辑 王月龙 杨夏     “大陆第一杰伦”“不是周杰伦看不起,而是黑伦更有性价比”……靠着这些标签,以模仿周杰伦而走红的“黑伦”近期摇身一变,成了高档酒吧的座上宾,自6月起飞遍国内多市,开起了“演唱会”。图片来源于网络,如有侵权,请联系删除 《每日经济新闻》记者采访获悉,“黑伦”的全国巡演系与...
              • 6月28日十大人气股:中报行情悄然开启

                6月28日十大人气股:中报行情悄然开启
                图片来源于网络,如有侵权,请联系删除6月28日沪深两市涨跌不一,成交量有所放大。板块上消费电子、国防军工涨幅居前,证券、传媒相对较弱。人气股方面领益智造、中国西电、沃尔核材涨停,东方财富、金溢科技跌幅居前。下面是今日十大人气股排名的详细情况。 笔者将从今日人气股中,选择几个有代表性的个股进行点评,希望对投资者有所帮助。 1、东方财富:罕见急跌导致指数走弱 今日券商板块龙头股之一东方财富早盘走势波动不大,午后该股突然跳水,一度跌超8%,收盘前稍有反弹但最终仍跌近7%。...