生成式人工智能能否有效提升学习效果——基于31项实验与准实验的元分析

　　人工智能的快速发展，为教育带来了福音，推动了智能教育的发展进程^[1]。技术从其诞生之初就深刻嵌入特定的文化逻辑^[2]。生成式人工智能（Generative Artificial Intelligence）的出现，预示着教育领域的革命性转变^[3]。其已被用于辅助创意写作[4]、自适应学习系统^[5]以及模拟复杂问题解决过程^[6]，这些应用在高等教育中的使用尤其突出。2025年1月，DeepSeek R1模型发布后一周内，火速刷屏美国各大主流媒体和社交网站，成为炙手可热的生成式人工智能工具。关于生成式人工智能赋能学习的具体应用，相关研究已积累了丰富的案例实证^[7]。在教育数字化转型与高质量发展诉求的双重驱动下，生成式人工智能与教学的深度融合已成为不可逆转的趋势。这一趋势不仅重塑了教学范式，更因其兼具的跨境性、公私二元属性、交互联通性及风险扩散效应，构成了当前教育治理的核心挑战^[8]。从全球范围来看，各国纷纷将人工智能纳入国家战略，不同国家的战略在教育领域呈现出差异化布局[9]。然而，对于生成式人工智能能否提升学生的学习效果，大量实证研究结论尚未达成共识，相关干预措施的效果稳定性也缺乏足够数据支撑^[10][11]。例如，拉马赞·耶尔马兹（Ramazan Yilmaz）等发现，使用ChatGPT的大学生具有较高的计算思维能力^[12]；孙立辉等的研究表明，生成式人工智能能够提高大学生的学业成绩^[13]；石淑锦等发现，生成式人工智能可以改善学生的认知、技能和情感^[14]。但也有其他研究得出相反结论。例如，胡安·埃斯卡兰特（Juan Escalante）等发现，学生在学习中使用生成式人工智能并没有提高其英语写作技能^[15]；张博等的研究表明，生成式人工智能在开发大学生目标知识方面的有效性并不显著^[16]；王雪等发现，在创意写作任务中自由使用ChatGPT能够降低学生认知负荷，同时提升其创造力^[17]。因此，验证生成式人工智能在教育干预中的实质性成效及其对学习的有效性至关重要。特别是在当前快速变化的教育环境中，生成式人工智能在赋能教育教学的同时，在实践中表现出的人工智能“幻觉”等现象，对教育应用效果产生负面影响^[18]，导致对于教育应用有效验证的需求正在增加。　　目前，虽然已有研究讨论了生成式人工智能对学生学业成绩的影响，但总体效果尚不清晰，且对影响学习效果的重要因素也没有达成共识。因此，本研究旨在通过元分析（Meta-Analysis）方法全面评估生成式人工智能对学生学习效果的影响。

　　本研究采用元分析方法，系统分析生成式人工智能对学习效果的影响。元分析方法由英国教育心理学家金·格拉斯（Gene V. Glass）于1976年首次提出，定义为“以综合已有的发现为目的，对单个研究结果的集合的统计学分析方法”^[19]。本研究使用CMA 3.0（Comprehensive Meta Analysis 3.0）软件作为数据分析工具，分析流程包含五个步骤：①检索有关的实证研究；②依据研究目标制定文献筛选标准；③依据筛选文献与调节变量制定编码特征表；④依据研究数据计算效应值；⑤检验发表偏倚与异质性。　　（一）文献检索与筛选　　为获得关于生成式人工智能对学生学习效果影响的尽可能全面的研究，使用各种策略进行文献检索^[20]。首先，基于PRISMA流程图^[21]，文献检索以Web of Science、Scopus、Springer、Wiley-Blackwell、Sage作为主要英文数据库，以中国知网作为主要中文数据库，同时以Google Scholar等数据库作为补充文献检索来源。检索文献类型包括期刊和学术论文，采用布尔运算符在数据库中进行文献检索，检索关键词分为两组，任意组合进行文献检索：①中文关键词。一组为生成式人工智能、人工智能、聊天机器人、文心一言、讯飞星火、豆包、Kimi，另一组为学习成效、学习成果、影响效果。②英文关键词。一组为Generative AI、ChatGPT、Chatbot，另一组为Education、Learning、Teaching、Course、Instruction、Training和Achievement、Performance、Outcome、Effect、Effectiveness、Gains。考虑到生成式人工智能的典型代表ChatGPT于2022年11月30日发布，本研究包含的文献仅限于该日期之后发布。通过关键词检索初步捕获5860篇文献；通过阅读标题与摘要进行初筛并去重，最终保留120篇文献进入下一步筛选，如图1所示。

图1 文献筛选流程图　　（二）文献纳入标准　　文献纳入标准包括：①纳入的文献以中文和英文为主，排除其他语言文献。②研究方法为实验研究或准实验研究，排除综述型文献。③包含实验组（使用生成式人工智能）和对照组（不使用生成式人工智能），单组实验设计需包含前后测。④结果变量包含前后测的学习成绩。⑤依据能否计算实验效应量（Effect Size）对文献进行筛选。具体而言，纳入文献需至少满足以下条件之一以获取原始数据：报告了实验组与对照组的均值（Mean）、标准差（SD）及样本量（N）；报告了均值、t值及样本量；报告了均值、P值及样本量；报告了组间均值差（MD）、合并标准差（Common SD）及样本量。对于单组实验设计，参照上述标准执行。经筛选，最终共纳入31篇文献进行元分析。
　　（三）文献编码　　不同变量可能对学生学业成就的发展产生不同影响^[22]。然而，当前学术界对于影响生成式人工智能教育应用效果的关键调节变量，尚未形成整合性的理论框架与稳定的实证共识。因此，本研究的第二个目的是确定影响总体效度的关键研究特征，并探索不同调节变量对总体效度的影响。文献初步筛选完成后，为方便后期进行分析统计以及计算效应值，本研究对参与计算的原始文献特征值进行编码，以生成式人工智能为自变量，学习效果为因变量，并以学段、学科、知识类型、教学模式、实验周期为调节变量，统计文献作者、年份、样本量、学科、学段和知识类型。调节变量编码信息如表1所示。表1 调节变量编码信息

　　学科类型指使用生成式人工智能教授的知识类型。本研究根据学科分类，将学科类型分为自然科学（物理、化学、生物、科学、地理等）、社会科学（语言、文学、艺术、经济等）、工程技术（建筑、计算机技术、多媒体技术、软件工程、信息技术等）、医学。自然科学和工程技术领域由于需要数据密集分析和复杂计算，更加偏好利用生成式人工智能进行实验模拟和数据分析，从而潜在地提高学生的技术技能和解决问题的能力^[23]。相比之下，人文和社会科学专业的学生更有可能利用生成式人工智能进行文本生成和语言学习，以提高写作技能^[24]。这一学科差异与智能技术助力跨学科教育等内在逻辑相契合，不同学科的知识表征方式决定其与技术融合的路径差异^[25]。因此，学科差异可能是影响生成式人工智能对学生学习效果作用的重要因素之一。　　教学模式分为传统课堂（在传统课堂中融入生成式人工智能）、翻转课堂（在翻转课堂中融入生成式人工智能）、项目式教学（在项目活动中融入生成式人工智能）。知识类型分为陈述性知识（概念、原理等）和程序性知识（技能、编程等）。陈述性知识通常测试考查学生对所学知识的掌握程度，题目多为客观题，有明确的答案和评分标准；程序性知识通常考查学生能否将所学知识运用到实践中，测试类型一般为上机实操或者作品展示。学段分为小学、中学和大学三个阶段。实验周期分为1天内、1天至1个月、1个月以上至4个月、4个月以上。使用生成式人工智能的教学干预时长不一致，是否会影响学生的学习效果？多项研究表明，实验周期的长短对学生的学业成就具有显著影响^[26]。　　经过编码培训，由两位研究者独立筛选并进行文献编码，编码结果的一致性达0.927。研究者通过邮件联系文献作者以获取必要信息，对于未获回复的文献，则由研究团队针对样本编码中存在数据分歧的部分，通过共同讨论予以裁定，从而确保编码的可信度。编码包括基本信息和调节变量，文献编码结果如表2所示。其中，样本量中的“E”指实验组（使用生成式人工智能），“C”指对照组（不使用生成式人工智能）。表2 文献编码表

　　（四）效应值计算　　效应值是衡量实验效应强度或者变量关联强度的指标，它不受样本容量大小的影响（或者影响很小）^[27]。教育学中的效应值按统计意义可以分为差异类、相关类和组重叠三类，其中差异类效应值一般用于实验研究中比较两组或多组的均值，包括Cohen’s d和Hedges’s g。由于本研究样本量较少，故采用Hedge’s g值（以下简称g值）作为效应值。效应值计算步骤为：先计算标准化均数差（d），再乘以校正因子（J），其计算公式如下：

　　公式（2）中，M1为实验组平均数，M2为控制组平均数，S为合并标准差。公式（3）中，n1为实验组样本量，n2为控制组样本量，S1为实验组标准差，S2为控制组标准差，S为合并标准差。

　　当效应值在0.15~0.40之间时，其指示低水平的影响；当效应值在0.40~0.75之间时，其具有中等水平的影响；当效应值超过0.75时，其具有高水平的影响。
　　（五）发表偏倚检验　　发表偏倚会不完全表现特定领域的研究。如果一个元分析样本存在发表偏倚，预估的效应值将显著高于实验的真实值，从而直接影响分析的准确性和可靠性^[28]。因此，在进行具体数据分析之前，评估发表偏倚非常重要。本研究使用漏斗图和Egger检验，通过分析样本偏倚性，提高研究质量与可信度，防止结论的失真。从图2可以发现，大多数研究相对集中地分布在漏斗图的有效区域上，表明发表偏倚的可能性较低。此外，采用Egger方法检验发表偏倚，Prob>Z=0.69（P>0.05），表明纳入元分析的样本无显著发表偏倚。因此，本研究的分析结果相对稳定可靠。然而，漏斗图两个斜线之外还有一些点，表明研究可能存在一些异质性，需要继续分析。

图2 漏斗图
　　（六）异质性检验　　考虑到纳入文献在研究设计、样本特征与测量工具等维度存在差异，为提高分析结果的科学性和准确性，本研究采用随机效应模型。从表3数据可以发现，固定效应和随机效应模型的P值均小于0.05，Q=258.038（P<0.05），I²=88.374%，与漏斗图中给出的结果一致，表明文献纳入具有中到高的异质性。基于上述检验结果，本研究采用随机效应模型进行分析。表3 异质性检验结果

　　（一）总体效应分析　　对纳入的31项独立研究进行系统分析发现，生成式人工智能对学生学习效果具有显著的正向影响，效应值为0.599（95%置信区间为[0.358, 0.840], P<0.001）。这一结果表明，生成式人工智能在提升学生学习成效方面具有中等程度正向影响，且在不同研究中表现出较为一致的积极效果。
　　（二）调节变量检验结果　　1.生成式人工智能对不同学段学习效果的影响　　本研究进一步检验了生成式人工智能对不同学段学习效果的影响，结果如表4所示。结果显示，生成式人工智能对小学（ES=0.661, P<0.05）、中学（ES=0.363, P<0.05）和大学（ES=0.742, P<0.001）三个学段的学习效果均具有显著正向影响，且对大学的影响最大，对小学和中学的影响相对较小。此外，从小学、中学到大学，效应值呈现先减小后增大的趋势，表明生成式人工智能对学习效果的影响在中学学段相对较弱，在小学和大学学段更为显著。组间效应检验结果显示，Q_b=1.925，P=0.382，未达到统计学意义上的显著水平，表明生成式人工智能对不同学段学习效果的影响不存在显著差异。表4 生成式人工智能对不同学段学习效果的影响

　　2.生成式人工智能对不同学科类型学习效果的影响　　本研究进一步检验了生成式人工智能对不同学科类型学习效果的影响，结果如表5所示。结果显示，生成式人工智能对自然科学（ES=0.365, P<0.05）、社会科学（ES=0.500, P<0.05）和工程技术（ES=0.784, P=0.001）三个学科类型的学习效果均具有显著正向影响，且对工程技术学科的影响最大，对自然科学和社会科学学科的影响相对较小。尽管生成式人工智能对医学学科学习效果的效应值为正（ES=0.376），但由于P值未达显著性水平，表明该影响在统计学上尚不显著。表5 生成式人工智能对不同学科类型学习效果的影响

　　此外，从自然科学、社会科学到工程技术，效应值呈现逐渐增大的趋势，说明生成式人工智能对学习效果的影响随着学科类型的不同而有所差异。组间效应检验结果显示，Q_b=5.061，P=0.167，未达到统计学意义上的显著水平，表明生成式人工智能对不同学科类型学习效果的影响不存在显著差异。　　3.生成式人工智能对不同知识类型学习效果的影响　　本研究进一步探讨了生成式人工智能对不同知识类型学习效果的影响，结果如表6所示。结果显示，生成式人工智能对陈述性知识（ES=0.635, P<0.05）和程序性知识（ES=0.537, P<0.05）的学习效果均具有显著正向影响，且对陈述性知识的影响略大于对程序性知识的影响。组间效应检验结果显示，生成式人工智能对不同知识类型学习效果的影响未达到统计学意义上的显著水平，表明影响不存在显著差异。表6 生成式人工智能对不同知识类型学习效果的影响

　　4.生成式人工智能对不同教学模式学习效果的影响　　本研究进一步分析了生成式人工智能对不同教学模式学习效果的影响，结果如表7所示。结果显示，生成式人工智能在传统教学（ES=0.574, P<0.001）、翻转课堂（ES=0.611, P<0.05）以及项目式教学（ES=0.964, P<0.001）三种教学模式下均显示出显著的正向影响，且对项目式教学的影响最大，翻转课堂居中，传统教学波及最小。表7 生成式人工智能对不同教学模式学习效果的影响

　　从不同教学模式的效应值来看，生成式人工智能对学习效果的促进作用随着教学模式的创新而增强，尤其在项目式教学中表现最为突出。组间效应检验结果显示，Q_b=2.828，P=0.243，未达到统计学意义上的显著水平，表明虽然不同教学模式下生成式人工智能的影响程度存在差异，但这种差异并不具有统计学显著性。　　5.生成式人工智能对不同实验周期学习效果的影响　　本研究进一步探讨了生成式人工智能在不同实验周期对学习效果的影响，结果如表8所示。结果显示，在1天内（ES=0.527, P<0.05）、1个月以上至4个月（ES=0.717, P<0.001）以及4个月以上（ES=0.978, P<0.001）的实验周期中，生成式人工智能均对学习效果产生了显著的正向影响，且对4个月以上实验周期的影响最大。对于1天至1个月的实验周期，虽然效应值为正（ES=0.352），但双尾检验结果（P=0.148）表明这一影响未达到统计学意义上的显著水平。表8 生成式人工智能对不同实验周期学习效果的影响

　　从不同实验周期的效应值来看，生成式人工智能对学习效果的促进作用随着实验周期的延长而增强，尤其在较长的实验周期（4个月以上）中表现最为突出。组间效应检验结果显示，Q_b=3.445，P=0.328，未达到统计学意义上的显著水平，表明不同实验周期下生成式人工智能的影响程度存在差异，但这种差异并不具有统计学显著性。

　　本研究通过对31篇中英文文献的元分析，系统评估了生成式人工智能对学生学习效果的综合影响，并深入揭示了其在不同教育情境下的应用效果。研究结果表明，生成式人工智能在提升学生学习成效方面具有显著的正向作用，且在不同学段、学科类型、知识类型、教学模式及实验周期下的应用，均展现出一定的适应性。不同场景下的影响程度虽存在一定差异，但均未达统计学显著性水平，进一步验证了生成式人工智能作为教育工具的普适性与应用有效性。　　（一）结论　　1.生成式人工智能对学习效果有正向影响　　元分析结果表明，生成式人工智能对学习效果的合并效应值为0.599，呈现中等程度的正向影响。可见，基于生成式人工智能构建的学习环境，能够显著提升学生的学习效果。这主要得益于生成式人工智能两大核心优势：一方面能为学生打造丰富的互动式学习场景，另一方面可以用直观可视化的方式拆解复杂知识。这些优势既能有效激发学生的学习兴趣与内在动机、提升课堂参与度，又能降低认知负荷，帮助学生更深入地理解学习内容。尽管生成式人工智能在不同条件下的影响程度存在差异，但组间效应检验结果显示，这些差异并未达到统计学意义上的显著水平。这表明生成式人工智能作为一种教育工具，在不同学段、学科、知识类型、教学模式及实验周期下均具有一定的普适性和应用有效性。本研究不仅证实了生成式人工智能在教育领域的广泛应用潜力，也为不同教育场景下的应用优化提供了扎实的实证依据与理论参考。　　2.生成式人工智能对不同调节变量下的学习效果影响程度不同　　元分析结果表明，虽然生成式人工智能对不同学段、学科类型、知识类型、教学模式以及实验周期的学习效果影响在统计学上未见显著差异，但影响程度确实有所不同。　　从学段来看，生成式人工智能对大学学段的学习效果影响最大，对小学和中学学段的学习效果具有中等程度影响。这可能缘于高等教育更注重培养学生的独立思考和创新能力，而生成式人工智能支持的教学活动能够提供个性化、差异化的学习路径，从而增强了学生的学习动机和兴趣，提高了学生的参与度和学习能力。　　从学科类型来看，生成式人工智能对工程技术学科的学习效果提升作用最明显，其次是自然科学和社会科学学科。这可能缘于工程技术类学科知识大多需要实践操作和创新设计，而生成式人工智能能够提供模拟实验和设计原型的平台，从而有效弥补了传统课堂实践环境的不足。　　从知识类型来看，生成式人工智能对陈述性知识的影响略大于程序性知识。陈述性知识的学习侧重于信息的理解、记忆和再现。生成式人工智能在生成、总结和解释复杂概念方面具有高效优势，能够为学生提供多角度的定制化解释和丰富的例证，从而有效降低抽象知识的认知负荷，加快学生对知识的内化过程。相比之下，程序性知识的学习更依赖结构化的练习、实时的反馈和重复性的修正。虽然生成式人工智能可以辅助生成操作步骤或代码原型，但实际技能的掌握和熟练度仍需学生通过亲身操作和大量实践来完成。对动手实践的依赖性，使得生成式人工智能在促进程序性知识掌握方面的干预效应相对较弱。这意味着，依托生成式人工智能开展教学时，应针对不同知识类型实施精准化的干预策略。例如，利用生成式人工智能促进陈述性知识的深度理解，同时为程序性知识的学习过程提供流程引导与即时反馈。　　从教学模式来看，生成式人工智能对学习效果的影响在项目式教学中最为显著，翻转课堂次之，传统讲授式教学中相对有限。这可能缘于项目式教学更注重学生的主动学习和问题解决能力，而生成式人工智能能够提供个性化的学习资源和反馈，从而增强了学生的学习动机和参与度。　　从实验周期来看，生成式人工智能对1个月以上至4个月以及4个月以上实验周期中的学习效果均具有显著正向影响，且4个月以上实验周期的学习效果受影响最大。这可能缘于随着实验周期的延长，学生对生成式人工智能的操作逐渐熟练，其学习热情慢慢消退，进而直接影响学习效果。　　（二）启示　　生成式人工智能在教育领域的应用，不仅是一种技术革新，更是一场教育理念与实践的深刻变革。通过对31项实验与准实验的元分析，本研究揭示了生成式人工智能对学习成效的积极影响，也启发了利用生成式人工智能实现大规模个性化教育的策略方法。　　第一，优化人机协同实践设计。生成式人工智能具备跨领域的普适性与情境适配能力，在教育场景中作为辅助工具，尽管对不同学段、学科、教学模式、实验周期的影响幅度存在波动，但正向作用的稳定性充分证明，其能够适配多元教育需求。这一发现表明，教育技术应用不应局限于单一模式，而应根据具体情境进行灵活调整。①共建教育共同体。为进一步优化人机协同实践设计，教育工作者和技术开发者需要紧密合作，紧跟时代需要，设计更加贴合实际教学需求的智能工具。例如，学习复杂概念性知识时，可借助DeepSeek生成深度知识解析，对抽象内容进行简化和精炼，以多样化、逻辑条理清晰的方式促进学习者对知识的深度理解。②重视教师的角色定位。教师不仅是知识的传授者，更是学生学习过程的引导者和支持者。在人机协同的实践环节中，教师的角色至关重要。教师需要在技术与教学之间架起桥梁，确保生成式人工智能应用能够真正服务于教育目标，而不是取代教育的核心价值。教师在使用这类工具时，仍需根据学生的实际需求和教学目标进行审慎选择和调整，避免技术滥用或误用。　　第二，技术与教育目标深度耦合。生成式人工智能对学习效果的提升，不仅依赖于技术本身的先进性，更在于其与教育目标的深度耦合。研究表明，生成式人工智能在学科场景中的应用与其支持实践操作、创新设计和问题解决的能力密切相关。因此，教育技术的设计与应用，应始终以教育目标为导向，避免陷入“为用而用”的误区。例如，在不同学科教学中，程序设计教学以培养学生理解、应用能力为目标，可以在课前、课中、课后使用生成式人工智能的代码生成和调试功能，帮助学生快速掌握编程技能；而在语言学习中，则可以借助生成式人工智能的文本生成与语音反馈机制，提升学生的听说读写的能力。　　第三，持续优化应用策略。研究表明，生成式人工智能在较长实验周期（如4个月以上）中对学习效果的提升作用更为显著。可见，技术的长期应用能够帮助学生逐步适应并充分利用其功能，从而实现更持久的学习效果。这对教育实践者提出更高要求，即如何在长期应用中维持学生的学习动机，有效避免“技术疲劳”现象。因此，教育工作者需持续优化生成式人工智能的应用策略。　　此外，尽管本研究通过元分析方法系统评估了生成式人工智能对学习效果的影响，但仍存在一些局限性。首先，纳入分析的文献数量有限，未来研究可扩大样本量，进一步验证结果的稳定性；其次，仅探讨了学段、学科类型、知识类型、教学模式、实验周期等调节变量，未来研究可引入更多调节变量；最后，技术发展迅速，未来研究应关注技术迭代对教育应用效果的影响。