我用AI做了一套“自动学情分析系统”（三）——数据清洗

对这方面感兴趣的老师，可以先点个关注，更新之后系统会推送给你。飞书多维表格如果有老师没有用过，建议参考官方的介绍课程先去学习了解一下，或者直接跟着这个实操也行。我在文章中不讲系统教程，只讲实现目标的操作方法。官方教程： https://mqhunwolc43.feishu.cn/base/UtZYbQvzNagaaxscCtNcaJAAn7b?from=from_copylink

• 数据清洗
• 数据分析

今天这篇文章主要讲数据清洗。很多老师不明白为什么需要进行数据清洗，这里需要简单说明一下。以我做的为例，从网页端传输的数据包含四个字段信息：姓名、班级、分数和错题详情。飞书多维表格接收到这四个数据后分别填入到相应的四个字段当中，其中，除了分数是数字类型，其他三个字段都是文本类型。根据飞书多维表格的设定，同一行的数据 他们是前后有关系的一条记录，比如第一行的姓名、班级分数，和错题详情，他们是属于同一个人的信息。

如果我们只是对这一条记录进行分析的话，完全可以不进行数据的清洗，直接在后面添加AI字段就可以进行分析了。这种情况我觉得适合家庭对自己孩子做长期记录和跟踪。（一个方案解决两个使用场景，赞）但，如果要对一个班级，甚至一个年级的数据进行分析，这就有些麻烦了。因为班级的数据是一列，而且这一列的数据有四个班，我如果只想知道一班的成绩，就需要把一班的单独筛选出来，但这个字段是文本，在表格中是没办法直接操作的。要想看到一个班的数据，我知道的有两种办法，第一种是把班级的数据标签化，第二个就是通过筛选条件筛选。（具体步骤在下面。）其实班级标签化还比较简单，只需要做一些基础处理就能实现。最主要的难点还是错题详情这一列，因为它包含了题号、题目、知识点、学生的答案和正确答案。收集到的数据格式不规范，多维表格无法进行可视化处理，更没办法统计。所以，这个字段的处理是关键，也是分析全班学情的核心。接下来我主要针对班级标签化和错题详情的数据清洗做一个简单的演示。如果你还想要添加和处理其他数据，就需要自己去研究和学习一下了。班级标签化（一）班级标签字段在表格的后面新建一个字段，这个字段我用的是单选类型，选用了字段捷径中的分类。字段捷径的作用是把收集到的班级信息（class name 这一列）提炼成可以选择的标签。提取之后自动变成选项，具体设置可以看图。

底部的自动更新点不点开都可以，区别就在不开的话需要你手动更新数据，开的话，就是前面class_name里面有数据了，这里边就会自动填充。设置好之后点击确定。班级变成标签之后我们就能做筛选了。（二）看板有了这个班级的标签之后，我们点击表格旁边的“新建视图”，新建一个看板视图。

在看板视图里，把分组依据换成班级。这时候，我们就可以看各班学生的错题了。

如果没有给班级做标签的话，通过视图里面的筛选也能看单独每个班的数据，添加class name等于这个班的名字，比如三（1）班，也可以查看一个班的数据。

当然设置班级标签的话能够根据4个班级标签在看板里面同时显示4个班的。如果是筛选的话，就只能看一个班的。好，这是第一个。数据清洗这一步我当时研究了一天多，尝试了很多方法，都没研究出来，查AI也没学明白😂。最后还是请教了飞书的官方人员，人家告诉我要用“查找引用”这个类型。（早知道就早点问他了）（一）统计一个班参考人数要对一个班的数据进行分析的话，我们需要新建一个表。还是以我这个为例，我新建了一个表（点击左下下方的箭头选择新建或者点表格名字右边的三个点复制表也行）。这个表里面包含日期、班级总人数、班级错题、错题人数和题目这四个基础字段。（前面那个表叫数据收集表，这个叫三（1）班错题拆分表。）

日期就不用说了，它默认选择添加记录的日期就行。班级的总人数，这个字段的数据需要从数据收集表中获取，获取的就是这个班里边所有的参考人数，也就是统计数据收集表中三（1）班出现的次数即可。所以这个字段使用的是“查找引用”功能。

• 引用字段：上个数据收集表里的“班级”字段
• 引用条件：班级等于“三一班”
• 计算方式：计数
• 字段格式：数字格式（整数）

这样就能统计出三（1）班参考的总人数。这个表只是三（1）班的，如果有多个班，就需要建立多个这样的表，设置方法是一样的，就不再多说。（二）错题详情文字结构化第三个字段“三（1）班错题”也是使用“查找引用”类型。

• 引用字段：从考试数据收集表里的“mistakes”字段中提取
• 引用条件：班级等于“三一班”
• 提取内容：原值（即原来里面有什么内容就提取什么）

提取原始数据后，这个字段中会出现很多重复的数据。因此，接下来需要对“错题人数”和“题目”这两个信息进行去重，以及信息重组和结构化（关键）。这种AI就比较擅长了，所以需要在后面新建一个字段，这个字段的作用是对三（1）班错题的信息进行统计、分析、去重和结构化。具体操作如下： 点击加号新建字段，名称设置为“错题人数和题目”，类型是文本，字段捷径用AI（我选的是自定义AI自动填充，因为它每天都有免费额度。）

至于AI指令，根据自己的需求去写就可以了。比如我这里要让它结构化输出，所以我需要给它确定的参考格式；还有为了方便后面统计，我需要让他按照错题人数从多到少的顺序排列等等。这样输出的内容会非常丰富，得到的数据也是结构化的。到这里，基本上就完成了初步的数据结构化。但是这些还只是数据表，还不够直观，那么为了能让数据更直观。同时我们做汇报的时候也会用到可视化图表。所以格式化后的数据最好通过仪表盘进行展示，实现数据可视化。数据可视化仪表盘里面有很多组件，我这里主要展示我们最常用的一个班的最高分、最低分和平均分。优秀率、良好率、及格率和不及格率。（一）指标卡点击“添加组件”，这里面有很多这种小组件。
如果看平均分的话，我用的是指标卡。至于不同组件的区别，你可以自己AI一下。

点击指标卡，然后点完之后，我们在右边三个点的这个地方选择“配置”。

我要看的是年级的平均分、最低分和最高分。所以数据来源就是数据收集表。
筛选的数据就是全部的数据，我需要统计的字段是“分数”这个字段。因为分数本来就是一个整数数值了，直接可以拿来用。然后我选择的是“平均分”。这样，全年级的平均分就出来了。

最高分和最低分的方法也是一样的，也是用指标卡来展示。（二）环形图如果想看全年级的优秀率、良好率、及格率和不及格率的话，因为表格中没有相对应的数据，所以现在是没有办法直接统计的，我们需要先在数据表里面添加一个统计的字段。 比如我在数据收集表中添加了一个“等级划分”字段。因为我们要对学生的成绩进行等级划分，大于多少分是合格？大于多少是良好？大于多少是优秀？所以用公式是最合适的，公式也不需要我们自己写，用AI生成就行，对话也是用自然语言说就可以了。生成好之后点击确定进行测试。

公式写好了，那在仪表盘中就可以直接用了。
这个我用的是一个环形图，也可以用饼图。
添加组件之后进行配置，配置选择数据收集表，然后用环形图展示全部数据。

这样，我们基本的数据可视化就做好了。为了让大家更好的理解，我把我做的飞书多维表格做成了模板，放在小报童里面，可以具体看我是怎么设置的。关于多维表格，我也有很多还用不明白的地方，也在不断的尝试和摸索，也欢迎感兴趣的老师进群，我们一块讨论、交流、学习，共同进步。

好了，今天这篇文章就到这儿了，下篇我们来讲如何实现数据的个性化分析。

专栏原定价49元，现在给最早支持我的粉丝朋友们一个“早鸟价”，限时优惠只要10块钱，就当交个朋友（计划元旦涨至19.9）。现在已有两百多位老师订阅。如果你觉得这些内容对你有帮助，也欢迎你来看看。扫描下图中的二维码即可享受早鸟价，购买成功后记得添加我为好友哦，送你两大福利：价值199的DeepSeek教师资源和我实践总结的课程开发全流程提示词。