在研项目:AI 写作反馈与修改质量
本文性质:研究院在研项目的研究设计公开。证据标签:观察 / 模型 / 假设(本项目不含已成立的实证结论)。
写作教学的常见困境是反馈循环太慢:学生交稿、教师批改、发回重改,一个循环常常拖两周,热情早已冷却。AI 反馈把循环压缩到几分钟——但速度的提升是否等于质量的提升?这正是本项目的核心问题。
研究问题与判定标准
核心问题:引入 AI 反馈后,学生的修改是否从「表面修订」升级为「实质性修改」。我们给两个概念定了可操作的分界:表面修订指换词、改标点、调整拼写;实质性修改指调整句序、增删论点、重写段落结构——后者才涉及写作能力的真实生长。
判定由两名教师独立编码,分歧处协商裁定。编码标准在项目启动前成文,避免边看数据边定标准。
当前的设计与进展
设计为院内课堂的对照观察:两组学生完成同题写作,一组使用 AI 反馈加自我修改,一组采用传统同伴互评加修改,比较两轮后实质性修改的比例与类型分布。项目处于数据积累阶段,尚无结论可公布。
同步进行的观察记录包括:学生向 AI 提问的方式、采纳与拒绝的建议各占多少、拒绝的理由——「怎么用」可能比「用不用」更影响结果。
证据边界与诚实声明
必须声明:本项目全部内容处于假设与数据积累阶段。院内已有观察(AI 反馈后学生修改频率上升)只是现象记录,频率上升不等于质量上升,更不构成任何效果承诺。
书面反馈的效果在教育研究界本就存在长期争论,AI 反馈作为新变量加入,任何轻率的结论都会误导教学决策。我们宁可慢,不做快。
为什么先公开设计
常规的做法是研究做完再发表设计——为什么本项目反过来,设计阶段就公开?两个原因。第一,教育场景里的研究设计经不起「做完才被挑错」:等数据收完才发现判定标准有偏,几个月的记录就白费了。设计期公开,等于请全行业的眼睛帮我们找漏洞。
第二,公开本身就是一种承诺装置:判定标准在见到数据之前成文并公开,事后就无法悄悄调整标准去迁就结果。这个小小的不可逆,换来的是结论的可信度。
本文依据
观察来源:研究院写作课堂的修改环节观察记录与学员修改稿对比(院内资料,持续积累中)。
模型出处:反馈—修改过程的工作模型为本院为教学设计所构建,用于组织观察,不解释大脑机制。
待验证项:AI 反馈能否提升实质性修改率;提问方式对修改质量的影响方向。
外部文献:书面纠正反馈有效性的长期学术争论(Truscott 与 Ferris 等人的系列讨论)为本项目的问题意识来源之一;自动化写作评价(AWE)为相关研究方向。
今天就能开始
写作教学中遇到 AI 反馈的同仁,欢迎通过合作项目栏目交换观察——不同课堂的数据对照,比单一课堂的独白可靠。