
研究招募了54名参与者,分为三组:LLM组、搜索引擎组和Brain-only组。
-
LLM组仅使用ChatGPT
-
搜索引擎组可使用任何网站但禁止使用LLM
-
Brain-only组则完全不使用外部工具
第四轮实验中,LLM组和Brain-only组的参与者互换工具。


研究使用脑电图(EEG)记录参与者的大脑活动,以评估认知参与度和认知负荷,并使用自然语言处理(NLP)分析作文内容。还通过问卷和访谈收集了参与者的反馈,并邀请人类教师和AI代理对作文进行评分。

关键结论:
-
写作质量差异:LLM组和搜索引擎组的作文在语言模型生成的特定实体(NERs)和n-grams的使用上表现出更高的同质性,而Brain-only组的作文则更为多样化。LLM组的作文在结构和语言上较为规范,但缺乏深度和原创性。


-
神经活动差异:EEG分析显示,Brain-only组的大脑连接性最强,表明在没有外部支持的情况下,参与者需要更广泛地激活大脑网络来完成写作任务。LLM组的大脑连接性最弱,表明使用LLM可能减少了认知负荷,但也降低了大脑的参与度。

-
记忆和写作所有权感:LLM组的参与者在回忆自己作文内容时表现出更大的困难,而Brain-only组的参与者则更容易记住自己的作文内容,并且对作文的归属感更强。
数据:
-
LLM组:在回忆自己作文内容时表现出更大的困难,83.3%的参与者在Session 1中无法正确引用自己作文中的内容,且在后续Session中仍有66.7%的参与者无法正确引用。
-
Brain-only组:更容易记住自己的作文内容,94.4%的参与者在Session 1中能够正确引用自己作文中的内容,且在后续Session中这一比例保持较高。
-
写作所有权感:LLM组的参与者对作文的归属感较弱,部分参与者表示作文内容部分或完全由AI生成;而Brain-only组的参与者对作文的归属感更强,几乎所有参与者表示作文内容完全由自己生成。


-
认知成本:研究发现,使用LLM可能会导致“认知债务”的积累,即短期内虽然使用LLM可以提高写作效率,但长期来看可能削弱个体的批判性思维和问题解决能力。
https://arxiv.org/pdf/2506.08872
Your Brain on ChatGPT: Accumulationof Cognitive Debt when Using an AI Assistant for Essay Writing Task
(文:PaperAgent)