近几年,随着科学技术的进步,人们发明了以ChatGPT为代表的AI工具来帮助和服务人们。完成中等水平的论文等学生作业对于AI工具来说是轻而易举的。
但是,从教育的角度出发,依靠AI完成作业对学生并没有太多正向作用。学校主张学生自主完成作业,美国部分大学已经明令禁止学生使用ChatGPT写作业,并且还专门又发明了一些AI工具来检测是否为机器生成。
这下,英语为非母语的学生无故受冤了。比窦娥还冤!
一项有意思的研究
斯坦福大学的通过研究揭示了一个现象:AI检测工具在评估非英语母语者的写作时存在严重的偏见和误判。
这种偏见不仅可能导致非母语者在学术、求职和教育领域受到不公正对待,还可能进一步加剧他们在这些领域中的边缘化。
这个研究的主导者是生物医学数据科学助理教授 James Zou,他与团队用七种流行的GPT检测程序修改了91篇非母语者的英文论文。结果是,有的号称准确率99%的AI程序,却会将98%非母语者自己写的论文标记为「由人工智能撰写」。而当学者将美国八年级学生的作文给同一个AI,它就正常地将90%作为判定为「由人类撰写」
图表中的百分比表示「误判」的比例。是由人写的,但检测软件认为是AI生成的。
这时候不得不问出一句:凭什么?
究其原因
AI语言检测工具通常基于复杂的算法和庞大的语料库来判断文本的来源。
它们通过分析文本的语言特征、词汇使用、句子结构等因素,来判断文本是否由人类或机器生成。然而,由于非母语者在语言使用上与母语者存在差异,这些差异往往成为AI误判的“陷阱”。
具体来说,AI语言检测工具可能过于依赖文本的复杂性作为判断标准。非母语者由于语言水平有限,往往使用更简单的词汇和句式来表达思想。这种语言风格与机器生成的文本相似,容易被AI误判为AI文章。此外,一些AI工具还可能存在对特定语言或地区的偏见,导致对非母语者的误判率更高。
被所有7个GPT误判的托福作文在复杂度(Complexity)上明显低于其它论文。
总而言之,各种GPT检测器好像还是没能抓住AI生成和人类写作之间最本质的区别。
留学生又遭罪
在技术实现进一步发展前,作为英语为非母语的留学生就成了吃亏群体。
长此以往,非母语者不仅可能会因为论文被误判为机器生成的内容而失去发表的机会,从而影响他们的学术声誉和职业发展。而且在求职过程中,非母语者的简历和求职信也可能被AI检测器错误地标记为机器生成的内容,从而失去机会。在教育领域,非母语者也可能会因为作文被误判为机器生成的内容而受到不公正的评分,影响他们的学业成绩和未来发展。
但好在人们快速发现了这样的bug,并且快速做出了反应。范德堡大学近期公布了一则正式声明,指出将停用AI论文检测工具Turnitin,原因是该软件在检测7.5万篇学生论文时,误将约750篇论文错误地判定为人工智能生成。
同时,对于语言有挑战的学生,继续提高自身的表达和写作能力依旧是不容小觑的重要任务。