最新研究表明 Turnitin AI检测模型对非英语母语者无显著性偏见

2023-11-29 18:35:45 字數 1172 閱讀 3923

最新研究测试表明:turnitin ai写作检测模型对非英语母语者没有产生显著性偏见。

turnitin深知检测错误可能给师生造成的负面影响,不仅会损害学生的声誉,还会给教师增加额外的调查工作。因此,turnitin也在不断测试和优化检测技术,尽可能地降低误报的发生率。

误报是指错误地将人类撰写的文本识别为ai生成的文本。目前,对于ai检测值低于20%的文稿,turnitin用星号提醒教师该分数仅供参考,数据不一定准确。对于ai检测值高于20%的文稿,误报率将低于1%。

除了对误报的担忧,教师也十分关心ai写作检测功能是否会对非英语母语的写作者产生偏见。为了回答这个问题,turnitin使用开放数据集的样本进行了进一步的测试。

测试过程

turnitin根据语言背景将开放数据集的样本划分为l1 english(英语母语写作者)和l2 english(非英语母语写作者),并根据字数将文稿分为不满300字或300字及以上。经授权,turnitin从上述不同组合中最多抽取了2000份样本。(请注意,这些样本并不包含在训练ai写作检测模型的数据集中,仅用于本次测试。)

测试结果

l1 english代表英语母语的写作者。

l2 english代表非英语母语的写作者。

fpr代表误报率。

测试结果表明,对于300字及以上的文稿,l2 english非英语母语组和l1 english英语母语组之间的误报率差异仅为0.1%,不具备统计显著性。这说明turnitin ai检测模型对非英语母语的写作者不存在显著性偏见。此外,对于太短的文稿,误报率的差异更大,再次验证turnitin ai写作检测功能在长文稿中的准确性会更高。

结论

经测试,若检测文稿的字数在300字至15000字之间,turnitin ai写作检测模型并不会对非英语母语的写作者产生显著性偏见。随着大语言模型不断进化,turnitin将继续改进ai写作检测能力,为教育者提供安全可靠的解决方案。

本文源自首席机器学习科学家d**id

最新研究表明 晒太阳能促进人体分泌睾丸素,增加性欲

太阳光,源自太阳辐射的能量,对地球和人类的重要性不言而喻。然而,尽管太阳每秒钟向太空撒下巨额的能量,但只有极少部分能够到达地球,并且仅有一小部分被人类所利用。然后文章指出,人类实际上无法离开太阳,因为太阳不仅提供能量,还有助于人体合成维生素d,增强对钙和磷的吸收,并促进血液循环和新陈代谢。接着,文章...

男性“精华”如此珍贵?最新研究表明 补充该物质或年轻50

一滴精,十滴血 古人曾用这么一句话形容着男性的 精华 之贵。年,作为显微镜 之父 的列文虎克正在享受他的 鱼水之欢 完事后,他心血来潮地观察了自己的 精华 从中发现一种未知的结晶。经过年的沉寂之后,这种 生命的起源 中发现的物质,在德国科学家ladanburg的实验中重见天日,被正式命名为 亚精胺 ...

研究表明 人一辈子最不快乐的时间,是45岁到55岁这十年

吴宇 化名 是一个勤劳的工人,他年轻的时候就来到大城市打拼。今年他已经五十岁了,他还是每天早早起床,穿越拥挤的人群,努力工作以维持家庭的生活。他的上司一贯地对他要求严格,他的收入也不高,所以家庭的开销成了他最大的负担。他的妻子生活节俭,但还是难以解决两个孩子的教育和家庭开销。尽管生活的压力一直围绕着...