Nature发文揭露某期刊发表机器改写论文!其中不乏中国作者

新智元

共 3230字,需浏览 7分钟

 · 2021-08-11



  新智元报道  

来源:Nature

编辑:Priscilla 好困

【新智元导读】近日,Nature刊登了一篇有关「捏造」研究论文的文章,研究小组发现某些期刊上发表的论文并没有使用标准术语,经过GPT检测器后发现,有的论文居然连参考文献都是合成的。

「仿制意识」
 
「深刻神经组织」
 
「巨信息」
 

说人话好不啦!?
 
这些词语竟然会出现在期刊文章里!
 
机翻软件翻车
 
还是论文作者试图掩盖自己论文剽窃的事实?
 
抑或是直接用GPT模型替自己写论文
 

CS论文出现奇怪的短语


前段时间,有些计算机科学期刊论文中出现了一系列让人摸不着头脑的术语。
 
 
明明已经算是非常普遍的术语,但就是不好好说。
 
来一起感受一下:
 
深度神经网络:profound neural organization(深刻神经组织)
 
https://www.ijraset.com/fileserve.php?FID=36960
 
请问这个organization它究竟哪里profound了?
 
行,DNN不够常见,换一个常见一点的术语:人工智能总知道了吧?
 
counterfeit consciousness(仿制意识/虚伪意识)……
 
大数据不说big data,说colossal information(巨信息)
 
haze figuring(霾运筹)猜到是说什么了吗?
 
云计算
 
 
还有用flag commotion表示signal to noise,irregular esteem表示random value,leftover vitality表示remaining energy……
 
真是「辣眼睛」
 
nature都看不下去,发文报道了这一批学术期刊的「假」论文。
 
https://www.nature.com/articles/d41586-021-02134-0
 
法国图卢兹大学的纪尧姆·卡巴纳克(Guillaume Cabanac)带领的研究小组上个月在arXiv上发表了论文预印本。
 
论文表示,现在的期刊里已经出现了一种新型的合成论文
 
https://arxiv.org/pdf/2107.06751.pdf
 
但意想不到的是,这种情况在计算机科学论文中可能比比皆是
 
于是作者到引文数据库Dimensions中,用这些奇怪的短语(tortured phrases)对期刊文章进行了检索。
 
「显卡」都要换,太丧心病狂了吧
 
GPU:designs preparing unit(设计准备器) ,CPU:focal preparing unit(焦点准备器)。
 
他们发现860多篇出现类似词汇的论文中,有500多篇刊登在了《微处理器与微系统》期刊中。
 
 
于是研究小组下载了在2018-2021年间发表在《微处理器与微系统》(Microprocessors and Microsystems)上的所有论文进行分析。
 
在2017-2019年间,在《微处理器与微系统》上刊登论文最多的国家和单位前五名
 
他们发现,还有一部分论文具有相同的提交、修订和接受日期,其中大部分出现在该期刊的特刊中。
 
作者怀疑,这可能是因为特刊通常是由针对特定研究领域,由客座编辑审核。
 
除了《微处理器与微系统》这个期刊,在其它35种期刊中,作者同样发现了用这些奇怪词汇的论文。
 
对于任何熟知这个领域的研究人员来说,他不可能用非标准术语来指代这个领域中众所周知的概念。
 
 
这些奇怪的词在知网上也能找到。
 

GPT检测器识别「假」论文

 

研究团队采用了一种最新的文本生成检测器,区分真实文本和合成文本。
 
这是一种基于RoBERTa的「GPT-2输出检测器」
https://github.com/openai/gpt-2-output-dataset/tree/master/detector
 
该检测器能够给输入文本打分,显示文本的合成概率。
 
主要针对那些作为学术论文来说不能被接受的缺陷:
 
  1. 复用别人的文本、图像却没有声明
  2. 引用不存在的文献
  3. 引用不存在的公式定理等
  4. 无法理解的句子
 
 
其中,一些检测率高的文本甚至和对应的图在内容上甚至都是不相关的。
 
(b)为被「参考」的论文原文,其中介绍了一个漏水检测器的逻辑图。
 
然而通过大量修改,不仅能骗过机器查重,也让人根本读不懂这段话在说什么
 

deep learning method——profound learning strategies
 
convolutional neural networks(CNN)——Cable News Network
 
natural language processing(NLP)——Neuro-Linguistic Programming
 
上面这些改写比之前举出的例子有过之无不及。
 
用GPT生成摘要和正文也就罢了,没想到连参考文献都逃不掉。
 
 
参考文献列表中包含不存在或无法识别的论文条目。
 
提供的超链接要么是错的,要么指向不相关的出版物。
 

网友讨论


paraphrase论文可能是不少人写论文的「必经之路」。
 
但这些论文的作者却将paraphrase的工作交给了机器。
 
从原始论文中复制了一堆文本之后,用诸如quillbot这类的转述机器人对文字进行了改写。
 
 
也有网友分析这显然是为「伪原创同义词替换工具」开发出了新用途。
 
 
看不见「云」,只看得到「霾」。
 
 
学者也有KPI,这在学术系统内部很常见:
 
为了文凭、终身职位等,你必须要发表一篇论文。
 
有人读过这些吗?没有,当然没有。有哪个知名的论文会引用它们吗?没有。
筛选出那些发表在一级期刊/会议上,但引用次数<1的论文,会是一个更大的问题。
这些类型的论文也确实有抄袭和数据伪造现象,但它不那么明显。
 
把gate(门)换成door,把complex(复杂)换成complicated。
 
 
印度的一位学生表示,他们想要毕业就必须发表一篇关于他们最后一年的项目的「论文」。
 
 
而这样的「期刊」有几十种之多,在收取一定的费用之后就会进行发表。
 
除了一些抄袭检查外,不会对内容进行审查。
 
这可能就是由大学和这些所谓的期刊组成的一个骗局。
 
但是,这些没有可信度的论文对于学术界来说根本没有存在的意义。
 
不仅可能会断送论文作者的前途,还会坏了出版社苦心经营的名声。
 
论文还是要认真对待的,要是太水了,
 
会被拉去沙漠治沙的
 


参考资料:

https://www.nature.com/articles/d41586-021-02134-0

https://arxiv.org/abs/2107.06751






浏览 19
点赞
评论
收藏
分享

手机扫一扫分享

举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

举报