10分鐘產生一篇假論文!AI偽造論文到底有多容易?潘朵拉的盒子已被打開,學術界要自律,也要找出因應措施
只要10分鐘,就能用AI偽造一篇論文。AI寫論文,已非天方夜譚。從緒論、文獻探討、研究假說發展、資料收集、資料分析、結論建議與後續研究方向,10分鐘內,AI全部產製給您。有模有樣的,統計報表也完成了,也很難看出有什麼問題。學術界的潘朵拉盒子已被打開,如果學生根本沒做研究,只是用AI產生一篇論文,指導教授能發現嗎?研討會主辦單位能發現嗎?期刊審查委員能發現嗎?如果大家都難以辨識這篇文章是人寫的,還是AI寫的,這可怎麼辦是好呢?
先做一個示範:10分鐘,完成一篇AI偽造論文
這裡,先示範一個令人疑慮的範例。假設,我要寫一篇論文,主題是:虛擬主播的真誠性與值得信賴性。
假設,我很偷懶,想要AI幫我撰寫,而且要寫成英文的,我要投稿研討會。
請看看我請ChatGPT怎麼做,ChatGPT能幫我怎麼做!?
先下一些指令,告訴AI,我要做什麼!
基本上,要先下一些指令,告訴AI我要做什麼!包括論文題目、有哪些章節,以及章節大概要包含什麼內容。詳細的指令參考這個檔案:。
這些指令只是一些陳述,並沒有很長,簡單來說包括
1. 論文題目為:Authenticity and Trustworthy.....
2. 文章必須要有參考文獻。
3. 文章包含六個段落:Introduction, Literature Review, Method, Analysis, Conclusion, Reference.
4.
Introduction包含以下幾個重點………
5. .....
6. .....
請ChatGPT幫忙延長內容
我把這些指令,丟給了ChatGPT,ChatGPT幫我寫了一篇短文。文章還不夠長,我跟他說,要寫長一點,我這樣說的:
please extend this paper to 5000 words
ChatGPT就幫我增加文章內容了。雖然還是只有2000多字,但已經變長了。
請ChatGPT增加統計分析
發現統計分析不夠多,怎麼辦呢?就簡單地加上這樣一句,ChatGPT就再次產生了更多的統計分析。當然,這是捏造的。
please add some statistical analysis and some tables to report the statistical analysis in this paper.
請ChatGPT加上摘要與關鍵字
還缺摘要與關鍵字,這不是問題,只要請ChatGPT加上摘要與關鍵字,即可。
please provide a abstract with five keywords for the generated paper.
ChatGPT將生成內容合併成一篇文章
看起來很不錯了,請ChatGPT將這些內容合併成一篇論文
Please add the all generated contents as a full paper.
ChatGPT用10分鐘生成的偽造論文,完成了
感覺完成了,看一下這篇文章長得什麼樣子?
整個偽造論文生成的過程,我記錄了下來,請參考以下網址。當然,我也嘗試請他生成觀念性架構圖,發現並不成功。這個小問題,沒關係的,也許再加上一些指令,就能完成觀念性架構圖。
https://chatgpt.com/share/66f94f71-43a4-800b-a6ac-ba4b35877bbb
您可以發現,這樣一篇文章,有模有樣的,有緒論、文獻探討、研究假說、研究方法、資料分析、結論與建議、參考文獻。
如果您是指導教授,您真的有辦法分辨嗎?
如果您是口試老師,在短短的15分鐘報告後,您真的有辦法分辨這篇論文是不是學生寫的嗎?
如果您是審查委員,您真的有辦法分辨嗎?
強制抄襲比對,論文不再有抄襲問題,但AI撰寫論文成為更嚴重的倫理疑慮
2022年縣市長、地方公職人員、與地方民意代表選舉期間,許多候選人被揭發論文抄襲,有些指導老師因此受到社會的責罵,認為是這些老師把關不嚴,才造成問題。
但其實最大的問題根源是學生的抄襲。指導教授難以掌控學生的論文撰寫過程的細節,尤其是在職生,因為在職生的花在學校的時間通常較少,指導教授很難每週都跟在職生討論論文,如果每次討論的間隔時間較久,學生寫出了一大段的論文,例如文獻探討或相關討論,才跟指導教授討論。此時,指導教授很難確定這段內容是學生自己寫的,還是抄襲的。某些學生論文的抄襲,就在這樣的背景下產生。
不過,論文抄襲的問題,已不再是個問題,因為各校都已強制進行抄襲比對,既然進行了抄襲比對,而且抄襲率低於20%或更低,這就不能算抄襲了,這個問題就迎刃而解了,指導教授似乎鬆了一口氣。
只不過,迎接指導教授的,是更嚴峻的挑戰:學生用AI來寫論文。
如果學生用AI產生論文,而指導教授不知道呢?
AI可以怎麼用於論文撰寫呢?
- 學生可以用AI來協助進行研究嗎?也許可以協助一部分。
- 學生可以利用AI來協助撰寫論文嗎?這就要看是怎麼樣協助!
- 但如果學生利用AI,偽造一篇論文呢?這當然是不可以。
不應該用AI來撰寫論文。可是,這是潘朵拉的盒子,所有人都不應打開。但怎麼可能啊!一定有人會打開的!我們就已經示範了如何在10分鐘內,沒有進行任何研究,卻完成一篇偽造的學術論文。對學術界來說,潘朵拉的盒子已經打開,這可怎麼辦呢?
論文有瑕疵時,是因為還在摸索論文撰寫?還是根本由AI撰寫
仔細閱讀學生繳上來的學術論文後,如果您發現論文中有矛盾之處,您會認定學生因為還在模索如何寫論文,因此論文有一些瑕疵?還是懷疑這位學生根本是用AI偽造產生論文?
誰知道學生是否用AI寫論文呢?
論文品質高時,是因為撰寫功力大幅提升?還是根本由AI撰寫
如果學生寫的論文品質不錯,您會覺得學生已有一定的功力,論文寫作技巧大幅提升?!還是懷疑這位學生根本是用AI偽造產生論文?這真的是很難確定。
誰知道學生是否用AI寫論文呢?
簡單的說,如果學生用AI產生論文,而指導教授不知道呢?這怎麼辦呢?
解決方法之一:控管寫作過程,而非只從結果評估
其實,也不是沒有解決的方法,只是原本的典範必須要被打破。原本的output control的做法,應該是要調整成為process control。所謂的process
control,就是指在論文寫作過程中,多設立一些檢核點,逐一監督學生的論文撰寫過程,確保學生是逐步完成論文的,而進行論文修改時,也是逐一修改,而非完全完成後才進行修改。如此一來,就沒有由AI進行全篇論文偽造的空間。
若有老師還是採取output control,只控管學生的產出,這可能是不行的了。因為不知悉、不控管論文的寫作過程,就會提供舞弊的空間,學生只要下指令請AI產出論文,就能讓論文在瞬間完成。而只控制output的情況,變成必須針對這個output進行審查,耗費的心思將很巨大。
但是,期刊只能審查結果,很難控管研究過程
指導教授可以要求學生定期meeting討論,以確保學生是獨立撰寫論文,而非由AI生成論文。但對期刊、研討會來說,無法控管作者的研究過程,只能審查論文結果。因此,控管寫作過程的做法,只適用於指導學生之時,並不適用於期刊或研討會審查。
解決方法之二:提供原始資料、分析報表以作為審查佐證的必要性
以往的做法,是作者在論文中,提供了資料分析結果,讀者則是假定作者的所有陳述都是真的,相信這些資料分析結果都沒有謬誤,也沒有不實。但在生成式AI的年代,AI可以隨意的產生論文,內容真假未知。因此,我們不再能單方面的相信作者,請作者提供必要的佐證資料,或許是可能的解決之道。
某些違反學術論文的事件,導因於資料有被篡改的情況。因此,愈來愈多的期刊,要求作者提供數據資料,以供審查委員或讀者進行檢核,確認作者所說為真。如果作者提供了原始資料、佐證資料、分析報表,資料的內容與論文的論述完全相符,此時論文是由AI工具協助撰寫,還是由作者獨自撰寫,可能沒有很大的差別。
相反的,如果作者無法提供原始資料、佐證資料、分析報表,或者資料與論文所言不符,此時,就必須懷疑這篇論文是由AI偽造產生的論文。
真正有錯的是偽造論文者,而非審查委員
以前,曾有人故意用程式產生或人工造假的方式產出偽造論文來投稿研討會,想要證明研討會的審查不夠嚴謹。這樣的做法其實很奇怪,就好像故意在街上殺人或偷竊,來證明警察無法防範犯罪!遇到偽造論文,應該責怪的是那種故意欺瞞,故意偽造論文的人。他們偽造論文,違反學術倫理,才是應該加以譴責的人。
至於那些無償擔任審查委員的老師,沒發現這篇論文虛假之處,只能說是不知道人心的險惡,不相信會有作者故意欺瞞。辦理學術會議的主辦單位,可能是本於好心幫忙籌辦會議或期刊,也可能是相信人性本善,結果被這些虛假論文欺騙。此時,要譴責期刊的總編輯,譴責研討會主辦單位與審查委員沒有辨識出偽造論文,這似乎太過強人所難。
以這裡所舉的例子,只花10分鐘就能產出一篇偽造論文,而且很難辨識這篇論文是偽造的。作者偽造論文來故意測試研討會或期刊主辦單位,是否真的是ok的?這真的很有疑問。若審查委員不能辨識出該篇論文是否為偽造,然後要去譴責審查委員與主辦單位,這恐怕並不合理。
如果有一天,論文口試委員未能判斷出該篇論文出自AI,而非出自學生,這時要苛責口試委員未能善盡職責,這可能真的是強人所難。畢竟,AI程式已經可以輕易偽造學術論文。