奢望AI寫(xiě)作文?先把校對(duì)干好再說(shuō)
在高考作文題目出來(lái)之后,許多網(wǎng)友都用AI大模型做起了測(cè)試。那么如果讓AI大模型做簡(jiǎn)單的校對(duì)工作,它們能做好嗎?在本篇文章里,作者就嘗試?yán)肁I大模型進(jìn)行了測(cè)評(píng)對(duì)比,一起來(lái)看看本文的測(cè)評(píng)反饋。
連高考作文都能寫(xiě),面對(duì)更簡(jiǎn)單的校對(duì)工作,AI大模型能做好嗎?
高考開(kāi)始后,除了考生之外,最忙碌的可能就是AI大模型們了,有人測(cè)試它寫(xiě)高考作文,有人測(cè)試它解數(shù)學(xué)應(yīng)用,各家AI大模型,這幾天很忙。
十項(xiàng)全能的AI大模型,連高考考場(chǎng)都敢上,對(duì)于相對(duì)簡(jiǎn)單的校對(duì)工作,是不是更不在話(huà)下?對(duì)此,不同的使用人群,有著不一樣的反饋。
今天,潘哥準(zhǔn)備進(jìn)行AI大比武,選取科大訊飛的訊飛星火、百度的文心一言、阿里的通義千問(wèn)、360的360智腦、以及OpenAI的GPT4,看看同一文本下,這五家AI大模型,誰(shuí)的校對(duì)能力最好。
一場(chǎng)碳基與硅基生物的較量,以及硅基生物之間的較量,即將在這里上演。
一、字詞校對(duì)可以嗎?
對(duì)于AI大模型來(lái)說(shuō),校對(duì)時(shí)最主要的工作,似乎就是發(fā)現(xiàn)錯(cuò)別字。
對(duì)此,潘哥使用例句:“洛陽(yáng)親友如相問(wèn),就說(shuō)我在岳陽(yáng)樓?!睂ⅰ跋鄦?wèn)”故意錯(cuò)拼成“翔問(wèn)”,看看這個(gè)明顯錯(cuò)誤,AI能不能發(fā)覺(jué)。
潘哥發(fā)現(xiàn),在第一輪測(cè)試中,訊飛星火、文心一言、通義千問(wèn)、GPT4,都準(zhǔn)確無(wú)誤地完成了工作;只有360智腦,潘哥對(duì)它連問(wèn)兩次,都沒(méi)有發(fā)現(xiàn)其中錯(cuò)誤。
在第二輪測(cè)試中,潘哥利用人們鍵盤(pán)打字時(shí),容易拼錯(cuò)、選錯(cuò)的失誤,再次給AI挖了個(gè)坑。
潘哥的座右銘詩(shī)句:“我自橫刀向天笑,笑完我就去睡覺(jué)。睡醒我再拿起刀,我又橫刀向天笑?!睂ⅰ八选逼闯伞八选?,看看AI能不能校對(duì)出來(lái)?
這一輪,勝出者只有GPT4;訊飛星火將“水醒”變成了“水星醒”,文心一言一字未改,通義千問(wèn)和360智腦,都大幅改動(dòng)了原句,其中360智腦的畫(huà)風(fēng)略驚悚。
鍵盤(pán)拼寫(xiě)時(shí)出現(xiàn)的錯(cuò)別字,已經(jīng)讓有些AI難以應(yīng)付,對(duì)于博大精深的成語(yǔ),AI能否識(shí)別呢?
為此,潘哥選擇了一句發(fā)瘋文學(xué):“每天上班早起,都有種魂飛魄散的感覺(jué)?!睂⑵渲械某烧Z(yǔ)“魂飛魄散”,故意寫(xiě)作“魂飛魂散”,等著AI跳坑。
潘哥發(fā)現(xiàn),這一輪測(cè)試,360智腦、GPT4校對(duì)成功;訊飛星火將“魂飛魂散”,改成了“神游物外”;文心一言?xún)奢喰?duì),都將前半句改成“每天早上都要早起上班”,可見(jiàn)其對(duì)上班怨念之深,后半句也給潘哥換了成語(yǔ);通義千問(wèn)兩輪校對(duì)中,則出現(xiàn)了精神分裂,第一次“如釋重負(fù)”,第二次卻“疲憊不堪”。
到這里,潘哥想給AI增加難度,將易拼錯(cuò)、易寫(xiě)錯(cuò)、四字成語(yǔ)疊加在一起,看看AI如何應(yīng)對(duì)?
為此,潘哥使用喪氣文學(xué):“有錢(qián)人終成眷屬,沒(méi)錢(qián)人親眼目睹,我獨(dú)自坐在路邊,看得清清楚楚?!睂ⅰ扒迩宄备某伞扒嗲宄?,
這輪測(cè)試中,訊飛星火、文心一言、GPT4,都輕松完成了工作;通義千問(wèn)雖然改對(duì)了“清清楚楚”,但固執(zhí)地要把“親眼目睹”改成“只有干瞪眼”;360智腦則認(rèn)為句子無(wú)誤。
二、語(yǔ)病能否被發(fā)現(xiàn)?
僅僅讓AI發(fā)現(xiàn)錯(cuò)別字,難度似乎還不夠,一個(gè)合格的校對(duì)人員,還應(yīng)看出文本中的語(yǔ)病。
眾所周知,漢字語(yǔ)序顛倒,有時(shí)并不影響閱讀。因此,潘哥選擇詩(shī)詞新作:“眾里尋他千百度,驀然回首,那人卻在床上穿秋褲。”將后半句語(yǔ)序打亂,變成“那人床上卻在穿秋褲”,看看AI能發(fā)現(xiàn)其中蹊蹺嗎?
可以看出,這輪的勝出者,只有GPT4一家;訊飛星火、文心一言都沒(méi)有發(fā)現(xiàn)任何錯(cuò)誤;通義千問(wèn)改對(duì)了語(yǔ)序,卻把“穿秋褲”的人放在了枕上,玩起了高難度動(dòng)作;360智腦同樣改對(duì)了語(yǔ)序,卻畫(huà)蛇添足地加了一個(gè)“在”字,生成了另一個(gè)病句。
除了語(yǔ)序錯(cuò)誤之外,文本校對(duì)過(guò)程中,還有些更為隱蔽的語(yǔ)病,沒(méi)看過(guò)《五年高考三年模擬》的AI,對(duì)此會(huì)怎么解?
為此,潘哥自創(chuàng)病句:“去年畢業(yè)的他,現(xiàn)在就職于一家公司的舔狗工作?!笨纯催@道難題,AI大模型能做對(duì)嗎?
在這輪測(cè)試中,除了GPT4之外,另外四家AI全部折戟,文心一言更是把“舔狗”直接改成了“助理”;GPT4首輪似乎認(rèn)為“舔狗”二字不合規(guī),被潘哥改成了“助理”之后,成功修改了語(yǔ)病。
具有明顯語(yǔ)病的句子,已經(jīng)讓AI感到吃力;對(duì)于帶有歧義的句子,AI能否辨別出來(lái)呢?
為此,潘哥寫(xiě)下:“在床上‘葛優(yōu)癱’了一天,他突然想起來(lái)了?!笨纯催@句帶有歧義的話(huà),AI大模型能校對(duì)出來(lái)嗎?
這一輪測(cè)試,除了GPT4發(fā)現(xiàn)了其中歧義,其他四家AI再次校對(duì)失??;訊飛星火、360智腦對(duì)此表示無(wú)誤;文心一言將整個(gè)句子,重新改寫(xiě)了一遍;通義千問(wèn)則刪除了“葛優(yōu)”二字。
讓AI大模型在校對(duì)時(shí),主動(dòng)識(shí)別歧義句,潘哥覺(jué)得有難度有點(diǎn)大,如果讓AI直接判斷是否具有歧義,效果又會(huì)如何呢?
可以看出,在潘哥直接發(fā)問(wèn)下,文心一言、通義千問(wèn)、360智腦,都表示句子沒(méi)有歧義;訊飛星火指出了解讀歧義,但搞錯(cuò)了造成歧義的原因;而濃眉大眼的GPT4,這次卻臨陣叛變,表示:“這句話(huà)沒(méi)有明顯的歧義”。
三、AI校對(duì)哪家強(qiáng)?
進(jìn)行了八輪測(cè)試后,潘哥發(fā)現(xiàn),一些AI大模型,總喜歡在校對(duì)時(shí),幫你改寫(xiě)句子,比如在第三輪測(cè)試中,很多AI開(kāi)始了自我發(fā)揮。
可以看出,除了GPT4之外,另外四家AI大模型,都對(duì)“魂飛魂散”這個(gè)錯(cuò)字成語(yǔ),進(jìn)行了替換。
對(duì)此,潘哥提示大家,在校對(duì)文本過(guò)程中,最好在下達(dá)命令前,就告訴AI大模型,不許對(duì)文本進(jìn)行改動(dòng);否則,AI很可能會(huì)放飛自我。
另一邊,AI校對(duì)出現(xiàn)錯(cuò)誤后,如果我們對(duì)其進(jìn)行指正,對(duì)方能虛心接受嗎?對(duì)此,潘哥繼續(xù)采用第三輪測(cè)試文本,和AI進(jìn)行了對(duì)話(huà)。
潘哥發(fā)現(xiàn),訊飛星火和GPT4,立刻接受了指正,文心一言先把話(huà)題岔開(kāi),對(duì)潘哥打起了感情牌,后來(lái)才改正了句子;通義千問(wèn)和360智腦,雖然承認(rèn)了錯(cuò)誤,但仍然沒(méi)有理解潘哥意思。
潘哥發(fā)現(xiàn),OpenAI的GPT4,不僅能夠發(fā)現(xiàn)錯(cuò)別字,還能發(fā)現(xiàn)語(yǔ)病甚至歧義句;不過(guò),對(duì)于文本內(nèi)容的過(guò)度敏感,可能會(huì)讓其“罷工”,影響校對(duì)的效率。
另一邊,訊飛星火和文心一言,也能發(fā)現(xiàn)簡(jiǎn)單的錯(cuò)別字,并且能夠?qū)W習(xí)校對(duì)知識(shí),如果持續(xù)訓(xùn)練一段時(shí)間,效果可能會(huì)有所提升。
通義千問(wèn)和360智腦,在文本校對(duì)過(guò)程中,容易替用戶(hù)做主,出現(xiàn)修改句子的行為;同時(shí),兩者都比較固執(zhí)己見(jiàn),如果想用其進(jìn)行校對(duì),恐怕還要再訓(xùn)練一段時(shí)間。
如今的AI大模型,在校對(duì)方面還有很多不足,一些復(fù)雜文本的校對(duì)工作,完全交給AI的話(huà),可能并不讓人放心。
不過(guò),各家AI大模型,都具有持續(xù)學(xué)習(xí)的能力,在不斷的升級(jí)迭代后,AI將會(huì)引起怎樣的變革,誰(shuí)也不敢妄下斷言。
作者:潘哥 ;編輯:三火
來(lái)源公眾號(hào):智商稅研究中心(ID:gh_c55b3561ece1),塵世套路深,我替你踩坑!
本文由人人都是產(chǎn)品經(jīng)理合作媒體 @智商稅研究中心 授權(quán)發(fā)布,未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來(lái)自 Unsplash,基于 CC0 協(xié)議
該文觀點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺(tái)僅提供信息存儲(chǔ)空間服務(wù)。
牛人
HAHAHA ,看得我笑噴了,可以考慮弄個(gè)檢測(cè)大模型的題庫(kù)啊
你這毫無(wú)意義阿,大語(yǔ)言模型本來(lái)對(duì)中文的語(yǔ)義理解就比較難處理,本身邏輯能力不是很強(qiáng),所以會(huì)要求你寫(xiě)好prompt。舉個(gè)例子,你高速AI“10個(gè)”它可能會(huì)理解偉“1”和“0”。這本來(lái)就是計(jì)算機(jī) 的缺陷,沒(méi)必要犟。