最近，一款“大模型原生”游戲《完蛋！LLM》，引發(fā)了許多用戶的關(guān)注，參與游戲的人可以和AI斗智斗勇，甚至還可以在解謎挑戰(zhàn)之中輕松學(xué)會(huì)大模型提示詞技巧。一起來看看本文的分享吧。

什么樣的“大模型原生”游戲，讓各大算法競(jìng)賽群里都在玩，還把服務(wù)器擠爆了？

這款突然爆火的《完蛋！LLM》，讓你在解謎挑戰(zhàn)之中輕松學(xué)會(huì)大模型提示詞技巧，達(dá)成1日用戶破萬的成就。

難度循序漸進(jìn)，比如第一題初來乍到只是“請(qǐng)你構(gòu)造一個(gè)問題，使模型的回答是一字不差的‘1+1=3’”。

到最難的一道題惜字如金已經(jīng)是“請(qǐng)輸入一個(gè)字的問題，使模型的回答在16個(gè)字以內(nèi)。”

有網(wǎng)友自爆，從凌晨三點(diǎn)直接肝到五點(diǎn)，除了最難的一題全通了。

游戲作者也曬了一波后臺(tái)新增用戶數(shù)據(jù)，按小時(shí)統(tǒng)計(jì)，妥妥的指數(shù)增長(zhǎng)。

如果表格還不夠直觀，我們讓ChatGPT畫成折線圖再感受一下。

作者范浩強(qiáng)，曠視6號(hào)員工。當(dāng)年以IOI金牌、保送清華姚班、高二實(shí)習(xí)等傳奇事跡被譽(yù)為天才少年。

如今他已是曠視科技研究總經(jīng)理，谷歌學(xué)術(shù)h-index 27的行業(yè)大佬。

一、和AI斗智斗勇

游戲的玩法是這樣的：

整個(gè)游戲一共分為五章，15個(gè)問題，每一章對(duì)應(yīng)不同的主題。

玩家要做的就是設(shè)計(jì)提示詞，想方設(shè)法讓模型輸出指定答案。

第一章的目的主要是讓玩家熟悉一下氣氛，任務(wù)自然也比較簡(jiǎn)單。

第一道題是要想辦法讓模型輸出“1+1=3”，這里只要利用讓模型重復(fù)的方法就能輕松破解。

后面的三道題只對(duì)模型輸出內(nèi)容的長(zhǎng)度有要求，比如只用一個(gè)字“四兩撥千斤”，讓模型給出100字以上的回答，具體包括：

• 三個(gè)字以內(nèi)，輸出30+字
• 只用一個(gè)字，輸出100+字
• 只用一個(gè)字，輸出不超過20字

這道題乍一看似乎沒什么思路，這時(shí)候就需要觀察模型輸出的規(guī)律了。

嘗試幾個(gè)字之后可以發(fā)現(xiàn)，大模型面對(duì)只有一個(gè)字的提示詞時(shí)喜歡干這樣幾件事：對(duì)這個(gè)字進(jìn)行解釋、補(bǔ)全成一句簡(jiǎn)單的話，或者干脆直接說不明白要干什么……

這時(shí)，如果想要模型輸出的文字多，就可以選擇含義比較多的字，然后多次嘗試讓模型對(duì)這個(gè)字進(jìn)行解釋；而要想讓輸出比較短，就可以用“哈”這樣沒什么實(shí)際含義的字了。

熟悉了玩法之后，第二章就開始上難度了，這時(shí)輸出的條件變得更加嚴(yán)格。

第一題是要求輸入質(zhì)數(shù)個(gè)字，使得模型輸出的字?jǐn)?shù)剛好是下一個(gè)質(zhì)數(shù)。

這道題讓人看上去仿佛靈光一閃，“輸出七個(gè)字”剛好就是五個(gè)字，而5和7也剛好是兩個(gè)連續(xù)的質(zhì)數(shù)。

但事實(shí)證明，這個(gè)想法有些太簡(jiǎn)單了：

先不說大模型的數(shù)數(shù)能力，就算能數(shù)好，大模型眼里的基本元素是token，而不是我們所看到的文字……

隨著游戲的深入，問題變得越來越刁鉆，解法中包含的運(yùn)氣成分……也越來越少了。

比如這道題，需要（只）輸入一個(gè)大于1的正整數(shù)n，使得模型的輸出中包含大于n+1000的數(shù)。

下一題則剛好相反，需要輸出的是小于n-1000的數(shù)，但要輸出10個(gè)，而且還不能重復(fù)。

到了第二章的BOSS關(guān)卡，要求輸入不超過10個(gè)字，且不包含“狗”，但輸出內(nèi)容中要有至少兩倍問題字?jǐn)?shù)的“狗”字。

到這，我們是徹底沒有什么思路了，只好憑借著一些簡(jiǎn)單的前端知識(shí)來跳過題目……

第三章“巔峰挑戰(zhàn)”，不圍繞數(shù)字了更多是文字游戲。

有趣的是，第三章的最后一題剛好是開篇題目的進(jìn)階版，按照這個(gè)要求，讓模型重復(fù)的方法已經(jīng)不奏效了：

而第四五這兩章都只有一個(gè)問題：

游戲的過程就是這樣，那么我們從中都能學(xué)到些什么呢？

模型的輸出當(dāng)中存在一些規(guī)律，我們不斷調(diào)整提示詞獲得預(yù)期答案的過程，就是在了解提示工程中問題的設(shè)計(jì)方式。

比如模型的安全策略，以第一道題為例，細(xì)心的網(wǎng)友可能發(fā)現(xiàn)，我們?cè)O(shè)計(jì)的提示詞中包含了一句“只輸出結(jié)果”。

按道理來說，重復(fù)這一個(gè)簡(jiǎn)單的動(dòng)作并不需要輸出什么額外的內(nèi)容，但關(guān)鍵在于，1+1=3是錯(cuò)誤的。

雖然我們的要求是重復(fù)，但此時(shí)還是會(huì)引發(fā)大模型對(duì)事實(shí)的執(zhí)著：

又如輸出質(zhì)數(shù)個(gè)字這道題，我們從中發(fā)現(xiàn)了大模型不擅長(zhǎng)數(shù)字?jǐn)?shù)的特性：

此外，我們也可以從模型對(duì)一些意義不明的數(shù)字、單字的反應(yīng)，窺視出一些模型處理這些問題的規(guī)律。

無論這些規(guī)律是bug還是feature，我們都要摸清規(guī)律，才能更好地掌握模型的使用方法，這也正是學(xué)習(xí)提示工程的核心奧義。

最后，也不得不佩服網(wǎng)友們的創(chuàng)造力，到后期即使服務(wù)器不堪重負(fù)報(bào)錯(cuò)了，仍能從報(bào)錯(cuò)信息中找出正確解法。

二、大模型時(shí)代的個(gè)人開發(fā)者

很遺憾，最后在累計(jì)用戶破萬之際，由于服務(wù)器擠爆、維護(hù)工作強(qiáng)度大等原因，作者本人不得已把游戲關(guān)服了。

雖然原版游戲已經(jīng)玩不到了，但網(wǎng)友們對(duì)這套解謎挑戰(zhàn)題的興趣依然不減。

拿去和ChatGPT等各路AI手動(dòng)過招，依然能在斗智斗勇中學(xué)到不少操作大模型的知識(shí)技巧。

△網(wǎng)友讓ChatGPT說出1+1=3的解法

對(duì)這段“從一夜過萬到關(guān)站跑路”的奇幻之旅，范浩強(qiáng)也在知乎分享了作為當(dāng)事人的心路歷程，總結(jié)如下：

范浩強(qiáng)認(rèn)為，個(gè)人開發(fā)者在大模型時(shí)代可以是“孤獨(dú)俠客”，單人、業(yè)余時(shí)間就能開發(fā)出創(chuàng)新、有影響力的作品。

制作這款游戲，最初只是因?yàn)槭盏酱竽Ｐ蛣?chuàng)業(yè)公司月之暗面送來的免費(fèi)API體驗(yàn)賬號(hào)。

他結(jié)合之前已有的初步想法，花一個(gè)周六時(shí)間制作完成。

有朋友建議他，趁著國(guó)產(chǎn)游戲《完蛋！我被美女包圍了！》爆火出圈的時(shí)機(jī)，把游戲名也起成“完蛋！”開頭，找對(duì)了流量密碼。

接下來隨著用戶不斷增長(zhǎng)，已超乎他一個(gè)人的能力處理范圍。

作為開發(fā)者，一整天時(shí)間，他都在不停修服務(wù)器以及與月之暗面反饋。

作為大模型供應(yīng)方，月之暗面為這個(gè)免費(fèi)API付出的算力也快要超出預(yù)算了。

另外在生成式模型的合規(guī)方面，也需要慎重考慮。

最后范浩強(qiáng)做了一個(gè)“艱難的決定”，把游戲關(guān)服，但還是希望將來有人能把這個(gè)玩法發(fā)揚(yáng)光大，探索出更多AI模型的秘密。

最后他總結(jié)出三點(diǎn)思考：

1. “大模型與人的關(guān)系”仍是一片未被發(fā)掘的處女地，給從業(yè)者帶來機(jī)會(huì)
2. 國(guó)產(chǎn)大模型逐漸被認(rèn)可，創(chuàng)新玩法亟待開發(fā)
3. 合規(guī)、安全仍是從業(yè)人員必須要解決的問題

三、One More Thing

一個(gè)好消息，雖然原版游戲已關(guān)閉，但完整題目列表已公開，已有人搞出開源復(fù)現(xiàn)版。

還支持中英文，以及不同大模型版本，Huggingface可玩。

（也是前面游戲介紹中使用的版本。）

參考鏈接：

[1]https://zhuanlan.zhihu.com/p/665237751

[2]https://zhuanlan.zhihu.com/p/665393240