釘釘AI助理體驗(yàn)報(bào)告:多項(xiàng)AI能力具備高可用性,偶發(fā)錯(cuò)誤仍存

0 評論 1025 瀏覽 2 收藏 12 分鐘

釘釘先前正式發(fā)布了AI Agent,那么,釘釘AI助理的實(shí)際體驗(yàn)感如何?這篇文章里,作者分享了自己的體驗(yàn)和測評結(jié)果,一起來看看本文的梳理和分享。

于國內(nèi)大模型市場而言,如果說2023年是比拼大模型發(fā)布和能力接入的一年,那么2024年或許比拼的就是各應(yīng)用在大模型能力加持下,如何在實(shí)際工作流程中創(chuàng)造實(shí)際價(jià)值的一年。

在此,釘釘顯然是一個(gè)無法回避的存在——其既是用戶在日常工作流中高頻使用的超級應(yīng)用,也是最早擁抱大模型,既是用戶在日常工作流中高頻使用的超級應(yīng)用,也是最早宣布“全面智能化,所有產(chǎn)品要用大模型重塑一遍”的產(chǎn)品之一。

回顧一下釘釘用大模型重塑一遍產(chǎn)品的幾大重要時(shí)間節(jié)點(diǎn):

一是在2023年4月份,釘釘正式宣布接入“通義千問”大模型,開啟全面智能化,并在現(xiàn)場展示了正在內(nèi)測中的斜杠“/”智能喚起功能;

二是在隨后的十一月份,將斜杠“/”智能喚起功能升級為“釘釘AI魔法棒”并正式上線,用戶可以快速調(diào)用“釘釘AI魔法棒”所提供的多項(xiàng)AI能力;

三是在今年一月,在釘釘7.5產(chǎn)品發(fā)布會(huì)上,釘釘正式發(fā)布AI Agent(釘釘AI助理);

四是4月18日,上線AI助理市場。

至此,釘釘用一年時(shí)間完成了17條產(chǎn)品線、60+場景、近百項(xiàng)AI技能全面開放用戶測試、并于近日實(shí)現(xiàn)AI助理市場上線。

那么在全面智能化上走在了業(yè)界前列的釘釘,其AI能力在用戶的工作流中究竟可以做什么?

這是我想探究的。

在過去幾周,筆者以科技自媒體的身份在日常內(nèi)容輸出中深度使用釘釘AI能力后:個(gè)人認(rèn)為釘釘AI助理雖然偶發(fā)Bug仍存,但內(nèi)置的多項(xiàng)AI能力還是具備了較高的可用性,可以助力我實(shí)現(xiàn)效率提升。

眾所周知,科技自媒體在內(nèi)容輸出上的困境在于:一是對熱點(diǎn)信息收集把控不足,二是相關(guān)資料收集分析耗時(shí)耗力,三是標(biāo)題確定更是苦不堪言。

所以在此困境下,個(gè)人對一個(gè)好用的AI助理的功能訴求是:一是能幫助我鎖定熱點(diǎn)、二是能夠幫助我歸納相關(guān)資料信息、三是能夠推薦相關(guān)標(biāo)題、四是能夠快速為我生成一些符合各平臺(tái)風(fēng)格的內(nèi)容與稿件。

那么釘釘?shù)腁I助理能力能否實(shí)現(xiàn)我對好用AI助理的功能訴求?

以下是對其功能使用的實(shí)例測試:

測試案例:

前段時(shí)間,新能源汽車市場氛圍熱鬧,小米SU7上市火爆,隨后智己L6發(fā)布并在發(fā)布會(huì)上對標(biāo)小米SU7,但因參數(shù)錯(cuò)誤問題而引起小米強(qiáng)烈反應(yīng),隨即智己汽車陷入輿論危機(jī)。

面對這一互聯(lián)網(wǎng)熱點(diǎn),我用釘釘內(nèi)置的AI助理分別進(jìn)行了熱點(diǎn)搜索、相關(guān)信息收集、標(biāo)題創(chuàng)作、內(nèi)容生成、“好物種草”創(chuàng)作測試,并在AI助理市場使用了小紅書工具、內(nèi)容運(yùn)營助理在平臺(tái)進(jìn)行測試。而從整體使用表現(xiàn)來看,釘釘內(nèi)置的AI助理在相關(guān)能力上,已具備相當(dāng)可用性。

一、熱點(diǎn)收集測試

小米SU7和智己L6這兩款作為當(dāng)前市場關(guān)注度頗高的車型,圍繞這兩款車型的熱點(diǎn)話題也是層出不窮,對此我嘗試?yán)冕斸擜I助手進(jìn)行這兩款車型的熱點(diǎn)信息收集。

從收集情況來看,釘釘AI助手在指令明確的情況下能夠?qū)崿F(xiàn)相關(guān)熱點(diǎn)信息,但也存在一定的局限性,諸如不具備事實(shí)熱點(diǎn)更新能力,同時(shí)也會(huì)在部分熱點(diǎn)信息收集時(shí)出現(xiàn)基礎(chǔ)事實(shí)錯(cuò)誤。

二、信息素材收集能力測試

于自媒體流程而言,在熱點(diǎn)信息出現(xiàn)后,對于有價(jià)值的熱點(diǎn),就可能會(huì)著手于選題確定并收集相關(guān)素材,對此我也分別以“小米SU7和智己L6爭端始末”以及“MEGA風(fēng)波始末”對釘釘AI助手進(jìn)行的熱點(diǎn)素材收集歸納能力測試,從測試結(jié)果來看,其對熱點(diǎn)時(shí)間線的歸納我認(rèn)為還是可用的。

三、標(biāo)題創(chuàng)作能力測試

針對小米SU7的火爆市場表現(xiàn)以及智己L6在發(fā)布會(huì)上錯(cuò)標(biāo)參數(shù)遭遇小米汽車言辭激烈的回應(yīng)以及隨后的輿論爭論問題,我讓釘釘AI助手分別以“專業(yè)寫實(shí)”風(fēng)格和“夸張生動(dòng)”風(fēng)格生成標(biāo)題,在其生成的標(biāo)題中,個(gè)人認(rèn)為這些標(biāo)題還是緊貼了核心事實(shí),讓這些標(biāo)題具備了可用性。

四、內(nèi)容生成能力測試

坦率來講,在內(nèi)容生成能力上,從測試結(jié)果來看其實(shí)是喜憂參半的——在標(biāo)題內(nèi)容指向明確的情況下,其能夠生成具備一定可用性的內(nèi)容。但在內(nèi)容指向不明時(shí),則有可能會(huì)出現(xiàn)基本的事實(shí)錯(cuò)誤。

諸如當(dāng)我讓釘釘AI助理以““小米SU7首戰(zhàn)告捷:開售27分鐘大定破5萬,新能源市場再掀波瀾”為標(biāo)題生成一篇新聞稿時(shí),其生成的內(nèi)容還是具備可用性的,但當(dāng)我讓其以“小米汽車VS智己L6:參數(shù)烏龍引發(fā)“夜戰(zhàn)”,道歉聲中暗潮洶涌!”為題生成文章時(shí),其生成的文章則出現(xiàn)了基本的事實(shí)性錯(cuò)誤,當(dāng)然在段落標(biāo)題上,則還是具備可用性的。

五、好物種草文案生成能力測試

在“好物種草”能力上,個(gè)人分別以“小米SU7的人車家互聯(lián)”和“智己L6的螃蟹模式”,要求釘釘AI助理進(jìn)行好物種草文案創(chuàng)作。從最終的內(nèi)容呈現(xiàn)來看,釘釘AI助理生成的文案講清楚了需要表達(dá)的核心賣點(diǎn)并進(jìn)行了場景化的推介,我認(rèn)為還是具備可用性。

所以綜合來看,釘釘內(nèi)置的AI助手在多項(xiàng)能力上還是達(dá)成了較高的可用度,多數(shù)時(shí)候只需要進(jìn)行簡單的校對調(diào)整,即可輸出一份創(chuàng)作文案。

當(dāng)然,其也與諸多AI智能助手一樣,存在偶發(fā)性的Bug——諸如新聞稿生成中所出現(xiàn)的關(guān)鍵事實(shí)錯(cuò)誤,同時(shí)在敘事邏輯性、內(nèi)容流暢性等方面,也都還有可進(jìn)步空間。

六、AI助理應(yīng)用市場內(nèi)應(yīng)用能力測試

4月18日,釘釘也在AI助手中上線了AI助理市場,應(yīng)用市場被劃分為了多個(gè)板塊,同時(shí)釘釘在AI助理市場也為用戶開放了DIY能力——用戶可以根據(jù)自身業(yè)務(wù)需求搭建專屬的AI助理應(yīng)用,這讓用戶多樣化的AI能力需求在某種程度上有了被滿足的可能性。當(dāng)然,前提是用戶需要具備一定的編程能力,或許才能實(shí)現(xiàn)較好的效果。

而在已上線的應(yīng)用中,僅就個(gè)人的測試體驗(yàn)來看,其表現(xiàn)是難言滿意。于科技自媒體的工作定位而言,運(yùn)營推廣內(nèi)的相關(guān)AI應(yīng)用是我最為感興趣的。而由于最近比較沉迷玩小紅書,所以試用了在運(yùn)營推廣板塊中較熱的“爆款小紅書生成器”這款A(yù)I助理應(yīng)用。

但測試結(jié)果卻難言滿意——從測試結(jié)果來看,其對小紅書文案的封面設(shè)計(jì)、標(biāo)題內(nèi)容等相關(guān)建議還是有參考價(jià)值的,但在用戶指令下生成的文案內(nèi)容卻顯然是不合格的,甚至?xí)谢镜氖聦?shí)錯(cuò)誤,諸如在華為Pura70系列的AI消除功能能消除衣物的這一熱點(diǎn)事件中,其生產(chǎn)的小紅書文案居然出現(xiàn)了“衣物護(hù)理”、“環(huán)保理念、延長衣服壽命”等文案內(nèi)容。

當(dāng)然,這或許是一個(gè)特例,但這似乎也預(yù)示著:當(dāng)前AI助理市場的應(yīng)用還是比較稚嫩的,其產(chǎn)品質(zhì)量還有待提升。

寫在最后

智能化時(shí)代浪潮洶涌澎湃,釘釘是弄潮兒之一。而從一個(gè)科技互聯(lián)網(wǎng)自媒體的需求角度而言:在體驗(yàn)完釘釘?shù)腁I智能助理后,僅在我所在的領(lǐng)域,個(gè)人認(rèn)為釘釘AI助手其多項(xiàng)AI能力其實(shí)已具備了較高的可用性,能為我?guī)硇实奶嵘km然它還不完美,甚至?xí)幸欢◣茁拾l(fā)生基本事實(shí)錯(cuò)誤,但其所展現(xiàn)出的多面手的能力,我認(rèn)為假以時(shí)日,其真的有可能成長為一位超級助理,而這也勾勒出了令人期待的未來。

專欄作家

鄰章,微信公眾號(hào):TMT317,人人都是產(chǎn)品經(jīng)理專欄作家。專注科技互聯(lián)網(wǎng)評論,致力傳遞價(jià)值思考。關(guān)注電商、移動(dòng)互聯(lián)網(wǎng)、人工智能、智能手機(jī)等產(chǎn)業(yè)。

本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載

題圖來自Unsplash,基于CC0協(xié)議

該文觀點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺(tái)僅提供信息存儲(chǔ)空間服務(wù)。

更多精彩內(nèi)容,請關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號(hào)或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發(fā)揮!