危險(xiǎn),你的AI agent正在「無(wú)人駕駛」!
隨著智能體技術(shù)的發(fā)展,我們的生活變得越來(lái)越便捷,但同時(shí)也帶來(lái)了新的安全隱患。本文深入探討了智能體在執(zhí)行任務(wù)時(shí)可能采用的“無(wú)人駕駛”模式,以及這種模式對(duì)用戶隱私和數(shù)據(jù)安全構(gòu)成的威脅。
最近流行用智能體點(diǎn)咖啡,不同大廠紛紛拿出了絕活兒。比如,榮耀CEO趙明就在一次直播中當(dāng)場(chǎng)展示了自己用一句話就通過(guò)智能體yoyo在美團(tuán)點(diǎn)了三杯咖啡的片段,畫面顯示,手機(jī)自動(dòng)完成了尋找門店、自動(dòng)選定咖啡品類最后到自動(dòng)完成付款的全流程。
操作十分流暢,仿佛有一根看不見的手指在幫用戶點(diǎn)按屏幕,用戶只需當(dāng)甩手掌柜,這些操作都非常像L2級(jí)別的自動(dòng)駕駛,用戶只需旁觀,必要時(shí)才接管,如果再成熟一些,無(wú)感地自動(dòng)化,甚至無(wú)需用戶目視和接管,L4級(jí)別的agent指日可待。
不過(guò),在上述場(chǎng)景里,坐在一旁目睹全過(guò)程的周鴻祎直呼:這太危險(xiǎn)了。
智能體只會(huì)點(diǎn)咖啡嗎?非也。在不久前的智譜Agent Openday上,智譜CEO張鵬掏出手機(jī)同樣也在臺(tái)上炫技了一把:「幫我在智譜開放日群聊里發(fā)兩萬(wàn)元紅包,數(shù)量一百個(gè),名字為‘AI給你發(fā)的第一個(gè)紅包’?!垢鶕?jù)張鵬的自然語(yǔ)言,智能體AutoGLM調(diào)用微信支付,打開紅包功能,順利發(fā)出紅包。
圖源:智譜
01 智能體開始顯露「另一面」
其實(shí),周鴻祎的驚呼并非毫無(wú)緣由。有業(yè)內(nèi)人士直指行業(yè)里的秘密:由于還沒(méi)有實(shí)現(xiàn)APP的互聯(lián)互通,當(dāng)前很多智能體在進(jìn)行著L2乃至L4級(jí)別「無(wú)人駕駛」時(shí),實(shí)際上比較主流地用到了一種作弊方案:
智能體在執(zhí)行用戶需求時(shí)采用的是機(jī)器模擬點(diǎn)擊,其實(shí)現(xiàn)方式與黑灰產(chǎn)作弊實(shí)現(xiàn)原理相同,智能體可以根據(jù)自己能獲取的用戶授權(quán)高低選擇不同的實(shí)現(xiàn)方式。對(duì)于三方應(yīng)用層的智能體,權(quán)限最低,很難有效區(qū)分當(dāng)前的機(jī)器模擬點(diǎn)擊到底是來(lái)自智能體用戶的真實(shí)操作意圖,還是黑灰產(chǎn)作弊行為,就會(huì)造成風(fēng)控結(jié)果的誤判。
盡管關(guān)于智能體的定義和分類各有不同,但形成共識(shí)的還是有以下幾個(gè)方面:
- 每個(gè)智能體都要扮演某種社會(huì)角色,參與社會(huì)化分工、完成任務(wù)并有產(chǎn)出;
- 能進(jìn)行對(duì)話交流和理解用戶的行為偏好;依據(jù)反饋進(jìn)行強(qiáng)化學(xué)習(xí)和重新規(guī)劃;
- 與外部其他的業(yè)務(wù)系統(tǒng)、其他智能體、工具應(yīng)用進(jìn)行協(xié)同。
通俗來(lái)說(shuō),可以是管家、行政秘書和前臺(tái)、客服、司機(jī),智能體相比信息分發(fā)時(shí)代的產(chǎn)品,要更加主動(dòng)且自動(dòng),更加靠近用戶,成為貼身助理,代替用戶發(fā)號(hào)施令,掌握用戶的隱私數(shù)據(jù)會(huì)更多,擔(dān)當(dāng)著用戶的心腹。
但是,如果心腹的實(shí)現(xiàn),靠的是沿用上述「作弊」機(jī)制,會(huì)洞開安全的后門。智能體之間的自主交互如果缺乏嚴(yán)格的身份認(rèn)證和授權(quán)機(jī)制,將使系統(tǒng)容易受到惡意攻擊和不正當(dāng)訪問(wèn)。惡意智能體可以偽裝成合法的智能體,惡意用戶可以偽裝成合法的用戶,從而獲得不該有的服務(wù)權(quán)限。
例如,輕則是財(cái)務(wù)轉(zhuǎn)賬給黑灰產(chǎn)團(tuán)隊(duì),重則危及生命,比如惡意智能體可以假冒成合法智能體發(fā)起請(qǐng)求,訪問(wèn)用戶的健康敏感數(shù)據(jù)、交易敏感數(shù)據(jù);惡意用戶可以偽裝成機(jī)主,向醫(yī)療智能體發(fā)送虛假健康數(shù)據(jù),可能導(dǎo)致錯(cuò)誤的醫(yī)療決策,危及患者生命安全。
「心腹成為大患」的安全難題已經(jīng)迫在眉睫。
02 安全互聯(lián)互通,刻不容緩
繞開APP生態(tài)和應(yīng)用層的作弊機(jī)制是簡(jiǎn)單的方案,但不是好的方案和唯一方案。
而且,部分手機(jī)廠商主導(dǎo)的作弊方案,還會(huì)帶來(lái)一個(gè)顛覆產(chǎn)業(yè)的激進(jìn)結(jié)果。
入口的收斂,從圖形界面收斂到一個(gè)語(yǔ)音助手的界面,從信息流變成任務(wù)流,對(duì)于當(dāng)前生態(tài)顛覆性太大也太快,過(guò)于激進(jìn)。掌握入口的主動(dòng)權(quán),最終可能造成惡性商業(yè)競(jìng)爭(zhēng)。智能體AI原生的特點(diǎn)使其有機(jī)會(huì)在中短期內(nèi)成為現(xiàn)有軟件層之前新的入口,在長(zhǎng)期甚至有可能替代現(xiàn)有的軟件層。
硬件廠商就取代了互聯(lián)網(wǎng)入口,擠到了用戶最跟前,影石創(chuàng)始人劉靖康最近就公開表示,手機(jī)廠會(huì)是比互聯(lián)網(wǎng)廠商更大的「BOSS」,因?yàn)樗麄兺瑫r(shí)掌握了更個(gè)人向的數(shù)據(jù),以及執(zhí)行具體操作的「位置」優(yōu)勢(shì)。
對(duì)用戶來(lái)說(shuō),入口如果未來(lái)是極度單一的,用戶的自主性和主動(dòng)權(quán)也就喪失掉了。
如果既要安全,又要行業(yè)長(zhǎng)遠(yuǎn)健康發(fā)展,有沒(méi)有其他可能?目前業(yè)內(nèi)的另一個(gè)思路,是不顛覆當(dāng)前的應(yīng)用層,致力于在應(yīng)用層APP之間建立統(tǒng)一的安全協(xié)作標(biāo)準(zhǔn),從而實(shí)現(xiàn)跨APP的流暢操作。其中,IIFAA在12月19日成立的「IIFAA智能體可信互連工作組」,就在主張這一思路。
這一工作組的成員包括了華為榮耀Oppo字節(jié)螞蟻等頭部企業(yè),希望聯(lián)合通過(guò)制定跨智能體交互的安全技術(shù)規(guī)范,為整個(gè)智能體行業(yè)提供一個(gè)更加健康規(guī)范的協(xié)作環(huán)境。
圖源:IIFAA官網(wǎng)
IIFAA這個(gè)組織我們聽起來(lái)有點(diǎn)陌生,實(shí)際上是早在2015年由中國(guó)信通院、華為、中興、螞蟻集團(tuán)、阿里巴巴等聯(lián)合發(fā)起的可信身份認(rèn)證聯(lián)盟。目前,其可信數(shù)字身份技術(shù)規(guī)范在全球有超過(guò)16億臺(tái)手機(jī)設(shè)備、43個(gè)手機(jī)品牌商得到應(yīng)用。
IIFAA互聯(lián)網(wǎng)可信認(rèn)證聯(lián)盟技術(shù)負(fù)責(zé)人萬(wàn)小飛說(shuō),不管是系統(tǒng)級(jí)、廠商級(jí)還是 APP級(jí),都在往端側(cè)個(gè)人助理方向發(fā)展,如果沒(méi)有相關(guān)的規(guī)則和標(biāo)準(zhǔn)的制定,有點(diǎn)像早高峰時(shí)沒(méi)有紅綠燈的狀態(tài),屬于百舸爭(zhēng)流,會(huì)帶來(lái)非?;靵y的狀態(tài),最終影響的是整個(gè)生態(tài)的健康發(fā)展,包括用戶權(quán)益的損失,這些趨勢(shì)和背景,是成立智能體可信互聯(lián)工作組最主要的目的。
工作組的目標(biāo)是確保智能體和智能體之間能有一套相互的協(xié)同和通信的機(jī)制。IIFAA專家張璇談到,「服務(wù)可信調(diào)用方面,任務(wù)非常長(zhǎng),一個(gè)服務(wù)的鏈路或許有幾十個(gè)步驟,我們希望再?gòu)?fù)雜的服務(wù)調(diào)用鏈路,我們希望是全鏈路可信。經(jīng)過(guò)層層的調(diào)用之后,用戶的真實(shí)意圖仍然可以得到最終正確的執(zhí)行?!?/p>
而由于智能體的快速發(fā)展,這一工作目前已經(jīng)有了緊迫性。萬(wàn)小飛感嘆,整個(gè)智能體的發(fā)展是超乎預(yù)期,包括蘋果的發(fā)布會(huì),以及國(guó)內(nèi)手機(jī)廠商在自己開發(fā)者大會(huì)上密集宣布了廠商的智能體,很多的APP廠商也在做自己的智能化助理,都在加速中。
其實(shí),硅谷頭部公司和企業(yè)家們?cè)缫研袆?dòng)起來(lái),均表態(tài)要發(fā)起統(tǒng)一標(biāo)準(zhǔn)的行業(yè)框架,Elon Musk就認(rèn)為,快速發(fā)展的AI可能超出管理其風(fēng)險(xiǎn)的能力,倡導(dǎo)建立監(jiān)管框架和行業(yè)標(biāo)準(zhǔn)以確保負(fù)責(zé)任的AI發(fā)展。
谷歌也發(fā)布了Secure AI Framework (SAIF),強(qiáng)調(diào)了在創(chuàng)新同時(shí),需要有明確的行業(yè)安全標(biāo)準(zhǔn)來(lái)負(fù)責(zé)任地構(gòu)建AI這項(xiàng)技術(shù)。SAIF包括六個(gè)核心元素,涉及擴(kuò)展安全基礎(chǔ)、擴(kuò)展檢測(cè)和響應(yīng)、自動(dòng)化防御、協(xié)調(diào)平臺(tái)級(jí)控制、適應(yīng)控制以調(diào)整緩解措施,并在周圍的業(yè)務(wù)流程中情境化AI系統(tǒng)風(fēng)險(xiǎn)。
GoogleSAIF風(fēng)險(xiǎn)地圖
回到中國(guó)智能體來(lái)看,萬(wàn)小飛認(rèn)為,當(dāng)前第一階段工作主要聚焦在比較急迫的4個(gè)維度:
1. 智能體可信身份鑒權(quán)。「APP都有身份鑒權(quán)體系,智能體沒(méi)有,它的身份到底是屬于APP還是設(shè)備?要去做定義」
2. 數(shù)據(jù)的可信流通問(wèn)題?;ヂ?lián)網(wǎng)的前半段,各個(gè)APP廠商花很大精力保護(hù)數(shù)據(jù),一定程度上滿足數(shù)據(jù)屬于用戶。APP的孤島被打破以后,數(shù)據(jù)的流轉(zhuǎn)不在一家APP廠商,是在多家。這時(shí)數(shù)據(jù)的隱私保護(hù)職責(zé)方是誰(shuí)?數(shù)據(jù)的所有權(quán)屬于誰(shuí),要確保數(shù)據(jù)在端上有一個(gè)可信流通通道和機(jī)制;
3. 業(yè)務(wù)的系統(tǒng)風(fēng)控問(wèn)題。A智能體在按照B智能體分發(fā)的意圖做任務(wù)時(shí)要「聽命于」B,因此必須要建立跨APP防護(hù)體系,避免智能體被惡意意圖操控,出現(xiàn)類似自殺、欺詐、黃賭毒等情況。
萬(wàn)小飛舉了個(gè)例子,如果在同一個(gè)APP內(nèi),買了酒和頭孢,可能就會(huì)觸發(fā)風(fēng)控機(jī)制,識(shí)別出用戶意圖里有一定程度的自殺傾向,平臺(tái)就會(huì)介入阻止。但如果是智能體來(lái)負(fù)責(zé)執(zhí)行指令,如果恰好這兩個(gè)行為分別是孤立發(fā)生的,不在一個(gè)APP里發(fā)生,就無(wú)法喚醒風(fēng)控機(jī)制。
4. 智能體的主權(quán)保護(hù)問(wèn)題。要允許小的智能體、小型APP也能獨(dú)立生存,不能繞開主頁(yè),直接侵入到系統(tǒng)后臺(tái)調(diào)取小智能體的服務(wù),使其喪失商業(yè)價(jià)值。
如何在總體上理解可信協(xié)同?打個(gè)通俗的比方,這就類似于民航、高鐵和地鐵的「安檢互認(rèn)」,讓用戶無(wú)需二次安檢。
相信很多人都有過(guò)類似出機(jī)場(chǎng)、高鐵站進(jìn)地鐵被要求二次安檢的經(jīng)歷,我曾經(jīng)詢問(wèn)過(guò)天府機(jī)場(chǎng)安檢員,為什么出了飛機(jī)進(jìn)地鐵還要再次安檢,安檢員說(shuō)標(biāo)準(zhǔn)是不一樣的,責(zé)任主體不一樣,最后萬(wàn)一出了事,算誰(shuí)的?
的確如此。因此,不管是交通運(yùn)輸還是智能體協(xié)同,要讓用戶需求高效地流轉(zhuǎn),就需要安檢互認(rèn),在機(jī)制上統(tǒng)一安全的標(biāo)準(zhǔn),并堵住可能的漏洞,并且當(dāng)用戶需求在不同體系內(nèi)流轉(zhuǎn)時(shí),要明確用戶保護(hù)的責(zé)任方。
03 保護(hù)小智能體,做大行業(yè)蛋糕
此外,特別值得注意的是上述第4點(diǎn),入口單一化就是移動(dòng)互聯(lián)網(wǎng)時(shí)代的一個(gè)弊端,PC時(shí)代是一個(gè)無(wú)限鏈接的時(shí)代,但移動(dòng)時(shí)代就變成了一個(gè)個(gè)孤島,中間沒(méi)法自由跳轉(zhuǎn),APP下載加了一道流程,中間轉(zhuǎn)換效率就差多了,這帶來(lái)的結(jié)果一定會(huì)是大的越大,小的越小,巨頭壟斷會(huì)越發(fā)厲害,時(shí)代行至倒退的邊緣。而到了智能體時(shí)代,不能再繼續(xù)強(qiáng)化入口單一化的這種弊端了。
一旦一句自然語(yǔ)言就可以完全自動(dòng)實(shí)現(xiàn)后端的滴滴下單、微信支付發(fā)紅包這種能力,入口就會(huì)統(tǒng)一到手機(jī),原有互聯(lián)網(wǎng)主流的「通過(guò)A業(yè)務(wù)引流、再靠B業(yè)務(wù)變現(xiàn)」的商業(yè)模式會(huì)被快速摧毀。
以滴滴和美團(tuán)為例,線下運(yùn)力是巨大的成本單元,本身盈利能力較弱,因而滴滴美團(tuán)需要通過(guò)流量合作和廣告來(lái)提升利潤(rùn)率,一旦語(yǔ)音喚起,通過(guò)智能體的直接操作,劫持了操作流程,用戶閉眼操作,美團(tuán)和滴滴的盈利端就可能被繞開。
如果巨頭尚且受到威脅,更小應(yīng)用的處境可想而知,產(chǎn)業(yè)生態(tài)不宜面臨如此過(guò)激的改變。
在早期,如果沒(méi)有整體的互信安全框架,根據(jù)萬(wàn)小飛的判斷,只有大廠和大廠之間才會(huì)可能自己談成一個(gè)專有的機(jī)制,大公司不太可能找非常小的創(chuàng)業(yè)公司單獨(dú)談協(xié)議。今天IIFAA要建立的機(jī)制,就是為整個(gè)生態(tài)更開放和更公正,給所有小的智能體提供快速發(fā)展的可能性。
智能體的兩條路徑已經(jīng)清晰。一條是走捷徑,不直面可信互聯(lián)的問(wèn)題,但會(huì)帶來(lái)安全隱患,另一條是做更難的事情,構(gòu)建一個(gè)整體的安全互信框架,避免單點(diǎn)與單點(diǎn)的重復(fù)談判,來(lái)形成規(guī)模效應(yīng),加速智能體的快速互聯(lián)。
「云端的點(diǎn)對(duì)點(diǎn)的這種協(xié)同模式基本上是定制化,不可持續(xù),沒(méi)有辦法規(guī)模化的方式。在整個(gè)基礎(chǔ)設(shè)施的維度,在整個(gè)行業(yè)標(biāo)準(zhǔn)的維度有兩個(gè)好處,一是可以規(guī)?;?,二是可以給更多的人更公平的機(jī)會(huì)。」萬(wàn)小飛如是說(shuō)。
整體地可信協(xié)作,實(shí)際上是做大智能體的整體蛋糕。
這就類似《集裝箱改變世界》里的故事,無(wú)論船只大小,集裝箱尺寸卻是統(tǒng)一的,不僅把運(yùn)輸成本降低了,還避免了二次裝卸過(guò)程,減少了貨物轉(zhuǎn)運(yùn)時(shí)的效率流失,也提升了貨物安全。被譽(yù)為20世紀(jì)人類的百大偉大發(fā)明,從集裝箱發(fā)明之后,人類的全球貿(mào)易取得了極大發(fā)展。
大家過(guò)去都在卷模型生成能力,從目前看,已經(jīng)越來(lái)越不構(gòu)成差異化了,模型能力總會(huì)拉平,業(yè)內(nèi)目前已經(jīng)有局部能力超過(guò)OpenAI的選手。最終是context(上下文背景信息)的采集能力,而不是模型能力,關(guān)乎到最終的任務(wù)成功率。誰(shuí)能跨系統(tǒng)、跨平臺(tái)、跨軟硬件采集更多context,誰(shuí)的智能水平就更高。就像再好的醫(yī)生,拿不到病人的體檢報(bào)告,也無(wú)處施展。
在這場(chǎng)產(chǎn)業(yè)的大變革中,科技巨頭的使命會(huì)從信息分發(fā)(門戶陳列模式、搜索引擎、推薦引擎)轉(zhuǎn)向任務(wù)引擎,商業(yè)模式也極有可能發(fā)生巨變:從按點(diǎn)擊或交易來(lái)收費(fèi),變成按照任務(wù)完成率來(lái)收費(fèi)。
而提升任務(wù)成功率才能做大agent的行業(yè)蛋糕,前提就是盡快進(jìn)行安全的可信互通,讓context充分流淌在智能體之間,這理應(yīng)成為全行業(yè)一起用力的方向。
期待智能體「集裝箱時(shí)刻」的到來(lái)。
文 | 周天財(cái)經(jīng)
本文由人人都是產(chǎn)品經(jīng)理作者【周天產(chǎn)業(yè)分析】,微信公眾號(hào):【周天財(cái)經(jīng)】,原創(chuàng)/授權(quán) 發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來(lái)自Unsplash,基于 CC0 協(xié)議。
該文觀點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺(tái)僅提供信息存儲(chǔ)空間服務(wù)。
- 目前還沒(méi)評(píng)論,等你發(fā)揮!